Książki Conroya są ściśle związane z jego trudnym dzieciństwem. Był najstarszy z siedmiu braci. Jego ojciec, oficer marynarki wojennej, używał w wychowywaniu dzieci przemocy psychicznej jak i fizycznej. Następnie rodzice zmusili go do rozpoczęcia nauki w wojskowym koledżu "Cytadeli". Władze koledżu uważały, że jest on najlepszy z powodu okrutnego systemu eliminacji pierwszorocznych kadetów. Conroy jednak ukończył go na kierunku anglistyki. Chcąc uniknąć służby w wojsku podjął pracę nauczyciela, został z niej jednak zwolniony.