Nacque in Pennsylvania da genitori di origine irlandese. Fu inizialmente conosciuto per i suoi racconti e, più tardi, per aver scritto alcuni romanzi di successo, tra i quali Appointment in Samarra e BUtterfield 8. Da quest'ultimo fu tratto il celebre film Venere in visone con Elizabeth Taylor, che vinse il suo primo premio Oscar alla migliore attrice.
O'Hara era particolarmente noto per un raffinatissimo gusto per il dialogo. Fu un attento osservatore delle differenti posizioni sociali e delle differenze di classe, e molti dei suoi personaggi si caratterizzano per le loro ambizioni sociali. Apprezzato da grandi scrittori come Ernest Hemingway e Francis Scott Fitzgerald, morì a Princeton in New Jersey nel 1970.