Rispondendo ad un'offerta di lavoro, fu assunto alla Casa Bianca nel 1952 come pantry man, in pratica lavapiatti, e in seguito fu assegnato alla direzione della dispensa; successivamente divenne butler, valletto, e maggiordomo personale del Presidente[2].
Interagendo quotidianamente con i Presidenti che serviva, ne ebbe stima e confidenza personale. Fu profondamente colpito[5] dall'assassinio di John Kennedy, ucciso nel 1963 a Dallas, e dato il rapporto instauratosi fu invitato come ospite al suo funerale da parte della famiglia presidenziale, ma preferì declinare l'offerta perché doveva farsi trovare pronto a ricevere i Kennedy al loro ritorno alla Casa Bianca[4]. Accettò comunque la cravatta preferita di Kennedy offertagli per ricordo dalla vedovaJacqueline.
Nella sua lunghissima carriera ebbe l'occasione di servire non solo i capi di stato di tutto il mondo ospitati alla Casa Bianca nelle visite ufficiali, ma anche personaggi dello spettacolo come Duke Ellington, Elvis Presley, Sammy Davis Jr; fu visitato tra gli altri da Martin Luther King, che durante una cena alla Casa Bianca aveva richiesto espressamente di fare un giro nelle cucine per incontrare i camerieri, i cuochi e le persone di servizio[7].
Si ritirò in pensione nel 1986, dopo aver servito sette presidenti. Da allora trascorse un'esistenza molto discreta e tranquilla, rigorosamente lontana dalla stampa o da qualsivoglia forma di pubblicità, rifiutando ogni volta di pubblicare libri, di concedere interviste o di partecipare a importanti trasmissioni televisive[7].
Nel 2008 Allen e la moglie volevano votare per Barack Obama alle elezioni presidenziali del 2008, per sostenere il pacifico e nonviolento progresso afroamericano, ma Helene morì il 3 novembre, il giorno prima della votazione, ponendo fine a 65 anni di vita insieme al marito[9]. Tre giorni dopo, il 7 novembre, apparve sul Washington Post l'articolo che lo rese famoso e che riportava l'intervista che Wil Haygood aveva fatto ai coniugi Allen poco tempo prima[2].
Fu inserito tra gli ospiti di onore alla cerimonia di giuramento e insediamento di Obama[8]: dopo trentaquattro anni trascorsi come maggiordomo, poté finalmente entrare con onore alla Casa Bianca scortato da un picchetto di Marines[7].
Il 31 marzo 2010, ormai novantenne e vedovo dal 2008, morì per un'insufficienza renale al Washington Adventist Hospital di Takoma Park, nel Maryland[2].
