Als jonge knaap kreeg hij zangles van zijn vader. Toen hij de baard in zijn keel kreeg bleef hij doorzingen als contratenor. Hij heeft zich toegelegd op het Engels barokrepertoire en de renaissancemuziek van John Dowland en Henry Purcell. In 1948 richtte hij het Deller Consort op. Dit ensemble legde zich toe op de uitvoering van dit repertoire.
In 1960 zong Deller de rol van Oberon in Benjamin BrittensoperaA Midsummer Night's Dream . Dit was de eerste maal sinds de barokperiode dat een componist een rol schreef voor contratenor en Britten heeft hem speciaal voor Deller geschreven.
Alfred Deller trouwde met Kathleen Margaret ('Peggy') Lowe (1913–2006) in 1937. Ze kregen drie kinderen. Hun oudste zoon, Mark Deller, werd ook zanger en trad vaak op met zijn vader. Een andere zoon, Simon, werd muziekleraar en gaf les aan de Guildford Cathedral choir school, waar hij uiteindelijk directeur werd. Deller stierf terwijl hij op vakantie verbleef in Bologna.