Whittaker est né à East Cavalry Barracks dans le comté de Hampshire mais a grandi à Newcastle. Il a commencé sa carrière sportive au Nord-est de l'Angleterre parallèlement à sa carrière d'ingénieur dans la marine. En 1917, il rejoint la British Army puis la Royal Navy avant de jouer au football pour l'équipe militaire. Il sert son pays pendant la Première Guerre mondiale puis en novembre 1919 il se remet au sport dans les rangs d'Arsenal. Il joue alors aux postes d'attaquant et d'ailier. Whittaker joue son premier match contre West Bromwich en 1920, une défaite 1-0. Dans les années 1920, il conquiert une place de titulaire et joue 70 matchs pour deux buts pour le onze londonien.
En 1925, il prend part à la tournée en Australie de la Fédération anglaise où il se blesse gravement à la rotule. Cette blessure le contraint à mettre fin à sa carrière de joueur. Souhaitant rester dans le monde du football, il intègre le staff d'Arsenal au sein duquel il devient kinésithérapeute. En 1927, à 29 ans, il obtient le poste d'entraîneur assistant sous les commandes d'Herbert Chapman. Il contribue aux succès des Gunners dans les années 1930.
À la fin du conflit mondial, Whittaker reprend son poste d'assistant jusqu'en 1947 où il remplace Allison au poste d'entraîneur. Sous sa direction l'équipe remporte le championnat en 1948 et 1953 et la Coupe d'Angleterre en 1950. Il meurt en 1956 à l'University College Hospital de Londres alors qu'il n'a que 58 ans.