Fils de pasteur, Bajer fut officier dans l'armée danoise, combattant durant la guerre des Duchés de 1864 contre la Prusse et l'Autriche, au cours de laquelle il fut promu premier lieutenant. Il fut démobilisé en 1865, puis s'installa à Copenhague, où il devint professeur, traducteur et écrivain.
Il entra au parlement danois en 1872, conservant son siège pendant vingt-trois années.
(en) Biographie sur le site de la fondation Nobel (le bandeau sur la page comprend plusieurs liens relatifs à la remise du prix, dont un document rédigé par la personne lauréate — le Nobel Lecture — qui détaille ses apports)
