Le bâtiment tire son origine d'un magasin de vêtements situé au rez-de-chaussée, détenu par les frères Brill (Brill Brothers), qui rachetèrent ensuite les locaux et l'immeuble entier.
Brill Building Pop
La Brill Building Pop désigne un courant musical du début des années 1960, genre de pop hérité du style Tin Pan Alley, du rhythm and blues et du rock 'n' roll. De nombreux auteurs compositeurs professionnels travaillaient dans les bureaux du Brill Building :
Les productions étaient plus sophistiquées que le rock n' roll des pionniers, avec, entre autres, des arrangements de cordes, des sections d'orchestre. Le genre succomba à l'arrivée de la British invasion.