El club va ser fundat el 1889 amb el nom de Hammarby Roddförening (en català: Associació de Rem Hammarby). El 1897 canvià el nom per Hammarby Idrottsförening. La secció de futbol s'inicià el 1915 en unir-se el club amb Klara SK. Inicialment usava els colors verd i blanc. L'any 1918 el Hammarby absorbí al Johanneshovs IF i adoptà els colors groc i negre d'aquest club, els quals usà fins als 1980. L'any 2001, els equips sèniors del club se separaren de les categories inferiors i adoptaren el nom Hammarby Fotboll.
La secció d'hoquei gel del Hammarby va ser creada l'any 1920. Juga al pavelló Hovet amb capacitat per a 8.500 espectadors. Ha guanyat 8 campionats suecs els anys 1932, 1933, 1936, 1937, 1942, 1943, 1945 i 1951.