Helgedomen är mycket gammal och sägs ha grundats av Yamato Takeru för nära 1900 år sedan. Den räknas som en av Tōkyō-jissha (Tokyos tio helgedomar). Området är känt för sina azaleor, och de litterära jättarna Mori Ōgai och Natsume Sōseki var en gång i tiden bosatta i närheten. Platser som associeras med dem finns fortfarande kvar.
De nuvarande byggnaderna uppfördes år 1706 på mark som donerats av daimyō (senare shōgun) Tokugawa Ienobu. Helgedomens honden, heiden, och haiden utgör en enhet, och komplexet anses vara ett mästerverk av stilen Ishi-no-ma-zukuri. Helgedomens sju byggnader har utsetts till nationella viktiga kulturegendomar.[1]
Namn
Förr kallades helgedomen även för Nezu-gongen.
Eftersom benämningen "gongen" (ett buddhistiskt begrepp) temporärt förbjöds i samband med shinbutsu-bunri i början av Meijiperioden, så blev detta namnet mindre vanligt. Det förekommer dock fortfarande bland närboende.