Wieś w okresie międzywojennym znajdowała się w gminie Marki, po II wojnie światowej jedna z 7 gromad wchodzących w skład gminy Marki, powiat radzymiński, województwo warszawskie. Po reformie administracyjnej w 1952 w powiecie wołomińskim. W latach 1952–1954 miejscowość była siedzibą gminy Pustelnik. W 1954 zlikwidowane zostały gminne rady narodowe i utworzono Gromadzkie Rady Narodowe w Markach, Pustelniku, Strudze, Zielonce, Ząbkach i Kątach Grodziskich. W 1957 zlikwidowano Gromadzką Radę Narodową w Pustelniku i włączono go do Osiedlowej Rady Narodowej w Markach.
W 1897 r. Pustelnik z Markami i Warszawą połączyła kolej konna Kolejki Mareckiej, w 1899 przedłużona do Radzymina i zastąpiona trakcją parową. Z uwagi na pokłady gliny pracowały tu liczne cegielnie. Na początku XX wieku istniała tu murowana synagoga, zniszczona przez Niemców już w 1939 roku.
Podczas okupacji hitlerowskiej, w grudniu 1940 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 850 Żydów. W marcu 1942 zostali wywiezieni do getta w Warszawie, a stamtąd do obozu zagłady Treblinka II i tam zamordowani[1].
W dawnym folwarku Olechnowiczów „Czerwony Dwór” od końca XIX wieku działał szpital, gdzie w czasie leczenia w 1911 zmarł wybitny litewski kompozytor i malarz Mikalojus Čiurlionis, co upamiętnia tablica pamiątkowa na ścianie budynku. Od 1928 w Czerwonym Dworze funkcjonuje Zgromadzenie Sióstr Franciszkanek Rodziny Maryi, które obecnie prowadzi Specjalny Ośrodek Szkolno-Wychowawczy im. Abpa Felińskiego w Markach-Pustelniku.
Etymologia nazwy
[...] podanie głosi, jakoby przed trzystu laty pewien potomek znakomitego rodu, dziedzic bardzo licznych włości, przybywszy do Warszawy, przepychem i zbytkiem chciał przewyższyć wszystkich mieszkańców. Dostatki pozwalały mu na wielkie uciechy, ale przyjemności i hulaszcze życie zniszczyły cały jego majątek, który też wkrótce utracił. Doprowadzony do zupełnej ruiny i ubóstwa tułał się zubożały magnat po Warszawie i żywiony był z litości przy furcie klasztornej ojców Bernardynów. Po nędzy przyszła i słabość niebezpieczna, a ta rozbudziła w nim żal za grzechy i chęć ucieczki od życia i świata. Na pokutę wybrał sobie pustelnię niedaleko Warszawy, gdzie zamieszkiwał przez długie lata. Pod koniec życia otrzymał od krewnych znaczny spadek. Za otrzymane pieniądze wybudował w pobliżu swojej pustelniczej chatki kościół modrzewiowy. I tak to bogobojnie wielki grzesznik i pokutnik życia dokonał. Na pamiątkę tego wydarzenia wieś, która obok wybudowanego kościółka powstała, Pustelnikiem została nazwana[2].
