Rana historija ove građevine je mješavina mita i činjenica. Po priči, Pittijeva namjera je bila da sagradi palaču koja bi zasjenila Palazzo Medici. Tvrdi se da je Pitti zahtjevao da prozori palače budu veći nego ulaz u Palazzo Medici. Međutim, građevina u stvarnosti nije mogla da se mjeri sa veličinom ni luksuzom palače porodice Medici. Luca Pitti je umro 1472., a građevina je ostala nedovršena. Arhitektonski značaj ove palače je u njenoj jednostavnosti i strogim linijama. Kamena fasada je grubo obrađena u seoskom stilu. Najveći dio građevine potiče iz 1458.
Porodica Medici je kupila ovu palaču 1539. i pretvorila je u rezidenciju vladara Velikog vojvodstva Toskane. Kasniji vladari iz ove loze dograđivali su palaču i uredili vrtove oko nje (park Boboli). Većina dogradnji potiče iz 17. i ranog 18. vijeka.
Danas je palača Pitti velika umjetnička galerija otvorena za javnost. U njoj se nalazi i pet muzeja. Ukupno ima 140 soba otvorenih za posjetioce. U njima su, između ostalih, izložena djela Ticijana, Giorgionea, Rafaela i Rubensa.
