Hans föräldrar var kamreren i Kungl. Ma:jts kansli, Karl Ulrik Gråå (1759–1805) och Katarina Kristina, född Hygrell. Karl Ulrik Gråå köpte Västra Yttringe gård 1793 av dödsboet efter kunglige sekreteraren Johan Kasten Böckman (d. 1780). Gården kom att innehas av familjen Gråå fram till 1907.
Han tog studenten i Uppsala 1813 och hovrättsexamen 1815. 1820 blev han brottmålsnotarie och 1823 notarie vid Stockholms rådhusrätt. 1833 utnämndes han till rådman i Stockholm och 1860 till justitieborgmästare, en befattning han innehade fram till 1867 då han på egen begäran avgick som sådan. Som riksdagsman (liberal) representerade han borgarståndet vid ståndsriksdagarna 1840–1860.