In de 12e, 13e en 14e eeuw bouwden rijk geworden patriciërgeslachten grote stenen, weerbare huizen aan de Oudegracht. Deze verspreid voorkomende stenen huizen vormden een groot contrast met de kleine, houten huizen waaruit de rest van de bebouwing grotendeels bestond. Het was een periode van grote bloei voor de stad Utrecht, destijds de belangrijkste stad in de Noordelijke Nederlanden. Van deze grote huizen heeft Oudaen zijn middeleeuwse voorkomen het best bewaard.
Oudaen werd kort na het jaar 1276 gebouwd, zoals dendrochronologisch onderzoek heeft aangetoond. Net als de andere "stadskastelen" bestond het uit een groot, diep, representatief hoofdhuis en een veel kleiner zijhuis dat makkelijker te verwarmen was en eigenlijk meer als woonruimte dienstdeed.
Het hoofdhuis bestaat uit drie bouwlagen en een schilddak haaks op de straat, terwijl er zich twee kelders onder het huis bevinden. Aan de linkerzijde van de voorgevel staat een traptoren met een eigen kap. De tegenwoordige kapconstructie van het hoofdhuis dateert uit 1894; de kap is met leien gedekt. De balklagen boven de begane grond en eerste verdieping zijn oud, die boven de tweede verdieping is geheel vernieuwd. Op de begane grond bevinden zich twee schoorsteenpartijen uit omstreeks 1735.
Het voorste zijhuis bestaat uit twee bouwlagen met schilddak evenwijdig aan de straat en heeft een kelder. Hierachter bevindt zich een achterhuis dat voornamelijk uit de achttiende eeuw dateert.
Particulier huis
Oudaen werd oorspronkelijk gebouwd als het stamhuis van de familie Zoudenbalch, een van de voornaamste geslachten uit de stad. In 1395 kwam het echter in bezit van de familie van Oudaen, vernoemd naar de gelijknamige Ridderhofstad Oudaan te Breukelen.
Een grote verbouwing vond plaats rond 1500, toen alle vloeren en de kap werden vervangen. Hierbij werd ook de werfkelder verhoogd, waardoor de vloer van de begane grond een meter hoger kwam te liggen. Het trappenhuis werd hoger opgetrokken en kreeg een eigen spits. In de achtergevel werden grote vensters aangebracht.
Tijdens de belegering van kasteel Vredenburg in 1576-1577 stonden kleine stukken geschut opgesteld op Oudaen om het kasteel te beschieten. Het huis had het echter zelf zwaar te verduren, en de achtergevel werd grotendeels aan puin geschoten. In 1580 werd de schade op kosten van de Staten van Utrecht hersteld. Een aantal kogels werden als herinnering in de voor- en achtergevel ingemetseld.
In 1680 vond een nieuwe verbouwing plaats, waarbij de hoofdingang verplaatst werd naar het kleinere zijhuis, rechts van het hoofdhuis, dat op zijn beurt een nieuwe gevel kreeg waaraan een gevelsteen herinnert. Tijdens de onderhandelingen voor de Vrede van Utrecht in 1713 was een van de hoofdrolspelers in het diplomatieke proces, de Franse gezant Melchior de Polignac (1661-1741), in Oudaen ondergebracht.
Van studentenvereniging tot horecaonderneming
In 1758 verloor het huis zijn particuliere functie. De diaconie van de Hervormde Kerk kocht het aan en liet het inrichten als oude mannen- en vrouwenhuis, dat plaats bood aan honderdzestig bejaarden. Architect Anthonie Voskuil maakte de plannen voor een grootscheepse verbouwing. Op de begane grond kwamen de gescheiden eetzalen voor mannen en vrouwen, op de bovenverdiepingen de slaapzalen. Achter het pand kwam een grote aanbouw voor zieke bewoners en een regentenkamer. Boven de ingang aan de Oudegracht werden de nu nog aanwezige beelden van een oude man en een oude vrouw aangebracht en er werd een tweede gevelsteen geplaatst.
De nieuwe bewoners van Oudaen moesten zich aan strenge regels houden en hadden een minimum aan comfort. In de loop van de negentiende eeuw werd de situatie beter, dankzij de komst van ledikanten, gas, water en elektriciteit. Bij een modernisering in die tijd zijn de gotischespitsbogen boven de vensters in de voorgevel verwijderd en de kantelen langs de weergang vervangen door een balustrade. Op de zij- en achtergevel zijn de kantelen behouden gebleven.
Tot 1965 heeft Oudaen als bejaardentehuis dienstgedaan. Na enige tijd in bezit geweest te zijn van studentenverenigingCS Veritas werd Oudaen in 1986 na een grondige restauratie geopend als een horecagelegenheid. Het grote erf achter het huis, dat doorliep tot aan het Vredenburg, is in de jaren tachtig losgekoppeld van het huis zelf en door een projectontwikkelaar grotendeels volgebouwd met kantoren.