Kylässä sijaitsee vuodesta 1918 Suomen valtiolle kuulunut Kartanonkylän kartano, johon on kuulunut alueita myös muista Ypäjän kylistä. Kartanonkylän kartano, johon vielä 1900-luvun alussa kuului koko Kartanonkylän kylä, oli vuoteen 1792 ja uudestaan vuodesta 1915 osa Lounais-Hämeessä usean pitäjän alueelle ulottunutta Jokioisten kartanoa, jonka alue vieläkin tunnetaan paikallisesti Jokiläänin nimellä. 1930-luvulta alkaen kartanossa toimi valtion hevosalan laitoksia, joihin kuuluivat muun muassa puolustuslaitoksen hevoshuoltokoulu, Valtion hevossiittola (myöhemmin Valtion hevosjalostuslaitos) ja hevostalouskoulu. 2000-luvulla näiden toimintaa jatkavat kartanon tiloissa Ypäjän hevosopisto ja MTT:n hevostutkimus.
Nykyiseen Kartanonkylään kuuluvat myös hävinneet Vilolan ja Somiskalan kylät, jotka liitettiin Kartanonkylän kartanoon.