Tildy föddes i Lučenec i Österrike-Ungern som son till en officer vid det lokala regementet. Han avlade examen i teologi från Reformerta teologiska universitetet i Pápa, och studerade därefter på Belfast Assembly College i Nordirland i ett år.
1921 blev han en aktiv minister i den Reformerta kyrkan, och skrev för dess tidning Keresztény Család (Kristna familjen), men också för andra tidningar. 1929 gick han med i det mittenorienterade Oberoende småbrukares parti (FKgP), där han blev bekant med Ferenc Nagy. Han blev snart partiets verkställande vice ordförande.
Han valdes in i det ungerska parlamentet och återvaldes 1936 och 1939. Där pressade han Miklós Horthys regering att lämna axelmakterna och dra sig ur andra världskriget. När Tyskland ockuperade Ungern i mars 1944 gick han under jorden. När Sovjetunionen drivit ut tyskarna ur Ungern blev Tildy ledare över FKgP. Han blev landets premiärminister, en post han innehade från september 1945 till februari 1946, då han valdes till Ungerns president.
Han verkade som republiken Ungerns första president fram till 30 juli 1948, då han tvingades avgå efter anklagelser om att hans svärson gripits för korruption och äktenskapsbrott. Tildy hölls i husarrest i sitt hem i Budapest fram till 1 maj 1956. När Ungernrevolten drog igång 1956 utnämndes han till minister i koalitionsregeringen. Efter att revolten slagits ner av de invaderande Warszawapaktsstyrkorna arresterades han ännu en gång, nu av sovjetiska trupper. Den 15 juni 1958 dömdes han av landets högsta domstol till sex års fängelse. Han frigavs dock redan i april 1959, officiellt med hänsyn till hans höga ålder, inofficiellt för hans vacklande hälsa. Han höll sig därefter till sin död borta från politiken.