Și-a început cariera la FC Tescoma Zlín, debutând ca fotbalist profesionist în Gambrinus liga în sezonul 2007-2008, jucând mai multe meciuri în sezonul următor. Performanțele sale bune i-au asigurat un loc de titular la clubul ceh, Slavia Praga, pentru care a jucat în paisprezece meciuri și a marcat un gol în turul Primei Ligi a Cehiei din sezonul 2009-2010.
Împrumutul la Palermo
Pe 1 februarie 2010 a fost împrumutat la echipa Serie A dinPalermo, cu sicilienii având opțiunea de a-l transfera permanent la sfârșitul sezonului.[4] A primit tricoul cu numărul 89 din partea rosanerilor.[5]
El a jucat primul său meci în tricoul rosanero, precum și primul său meci Serie A, intrând în a doua repriză în locul lui Marco Calderoni într-on victorie acasă scor 3-1 cu Bologna.[6]
Trabzonspor
La 8 iulie 2011, s-a transferat la clubul turc Trabzonspor pentru suma de 900 000 de euro[7] și a semnat un turcii un contract pe 5 ani.[8][9] Clubul i-a dat tricoul cu numărul 28.[10]
El și-a făcut debutul în Premier League pentru Sunderland pe Stadium of Light cinci zile mai târziu. Čelůstka a dat un voleu de la 30 de metri care a fost apărat de Maarten Stekelenburg, iar echipa sa a început sezonul cu o înfrângere scor 0–1 cu Fulham.[13]
Čelůstka a fost o rezervă neutilizată în partid pierdută cu 3-1 de Sunderland în Finala Cupei Ligii cu Manchester City care a avut loc pe stadionul Wembley la 2 martie.[14]
1. FC Nürnberg
La 24 august 2014, Čelůstka a semnat un acord din postura de jucător liber de contract cu 1.FC Nürnberg din 2.Bundesliga după ce și-a reziliat contractul cu Trabzonspor.[15]
Antalyaspor
În iulie 2015, Čelůstka s-a transferat la Antalyaspor.
Cariera la națională
Čelůstka a reprezentat Cehia la categoriile de vârstă sub 19 ani și sub 20 de ani, strângând 18 selecții la cea sub 21 de ani. Performanțele sale la Campionatul European de Fotbal din 2011 l-au făcut să fie numit în echipa turneului. El a debutat pentru echipa mare a Cehiei la 15 noiembrie 2013 și a marcat după doar trei minute într-o victorie cu 2-0 împotriva Canadei.[16]