Frank Rost joue dans sa jeunesse comme attaquant, d'abord au Lokomotive West Leipzig puis au SV Chemie Böhlen. À 13 ans avant de rejoindre le centre de formation de Lokomotive Leipzig il opte pour la position de gardien de but. En 1992, il rejoint le Werder Brême en Bundesliga en provenance d'un club de troisième division, le 1. FC Markkleeberg. Il commence avec l'équipe réserve du Werder, après le départ en 1998 du gardien titulaire Oliver Reck vers Schalke 04, Franck Rost reprend son poste en équipe première. Lors de la finale de la Coupe d'Allemagne 1999 contre le Bayern Munich, Franck Rost marque un penalty lors de la séance de tirs au but, puis arrêtera celui de Lothar Matthäus permettant à son équipe de soulever le trophée[3]. En 2000, il retrouvera le Bayern Munich en finale de la Coupe, mais s'inclinera trois fois au cours de celle-ci.
En 2002, comme son prédécesseur il rejoint le FC Schalke 04. En 2005, il sera vice-champion d'Allemagne et finaliste de la Coupe d'Allemagne, perdue face au Bayern Munich. Lors de la demi-finale contre son ancien club de Brême il arrête trois penalties lors de la séance de tirs au but et marquera le penalty décisif[4].
Lors de la première partie de la saison 2006-2007, l'entraineur de Schalke 04, Mirko Slomka, le place sur le banc lui préférant un jeune de 20 ans, Manuel Neuer. N'ayant plus sa chance à Schalke, Frank Rost quitte le club en janvier 2007 pour rejoindre le Hambourg SV. À son arrivée, Hambourg occupait la dernière place du classement, lors des matchs retour il gardera ses buts inviolés treize fois et aidera le club à remonter à la 7e place obtenant une qualification pour la Coupe Intertoto.
En 2009, Rost et le HSV atteindront la demi-finale de la Coupe UEFA 2008-2009, puis la saison suivante la demi-finale de la Ligue Europa 2009-2010, ratant la finale à domicile car éliminé à ce stade par Fulham FC. Son contrat prenant fin en juin 2011, il ne sera pas prolongé et Frank Rost signe au Red Bulls de New York[5]. En février 2012, n'obtenant pas de prolongation de contrat il arrête sa carrière de joueur.
Après sa carrière de joueur, Frank Rost fait partie du staff d'entraîneurs de l'équipe féminine du Hambourg SV, de juin 2012 à juin 2013, puis enchaîne dans le club avec un poste de manager dans la section handball. Avant la saison 2013-2014 son contrat est rompu au bout de 43 jours[6]. Frank Rost et sa femme Felicitas, championne d'Allemagne de dressage en 2017[7], s'adonnent depuis à l'élevage de chevaux dans leur ferme à côté de Hambourg[8].