Filip Novák begann seine Karriere als Eishockeyspieler in seiner Heimatstadt im Nachwuchsbereich des HC České Budějovice, in dem er bis 1999 aktiv war. Anschließend wechselte der Verteidiger für drei Jahre zu den Regina Pats, die ihn beim CHL Import Draft 1999 an insgesamt zwölfter Stelle gezogen hatten, in die kanadische Juniorenliga Western Hockey League. In diesem Zeitraum wurde er im NHL Entry Draft 2000 in der zweiten Runde als insgesamt 64. Spieler von den New York Rangers ausgewählt, für die er allerdings nie spielte. Stattdessen stand er von 2002 bis 2005 für die San Antonio Rampage in der American Hockey League auf dem Eis, wobei er die gesamte Saison 2003/04 verletzungsbedingt verpasste. Im Sommer 2005 unterschrieb er bei den Ottawa Senators, für die er in der Saison 2005/06 sein Debüt in der National Hockey League gab. In seinem Rookiejahr bestritt er für die Kanadier insgesamt elf Spiele. Die restliche Spielzeit verbrachte er allerdings bei deren Farmteam aus der AHL, den Binghamton Senators.
Zur Saison 2006/07 unterschrieb Novák bei den Columbus Blue Jackets, für die er weitere sechs Mal in der NHL auf dem Eis stand. Erneut lief er allerdings überwiegend in der AHL für deren Farmteam Syracuse Crunch auf. Nachdem er sich in der NHL nicht durchsetzen konnte, kehrte der Linksschütze nach acht Jahren in Nordamerika in seine tschechische Heimat zurück, wo er bei seinem Ex-Klub HC České Budějovice aus der Extraliga einen Vertrag erhielt. Für das Team, mit dem er erst im Playoff-Halbfinale am HC Energie Karlovy Vary scheiterte, erzielte er in insgesamt 57 Spielen zwei Tore und gab ebenfalls zwei Vorlagen. Für die Saison 2008/09 wechselte der ehemalige Junioren-Nationalspieler zu Dinamo Riga in die neugegründete Kontinentale Hockey-Liga, in der er 53 Spielen 18 Scorerpunkte erzielte. Bereits nach einem Jahr verließ er die Letten wieder, um für deren Ligarivalen HK MWD Balaschicha zu spielen. Zur Saison 2010/11 schloss er sich dessen Nachfolgeverein OHK Dynamo an, für den er bis 2015 (ab 2012 unter dem Namen HK Dynamo Moskau) spielte.
Im September 2015 wechselte er innerhalb der KHL zum HC Slovan Bratislava, wurde aber bereits einen Monat später gegen Francis Paré vom HK Traktor Tscheljabinsk eingetauscht.[1] Für Traktor Tscheljabinsk kam er in 35 KHL-Partien zum Einsatz. Zu Beginn der Saison 2016/17 spielte er für den HC Dynamo Pardubice, ehe er im November 2016 zu Slovan Bratislava zurückkehrte. Weniger Wochen später wurde er vom HC Slovan entlassen und kehrte im Januar 2017 zu seinem Heimatverein zurück.
