После окупације земље, Херљевић је по партијском задатку из Тузле упућен у Обласни војни штаб који је вршио припреме за устанак. Након тога је и сам организовао устанак у тузланском крају. На почетку устанка био је под командом Ивана Марковића Ирца. У јесен1941. године, заједно са Ирцем ишао је на Мајевицу да помогне при сређивању стања у Мајевичком партизанском одреду, које се погоршало услед првих непријатељских напада. После тога је убрзо био изабран за командирачете. Заједно са својим борцима истакао се у борби код Брчког, фебруара 1942. године, када су бомбама уништили непријатељско утврђење.
Цела породица Фрање Херљевића учествовала је у Другом светском рату. У рату су му погинула три брата, од којих је Албин, који је 1942. погинуо у борби са четницима, проглашен за народног хероја Југославије. Томислав—Томо Херљевић је 1942. такође страдао од стране четника, који су га заробили и 21. фебруара убили, дан након Албинове погибије, док је Звонимир—Звонко Херљевић 1941. стрељан од стране усташа. Оца Фрања су му премлатиле усташе, након чега је од задобијених повреда умро 1941. године. Мајка Луција и десетогодишња сестра Паула одведене су 1942. у логор Стара Градишка, а потом депортоване у Јасеновац и тамо стрељане. Један брат, Миро Херљевић, је био носилац Партизанске споменице 1941. и умро је после рата. Два брата, Јосип и Никола, су преживели рат.
.svg)
