У 1619 годзе касцёл перадалі айцам-варфаламістам, якія ў 1723 годзе перабудавалі храм.
У 1924 годзе касцёл цалкам згарэў, прычынай стала маланка. Засталася некранутай толькі званіца, пабудаваная ў 1794 годзе. Да будынка было прыбудавана памяшканне для правядзення службаў. Аднаўленчыя працы пачалося ў 1935 годзе, але не скончылася ў тым выглядзе, у якім было запланавана. У 1939 годзе на тэрыторыю Польшчыўступілі войска Чырвонай арміі і Каменец апынуўся ў складзе БССР. З амаль дабудаванага сабора была зроблена чайная, разабраўшы частку касцёла. Цалкам разбурылі касцёл Святых Пятра і Паўла ў 1961 годзе, калі знеслі пахавальную капліцу.
Новая гісторыя касцёла Святых Пятра і Паўла пачалася з 1992 года. У судовым парадку ксёндз Ян Васілеўскі вярнуў вернікам будынак храма. Праект новага будынка касцёла распрацавалі ў Баранавічах[1].