По приглашению мусульманской общины и по рекомендации Гаспринского Рахимов в 1899 году переезжает в Севастополь. Являлся директором Севастопольской татарской народной школы, где учились дети крымских татар и переселенцы из числа казанских татар[2]. Преподавал географию и историю. Ввёл в учёный процесс математику, физику и химию, поскольку до этого образование было сфокусировано на изучении ислама[1].
В 1914 году стал муллой построенной Севастопольской мечети. Оставался муллой мечети до 1937 года[1]. Являлся председателем «Общества пособия бедным мусульманам», созданного при мечети. Во время совершение хаджа у Рахимова останавливался Эмир Бухарского эмирата[2]
Был кандидатом в гласные городской думы по списку Севастопольского мусульманского общества на выборах 1917 года. После прихода советской власти организовал татарский национальный комитет из числа деятелей «двадцатки» мечети. В 1927 году Юсуф Рахимов был лишён избирательных прав как мулла по статье 15-п. «м» Инструкции ВЦИК от 4 ноября 1926 года[1], а его супруга Фатима — как иждивенка муллы[3].
Во время сталинских репрессий был арестован 2 октября 1937 года. Был обвинён в «шпионаже и контрреволюционной националистической пропаганде среди татарского населения». Решением тройки НКВД Крымской АССР от 10 февраля 1938 года был приговорен к расстрелу, который должен был состояться 8 июля того же года[1]. Однако в итоге расстрел ему заменили наказанием в виде 10 лет лишения свободы без права переписки. Во время немецкой оккупации Крыма он оказался в концлагере «Красный» и скончался там 19 февраля 1943 года от сердечного приступа[3]. Посмертно реабилитирован 5 февраля 1957 года[1].
В 2007 году в Севастопольской мечети прошёл молебен в память о Юсуфе Рахимове[4].