В 1904 году назначен комендантом крепости Порт-Артур, куда прибыл 4 марта.
После падения крепости представил доклад, послуживший основанием для возбуждения дела о сдаче крепости против генералов Стесселя, Фока и Рейса. Также проходил обвиняемым по данному делу, но решением Верховного военно-уголовного суда от 7 февраля 1908 года был оправдан.
Получила большую известность «генеральская дуэль» Смирнова бывшим участником обороны Порт-Артура генералом А. В. Фоком, которого Смирнов обвинял в печати и в своих показаниях следственной комиссии в сдаче крепости неприятелю и трусости. Инициатором дуэли был Фок, одним из своих секундантов Смирнов пригласил В. М. Пуришкевича. Кроме того, оба участника обратились за помощью к знатоку дуэльного вопроса генералу А. А. Кирееву, который по их просьбе подготовил поединок и проинструктировал секундантов, а также сам присутствовал при нём. Дуэль была на пистолетах с 20 шагов, состоялась 5 (18) марта 1908 года в манеже лейб-гвардии Конного полка. В ходе её дуэлянты безуспешно обменялись тремя выстрелами от каждого, от четвёртого выстрела Фока Смирнов получил ранение в бедро недалеко от паха. В петербургском свете дуэль получила большой иронический резонанс из-за большого числа промахов участников[1][2].
В 1908 году вышел в отставку.
После Октябрьской революции жил в эмиграции в Югославии. Умер от воспаления лёгких в Панчево. Похоронен на местном кладбище.
