В начале XVIII века на этом месте со стороны реки Мойки находился деревянный дом. В 1733 году участок по Миллионной улице был пожалован Павлу Фёдоровичу Балк-Полеву лично императрицей Анной Иоанновной, позже он выкупил два соседних участка[3] и построил по проекту архитектора Ивана Коробова со стороны Миллионной улицы каменный особняк в два этажа на высоких погребах с мезонином[4], законченный в 1741 году[5]. По другим данным, дом «в 34 покоя» уже находился на участке[6]. В 1738 году в доме была освящена церковь во имя Иоанна Богослова[6]
После смерти Павла Фёдоровича Балк-Полева в 1743 году дом перешёл по наследству его младшей дочери Матрёне, которая в 1750 году вышла замуж за Сергея Васильевича Салтыкова[3] Помещения на втором этаже хозяева сдавали в наём[4]. В 1755 году (по другим данным 10 июля 1757 года[7].) Матрёна Павловна продала особняк мужу сестры Марии, гофмаршалу Семёну Кирилловичу Нарышкину[3][4][5], при этом убранство церкви она увезла в свой московский особняк на Остоженке[6]. По другим данным, Семён Нарышкин купил лишь основной дом, выходящий на Миллионную улицу, а флигель на набережной Мойки был выкуплен гофмаршалом Гавриилом Головкиным[6]. В это время на Миллионную улицу выходил солидный трёхэтажный особняк, фасад которого даже со двора был обильно украшен лепниной, а центральные въездные ворота позволяли проехать с улицы во двор, тогда как со стороны Мойки располагались лишь служебные, в основном деревянные постройки. После смерти Нарышкина в 1775 году дом перешёл его жене, Марии Павловне[4].
После смерти Марии Павловны Нарышкиной в 1793 году, по её завещанию, особняк перешёл к её племяннику, сыну её сестры Натальи, князю Павлу Щербатову, который на другом конце участка лицом к набережной Мойки построил двухэтажный каменный флигель с аркадой в первом этаже, с девятью торговыми лавками сдаваемыми в аренду местным купцам (наб. Мойки № 5)[4][8]. Через год по распоряжению князя здание надстроили третьим этажом, оформили фасады дома рустом и лепными деталями[3]. Помещения в новом корпусе, как и в особняке на Миллионной, сдавались внаём. В 1810-х годах здесь проживал французский художник Шарль-Бенуа Митуар[4].
Когда в 1831 году Щербатов умер, домом стала управлять его вдова, Анастасия Валентиновна, дочь Валентина Платоновича Мусина-Пушкина. После смерти последней в 1841 году, дом перешёл к их дочери — Натальи Павловне Зубовой (1801—1868), бывшей замужем за графом Александром Николаевичем Зубовым (1797—1875), которая продала дом некой Рубцовой, от которой через несколько лет участок достался жене графа Платона Николаевича Зубова Ольге Павловне. В середине 1840-х годов особняк со стороны Миллионной улицы был трёхэтажным. В 1856 году в доме жил композитор Николай Андреевич Римский-Корсаков[9]. В середине XIX века архитектор Карл-Густав Альштрем перестроил дом[8][9].
В 1857 году весь участок был выкуплен в казну и под руководством придворного архитектора Андрея Штакеншнейдера в начале 1860-х годов был перестроен под служебный корпус и конюшенный двор Ново-Михайловского дворца, построенного в это же время к свадьбе великого князя Михаила Николаевича и баденской принцессы и маркграфини Цецилии Августы. Фасад дома по Миллионной был декорирован пилястрами, убранством в стиле рококо (завитки в виде раковин, растительный орнамент, изогнутый в спирали, асимметрия декора). В этом корпусе находились квартиры придворных великого князя и основные службы дворца, а в дворовых строениях между Миллионной и Мойкой размещались конюшни и сараи, в построенных здесь флигелях жили великокняжеские слуги и конюхи. В 1863 году часть участка, примыкающая к Мойке, была сдана в аренду известному мебельному фабриканту К. А. Туру[3].
По описи 1911 года в запасном дворце великого князя Михаила Николаевича имелось 77 квартир, из которых только в 16 были туалет и ванная, а 36 квартир и вовсе состояли только из одной комнаты. Дом населяли лакеи, повара, кухарки и другая прислуга владельцев Ново-Михайловского дворца. Здесь же, в квартире из девяти комнат, проживал управляющий двором великого князя генерал-майор М. Н. Молодовский[10].