Полк сформирован в 1927 году на базе 16-го отдельного артиллерийского дивизиона. Дислоцировался под Ленинградом: в 1928—1931 годах в Пушкине, в 1938—1941 годах в Новом Петергофе. Летом — на Лужском арт.полигоне. В 1938 году полк переведён с конной тяги на механическую.
В действующей армии с 24 июня 1941 по 24 марта 1942 года. 22-25 июня переброшен в район севернее Выборга, ведёт обстрел финской территории. В этот же день из состава полка был выделен ещё один, 541-й гаубичный артиллерийский полк. Находится в распоряжении 50-го стрелкового корпуса 23 армии до сентября 1941 года. Дивизионы полка были приданы: 1-й и 3-й, 43-й, 2-й и 4-й 123-й стрелковым дивизиям. В конце августа 1941 дивизионы вместе с 43 сд начинают отход от Выборга к «старой» советско-финской границе, но попадают в окружение в котле в районе ст. Сомме (ныне Матросово) — Порлампи (ныне Свекловичное). Вся материальная часть была уничтожена личным составом полка и финской артиллерией. Вырвавшиеся из окружения отдельные группы уходят в Койвисто, откуда их морем переправляют в Ленинград. 2-й и 4-й дивизионы были приданы 255 сп 123 сд для отражения финского наступления со стороны р. Вуокса. Но поставленную задачу выполнить не смогли. На северном берегу оз. Муоллаярви попали под удар стремительно продвигавшихся финнов и вынуждены были начать отступать к югу. В ночь на 30 августа 1941 года попали в окружение в посёлке Уусикирко. В результате тяжёлого ночного боя дивизионы понесли большие потери, противник захватил почти все вооружение и технику, немногочисленных пленных. Погибшие советские воины были захоронены в братской могиле на обочине дороги. 30 августа 1941 года остатки полка обороняли переправу на Чёрной речке, обеспечивая отход 123-й дивизии. 31 августа 1941 года полк оставляет Терийоки, и 1 сентября 1941 года выходит в расположение советских войск в районе Дибуны-Белоостров.
В начале сентября 1941 года полк был выведен из состава 23 армии и подчинён командующему Ленфронтом. Фактически был заново сформирован(на 8 сентября в полку на вооружении было всего две гаубицы). 13 сентября подчинён 42-й армии и срочно переброшен на Пулковские высоты для отражения немецкого штурма Ленинграда. По свидетельству командующего артиллерией Ленфронта генерала Одинцова, ввиду почти полного отсутствия боеспособных стрелковых частей на южных подступах к Ленинграду, 101 гап сыграл решающую роль в отражении штурма города.
В сентябре-октябре 1941 года ведёт на Урицком направлении контрбатарейную борьбу. 21 сентября 1941 года на юго-западных подступах к Ленинграду уничтожил до двух батальонов пехоты и большое количество автомашин. С 25 октября 1941 года вместе со 2-м и 3-м дивизионами 24-го корпусного артиллерийского полка вошёл в так называемую группу подполковника Жданова, командира 101-го полка, перед которой ставилась задача поддерживать 86-ю стрелковую дивизию в её форсировании Невы и наступлению на Синявино, подавлять батареи противника в районах Отрадное, Мустолово, Синявино, Совхоз Торфяник и резервы в районах Отрадное, Мга, Келколово, Синявино, Рабочий Посёлок № 6, штабы в районах: Отрадное, Мга, станция Пелла, Келколово, Рабочий Посёлок № 6, Рабочий Посёлок № 8, Шлиссельбург. На вооружении 4-го дивизиона, разрушавшего немецкие укрепления в районе 8-й ГЭС, 1-го и 2-го Городка, находились орудия калибра 203-мм.
С января 1942 действовал в Колпино до переформирования.
Миронов, Евгений Андреевич — С августа 1927 года по октябрь 1928 года проходил службу курсантом учебного дивизиона. Впоследствии, советский военачальник, генерал-майор.