У 1903 році у Харкові створив власне проєктне бюро «Залізобетон», яке виконувало приватні замовлення з проєктування різних будівель. У 1903—1905 рр. на провулку Грабовського 4, по сусідству з будинком батьків О. М. Гінзбург будує власний прибутковий будинок. Проєкт будинку був виконаний спільно з архітектором старої школи І. І. Загоскіним. Брав участь у громадському житті міста, був членом архітектурно-будівельного відділу Харківського технічного товариства, утвореного у 1904 році. Писав статті з архітектурно-інженерних питань, брав участь в архітектурних конкурсах.
У 1912 році зодчому довелося піддати частковій реконструкції власний будинок. 27 квітня 1911 року газета «Южный край» писала про пожежу та вибух у будівлі на вулиці Сумській, 11. Допомагав йому у реконструкції інженер Плахотько.
У 1923—1924 рр. Гінзбург працював головним інженером будівництва Губернського продовольчого комітету та Донвугілля в Артемівську (Бахмуті).
До Харкова повернувся у 1924 р., активно займався промисловою архітектурою, брав участь у реконструкції Фабрики імені Тінякова та інших підприємств легкої промисловості.
З 1933 по 1938 роки викладав в Промисловій академії, з 1933 — в Індустріальному інституті Наркомвугілля.
З початком війни в армію Гінзбурга не взяли — через сильну короткозорість[3]. Проте, знаходячись у 1941 році, під загрозою захоплення міста німцями, допомагав військовим, даючи важливі дані щодо підземних тунелів у центрі міста.
У 1941—1944 рр. знаходився в евакуації у Грузії, переніс бідність й голод, працюючи викладачем у Тбілісі. Читав лекції в ХІБІ (ХНУБА) у 1943—1944 рр. та в Індустріальному інституті Наркомвугілля.
Повернувшись до Харкова у 1944 р., Гінзбург був шокований, дізнавшись про звіряче знищення нацистами харківських євреїв в ході Голокосту. Продовжив викладати, займатися науковою діяльністю, а також створенням міської єврейської общини. Домігся приміщення для громади на вулиці Сумській, 8 (будівля знесена, колишня філармонія), напроти кінотеатру«Перший Комсомольський»[3]. Був обраний головою общини, та невдовзі її закрили.
У 1945 р. Гінзбурга позбавили усіх посад і заборонили викладати. Його діяльність була визнана шкідливим проявом сіонізму[3].
Чотири роки він бідував, доки не захворів[3]. Помер у 1949 році в Харкові, де і похований.
Друкувався в «Південно-російській сільськогосподарській газеті», «Записках Харківського відділення Російського технічного товариства», «Зодчому», «Архітектурно-художньому тижневику». Написав книги: «Залізобетон» (1907) і «Про професійну організацію і етику архітекторів» (1915).
У 1916 році спільно із землеміром Н. Жаврідом зробив топографічний план Харкова з прилеглими передмістями, селищами і покажчиком. План був виданий накладом в 1000 екземплярів і поширений за підпискою[3].
У 1929 році запатентував свій винахід — сітчасті конструкції для великих прольотів[3].
У 1931 році отримав звання професора. Опублікував дві книги з геометрії просторових структур.
Викладав у інженерно-будівельному та інших вишах, консультував проєктувальників — в 1930-х Гінзбург став одним з найкращих в країні фахівців з акустики: він проєктував акустичні системи в Палаці піонерів і Будинку Червоної армії, в будівлі довоєнного Оперного театру[3].
Житловий будинок, книжковий магазин «Books». Сильно постраждав в ході реконструкцій та обстрілів у 2022 році. У 2024 році при реставрації зруйновано одну зі двох скульптур
↑Гінзбург Олександр Маркович // Тимофієнко В. Г. Зодчі України кінця XVIII-початку XX століть: Біографічний довідник. — К. : НДІТІАМ, 1999. — 477 с. — ISBN 966-7452-1.6-6.
↑ абЗона Сумской улицы // Харьков: Архитектура, памятники, новостройки: Путеводитель / Лейбфрейд А. Ю., Реусов В. А., Тиц А. А.. — Х. : Прапор, 1985. — 151 с. — 10 000 прим.
Борисова Е. А., Каждан Т. П. Русская архитектура конца XIX — начала XX века. — М.: Наука, 1971. — 239 с.
Лейбфрейд А. Ю., Полякова Ю. Ю. Харьков. От крепости до столицы: Заметки о старом городе. — Х.: Фолио, 1998. — 335 с.
Ревский С. Б. Зодчие, инженеры, художники, участвовавшие в формировании Екатеринослава (конец XVIII — начало XX в.) / Методическая разработка. — Дп.:ДИСИ, 1981. — 98 с.
Ясиевич В. Е. От модерна к конструктивизму. Творчество архитектора А. М. Гинзбурга (1876—1949) // Строительство и архитектура. — 1976. — № 9.
Гінзбург Олександр Маркович // Тимофієнко В. Г. Зодчі України кінця XVIII-початку XX століть: Біографічний довідник. — К. : НДІТІАМ, 1999. — 477 с. — ISBN 966-7452-1.6-6.
Berkovich, Gary. Reclaiming a History. Jewish Architects in Imperial Russia and the USSR. Volume 1. Late Imperial Russia: 1891—1917. Weimar und Rostock: Grunberg Verlag. 2021. С. 96. ISBN 978-3-933713-61-2.