Первой математической олимпиадой, в которой приняли участие несколько областей РСФСР, стала проводившаяся в Москве олимпиада 1960 года. Её иногда называют «нулевой» Всероссийской математической олимпиадой школьников. Официальная нумерация началась с 1961 года. На первую Всероссийскую математическую олимпиаду приехали команды почти всех областей РСФСР. Также были приглашены команды союзных республик. Фактически эти олимпиады стали Всесоюзными, ведь в них принимали участие победители республиканских олимпиад. С 1967 года эти олимпиады получили статус Всесоюзных, а Всероссийские олимпиады на время прекратились.
Возрождение Всероссийской олимпиада школьников по математике организационно началось в 1974 году, когда по инициативе Министерства просвещения РСФСР, Министерства высшего образования РСФСР, общества «Знание» РСФСР и Центрального комитетаВЛКСМ был создан Центральный оргкомитет Всероссийской физико-математической и химической олимпиады школьников. Первыми руководителями математической части этой олимпиады стали профессор Московского государственного университета член-корреспондент АН СССР (впоследствии академик) В. И. Арнольд и доцентМосковского физико-технического института А. П. Савин.
В 1976 году председателем Центрального оргкомитета Олимпиады стал академик B.C. Владимиров, а первым заместителем председателя — Л. К. Балясная, которая в то время была заместителем министра просвещения РСФСР, а до этого возглавляла отдел по работе со школьниками в ЦК ВЛКСМ. Заместителя председателя Оргкомитета и председателями Методических комиссий по физике, математике и химии были назначены, соответственно, профессор МГУ Ю. М. Широков, профессор МФТИ Г. Н. Яковлев и член-корреспондент АН СССР И. П. Белецкая. В состав Центрального оргкомитета, кроме представителей организаций-учредителей и работников органов народного образования, вошли члены редколлегий журналов «Физика в школе», «Математика в школе», «Химия в школе». В составы Методических комиссий наряду с учёными из Академии наук СССР, Московского государственного университета им. М. В. Ломоносова, Московского физико-технического института, Московского государственного педагогического института им. В. И. Ленина и других ведущих вузов Москвы вошли известные учителя и преподаватели специализированных физико-математических школ. Центральным оргкомитетом и методическими комиссиями были разработаны структура, задачи и цели олимпиады, которые в основном остаются неизменными и по настоящее время. Территория Российской Федерации была разделена на четыре зоны: Северо-Западную, Центральную, Юго-Западную и Сибири и Дальнего Востока. Отдельно были выделены города Москва и Ленинград, в которых математические олимпиады начали проводиться ещё в 30-е годы.
Организаторами Олимпиады было решено: в этих городах Олимпиаду проводить по традиционно сложившейся схеме; в связи с этим в период 70—80-х годах XX века, когда Всероссийская олимпиада проводилась по зонам, московские и ленинградские школьники сначала участвовали во Всероссийской олимпиаде вне конкурса, а потом вовсе в ней не участвовали.
Особый статус Москвы и Ленинграда (ныне Санкт-Петербург) сохранялся до 2010 года[1].
Согласно Положению об олимпиаде, Всероссийская олимпиада школьников по математике (дальше будем говорить только о математической олимпиаде) до 1992 года проводилась в четыре этапа: школьный, районный (городской), областной (краевой, республиканский) и зональный (по Северо-Западной, Юго-Западной, Центральной и Сибирской зонам), который до 1992 года выполнял и функции заключительного этапа. Это объясняется тем, что тогда Всероссийская олимпиада была этапом Всесоюзной, на которой Российскую Федерацию представляли шесть команд — это команды городов Москвы и Ленинграда и четырёх указанных выше зон. В 1992 году, в связи с распадом Советского Союза, Всесоюзная олимпиада проводилась под названием Межреспубликанской. В то время ещё была надежда на то, что будет в какой-то степени сохранено единство образовательного пространства на территории бывшего Советского Союза. С 1992—93 учебного года проводится заключительный этап Всероссийской олимпиады школьников, по итогам которого формируется национальная команда России для участия в Международной олимпиаде.
Команда школьников России впервые выступила на Международной олимпиаде в 1992 году, когда ещё выступала сборная команда СНГ. В том году Международная математическая олимпиада проходила в Москве, и Россия, как правопреемница СССР, выставила свою национальную команду. Свои команды выставили и многие бывшие советские республики, а именно, те, новые руководители которых сочли возможным приезд в Москву своих школьников.
Призёры и победители Всероссийской математической олимпиады имеют особые права при приеме на обучение в вузы по программам бакалавриата и специалитета[6].