Stasiun ini aslinya dibuka [ada tahun 1840. Sebuah stasiun kedua dibangun antara 1848 dan 1852.
Pada 25 Agustus1944, jenderal militer Jerman di Paris, Jenderal Von Choltitz, menyerahkan pasukannya kepada Jenderal Prancis, Philipe Leclerc di sebuah stasiun kereta tua, setelah tidak mematuhi perintah Adolf Hitler untuk menghancurkan Paris. Selama 1960-an, sebuah stasiun baru yang bertujuan untuk sebuah komplek bangunan perkantoran dibangun. Pada 1969, stasiun tua itu dirubuhkan dan Tour Montparnasse dibangun di situs tersebut. Sebuah perpanjangan dibangun pada 1990 untuk digunakan oleh TGV Atlantique.
Gare Montparnasse menjadi terkenal setelah peristiwa tanggal 22 Oktober1895, di mana kereta ekspres Granville-Paris menerobos sepur badug. Kereta ini pun melaju melewati peron sepanjang 30 meter (98 kaki), kemudian menabrak dinding setebal 60 sentimeter (24 inci), menghancurkan teras, dan keluar dari stasiun, akhirnya hidung kereta berhenti di Place de Rennes sekitar 10 meter (33 kaki) di bawah dinding yang ditabrak. Semua penumpang di dalamnya selamat, sementara lima orang terluka, yakni dua orang penumpang, seorang tukang mesin dan dua kru kereta. Seorang wanita tewas akibat tertimpa lokomotif yang jatuh. Kecelakaan ini disebabkan oleh rem Westinghouse yang blong dan masinis yang mencoba mengurangi keterlambatan.[2] Masinis pun didenda 25 franc dan tukang mesin didenda 50 franc; ia juga menjalani hukuman penjara selama dua bulan.
Gambar lokomotif berdiri dengan hidungnya muncul pada sampul album Lean into It dari band hard rock Mr. Big.
Cerita mengenai kecelakaan kereta dan gambarnya muncul pada novel anak-anak tahun 2007, The Invention of Hugo Cabret oleh Brian Selznick. Banyak cerita yang memiliki latar belakang Gare Montparnasse dan sekitarnya.
