В эпоху Вёсен и Осеней эти земли большей частью входили в состав царства Цзинь, и поэтому слово «Цзинь» с тех пор служит для обозначения этих земель. В 403 году до н. э. три семьи разделили Цзинь, в результате чего эпоха Вёсен и Осеней сменилась эпохой Сражающихся царств, а на месте царства Цзинь возникли три новых царства: Чжао (с первоначальной столицей в Цзиньяне), Вэй (с первоначальной столицей в Аньи) и Хань (со столицей в Пинъяне).
В эпоху империи Тан Тайюань стала северной столицей империи, а так как здесь размещалось 5 из имевшихся в империи 18 районов добычи соли, то земли современной Шаньси приобрели крайне важное значение для экономики страны. Трое из будущих танских императоров в молодости постигали искусство управления на должности правителя области Цзэчжоу.
Провинция Шаньси была образована после того, как в 1368 году эти земли были отвоёваны у монголов китайской империей Мин. Ввиду важности региона основатель империи Чжу Юаньчжан отправил в эти места своих сыновей в качестве удельных князей.
Во время Синьхайской революции 1911 года командовавший Тайюаньским гарнизоном Янь Сишань поддержал Юань Шикая и, став военным губернатором Шаньси, установил в провинции режим единоличной диктатуры. Ставшая его вотчиной провинция Шаньси была его главной опорой в годы эры милитаристов, а после начала войны с Японией он упорно сражался на её территории против японских войск. Когда после капитуляции Японии в стране разгорелась гражданская война, Янь Сишань оказался не в состоянии выбить коммунистов из их опорных баз в горах, но упорно удерживал за собой основные экономические центры провинции. Окончательно под контроль китайских коммунистов провинция Шаньси перешла в 1949 году после падения Тайюани.
В середине XX века в эпоху «третьего фронта» в рамках политики переноса производственных мощностей страны с побережья во внутренние районы экономика Шаньси активно развивалась. В годы Культурной революции деревня Дачжай уезда Сиян была провозглашена образцом для всей страны, что выразилось в лозунге «В промышленности учиться у Дацина, в сельском хозяйстве — у Дачжая».
В Шочжоу расположен штаб 15-й истребительной авиадивизии; в Датуне — штаб 642-й ракетной бригады и НИИ бронетанковой техники; в Синьчжоу — космодром Тайюань[9].
В 2023 году Шаньси поставила в другие регионы страны 157,6 млрд кВт-ч электроэнергии, из которых 9,6 млрд кВт-ч было выработано за счет новых источников энергии. По состоянию на конец января 2024 года установленная мощность ветряных и солнечных электростанций в провинции Шаньси достигла 50,93 млн кВт, что составило 38,2 % от общей установленной мощности электростанций провинции (общая установленная мощность ветряных электростанций достигла 25,03 млн кВт, а общая установленная мощность солнечных электростанций — 25,9 млн кВт)[12].