Mažojoje Lenkijoje nuo slavų atėjimo gyveno lendų ir vyslėnų gentys. Iš pirmųjų kilo Lenkijos pavadinimas lietuvių kalboje. Apie X a. pabaigą, konsoliduojantis Lenkijos valstybei, teritorija buvo įjungta į polianųLenkijos kunigaikštystę (iš Didžiosios Lenkijos regiono), tačiau šiai teritorijai įgaunant vis didesnę reikšmę, apie 1040 m. Krokuva tapo visos valstybės sostine, o regionas – Lenkijos valstybingumo centru.
1138 m. prasidėjus visos Lenkijos karalystės dezintegracijai, Mažoji Lenkija padalinta tarp dviejų svarbiausių kunigaikštysčių: Krokuva kontroliavo vad. Krokuvos kunigaikštystę (svarbiausią visoje Lenkijoje), o rytuose susiformavo Sandomiro kunigaikštystė. Regionas XIII a. labai nukentėjo nuo mongolų antpuolių.
Lenkijos sudėtyje
1320 m. Krokuvos kunigaikštis Vladislovas Lokietka pabaigė Lenkijos dezintegraciją, vėl suvienydamas karalystę iš Krokuvos. Taip Mažoji Lenkija vėl tapo Lenkijos politiniu ir kultūros centru. Čia buvo suformuotos trys vaivadijos: Krokuvos, Sandomiežo ir Liublino.
Lenkijai okupavus LDK pietines teritorijas (Rusią), jos buvo oficialiai prijungtos prie Mažosios Lenkijos ir kartu su ja sudarė Mažosios Lenkijos provinciją. Provincija užėmė gerokai didesnes teritorijas nei pats regionas, ir buvo administracinis vienetas.
1806 m. po Mažojoje Lenkijoje įvykusio sukilimo buvo suformuota Varšuvos kunigaikštystė, ir šiaurinė regiono dalis prijungta prie jos. Tačiau jau 1815 m., panaikinus kunigaikštystę, Mažoji Lenkija atiteko Kongresinei Lenkijai (priklausomai nuo Rusijos imperijos). Čia ją sudarė Laisvasis Krokuvos miestas ir Krokuvos, Liublino, Sandomiežo, Polesės vaivadijos, kurios vėliau pervardintos gubernijomis. 1846 m. Krokuva sugrįžo Austrijai.
Po Pirmojo pasaulinio karo, 1918 m. atkūrus Lenkijos nepriklausomybę, Mažoji Lenkija vėl atiteko jai, ir buvo administruojama kaip keturios vaivadijos: Krokuvos, Kielco, Lvovo ir Liublino. 1939–45 m. regioną valdė Nacistinė Vokietija.
Dar kartą atsikūrus Lenkijai, senosios vaivadijos buvo atkurtos, bet po 1975 m., vykdant administracinę reformą, čia sukurta daug naujų smulkių vaivadijų. Tik 1999 m. vaivadijos vėl buvo sustambintos.