A város neve mindörökké összeforrott a 12-13. század nagy vallási mozgalma, a kathar eretnekség fogalmával, azért, mert 1165-ben egy Albi melletti kis faluban, Lombers-ben gyűltek össze először nagy számban a mozgalom hívei.
Története
A katharok hite némiképpen módosított formája az úgynevezett bogumil eretnekségnek, amely a 10. században a Balkánon, mindenekelőtt Bulgáriában létezett, s a kereskedők útján jutott el erre a vidékre. Az albigensek magukat keresztényeknek vallották, egyistenhívők voltak, egyetlen imájuk a Miatyánk volt, bibliaként János evangéliumát ismerték el, de elutasították a katolikus vallás szinte minden más hittételét. Egyetlen szentségnek a halál előtti áldást, a Consolamentumot ismerték el. A négy püspök által irányított katár egyház tagjai két csoportból álltak: voltak a „Tökéletesek”, akik már a földön megtisztultak, s a többiek őket voltak kötelesek követni. A katárok a tisztaságot az aszkétizmus révén akarták elérni. A katár közösségek ugyanakkor összetartóak voltak. A hit nemcsak az egyszerű emberek körében terjedt, hanem a nemesek és főnemesek között is. Az egyház az eretnekség megjelenésének kezdetén még csak a térítés eszközeivel harcolt ellene. A hivatalos irányítók a III. Ince pápa által kiküldött legátusok voltak. 1208 januárjában azonban Arles mellett egy kis faluban egy albigens merénylő meggyilkolta a legátusok vezetőjét, Pierre de Castelnau-t. Ince ezek után hirdette meg a keresztes hadjáratot a katárok ellen. Az összesereglett keresztesek 1209 nyarán Lyonból kiindulva kezdték meg a hadjáratot, Toulouse, Béziers, Carcassonne elfoglalásával. Ekkor már a kegyetlen katona, Simon de Montfort vezette a csapatokat. Languedoc városai, falvai egymás után kerültek a keresztesek birtokába, az albigensek közül ezrek végezték életüket máglyán, mert nem voltak hajlandók megtagadni hitüket. Béziers elestét követően sok más városban is valóságos mészárlást rendeztek a keresztesek, egyedül Avignon városkában több százan pusztultak el, s az elfogott albigensek az inkvizíció ítélőszéke elé kerültek. A hadjárat gyakorlatilag 1244-ben ért véget, Montségur elfoglalásával.
Bár az eretnekséget Albi városáról nevezték el, igazából nem ez volt a központjuk, s a hadjárat során gyakorlatilag ellenállás nélkül került a keresztesek kezére. A katolikus egyház közvetlenül a hadjárat befejeztével megkezdte a hatalom jelképeként a püspöki palota, majd a várra emlékeztető katedrális építését. Ettől kezdve Albi formailag ugyan Toulouse grófjainak a birtoka maradt, de a valódi hatalmat a helyi püspök gyakorolta.
Cathédrale Ste-Cécile – a Tarn folyó déli partján emelkedik az ország egyik legkülönösebb katedrálisa. Tornya több mint 78 méter magas, a lapos tető körül kisebb tornyok magasodnak. Ellentétben a többi francia katedrálissal, teljes egészében téglából emelték. A támaszoszlopok félkörívesek, tetejük a tetőnél kis erőd, amelyek alatt a kisebb ablakok valósággal lőrések, az oldalhajók felett magasan kezdődő hatalmas ablakok is keskenyek. A hatalmas, négyszögletes torony is inkább donjonra emlékeztet. A templom építését 1282-ben kezdték meg, de a végleges felszentelésre csak 1480 áprilisában került sor, ekkor készült el teljesen a rendkívül gazdag belső. A főbejárat a templom jobb oldalán nyílik, 1520 táján készült el. A kőből épült bejárati csarnok gazdagon díszített, a késői gótika jegyében született, 51 lépcső vezet fel hozzá. Az egyetlen hajó belseje a szentéllyel együtt mintegy 100 méter hosszú, szélessége is, magassága is 30 méter. A belső támoszlopok között alakították ki a kápolnákat, a falak szinte minden négyzetcentiméterét festmények borítják. A templom szentélye, amely a hajó mintegy felét foglalja el minden oldalról csipkefinom, magas kőkerítéssel van elkülönítve. Az épület belsejét számos szobor díszíti, annak ellenére, hogy számos pusztult el a francia forradalom idején, a feljegyzések szerint kilencvennél több alak díszítette csak a szentélyt.
Palais de la Berbie – a különös alakú, megerődített, de többször is bővített és átalakított palota a város püspökének a székhelye volt. Ma a Musée Toulouse-Lautrec van falai között. Építése megelőzte a katedrálisét, 1265-ben kezdték meg, erős falakkal, vártornyokkal erődítették. Két évszázaddal később már a tornyok egy részét lebontották, átalakították, a palotához új szárnyat építettek. 1922-ben nyitották meg benne a múzeumot. A századvég különös sorsú és életművű nagy festője, Henri Toulouse-Lautrec egy helyi arisztokrata család gyermeke volt. A városban érte gyermekkorában az a baleset, aminek következtében lábai sosem fejlődtek együtt testével, torz maradt. A múzeum a püspöki palotában a legnagyobb gyűjtemény műveiből, tucatnyi teremben mutatja be festményeit, rajzait, plakátjait, kora gyermekkorától haláláig. A kiállításon néhány más műalkotás és régészeti lelet is helyet kapott, legnevezetesebb közülük a Vénus du Courbet, a régészek szerint 20000 éves kis szobor.
Église St-Salvy – román templom, amelyet gótikus elemekkel egészítettek ki.