Вперше Літомишль згадується в 981 році у першій латинській хроніці, присвяченій історії чехів, «Chronica Boemorum» католицького священика Кузьми Празького. Вважається, що в X столітті князі Славниковичі[cs] на дорозі між Богемією та Моравією побудували фортецю на місці нинішнього замку. У 1098 році поруч із замком був монастир бенедиктинців, заснований князем Бржетиславом II (1056—1100), пізніше захоплений премонстрантами, привезеними з околиць Аахена в 1145 році Оломоуцьким єпископом Індржихом Здіком та королем Владиславом II (1110—1174). Премонстранський монастир сьогодні не існує, а на його місці — ренесансний замок.
Рельєф лицаря XVI ст. на фронті дому «У лицаря»
У 1259 році король Перемисл-Отокар ІІ надав поселенню ринкові права, а в 1263 році — міські права. В цей час у місті проживали як чехи, так і німці. У другій половині XIV століття існували цехи пекарів, драпірувальників і ткачів.
У 1344 році тут заснували єпископство. 1356 року єпископ Йоганнес фон Ноймаркт привіз до Літомишля монахів августинців. Розквіт міста припав на XVI століття. У пізніші століття внаслідок пожеж та повені місто занепало.
Письменник Алоїс Їрасек працював вчителем у Літомишлі, у цьому місті він створив сюжет для свого роману «Філософська історія[cs]» (1878), в якому розповідається про патріотичний запал молоді Літомишля перед та під час «Весни націй» — революції 1848—1849 років.
Міська галерея Литомишля[cs] — картинна галерея творів XIX—XXI століть художників Літомишльського краю в будинку «У лицаря» (U Rytířů, площа Сметани, 110).