Şehrin adı kayıtlarda ilk kez 1174'te, Oltava ya da Ltava olarak geçer. Ancak arkeolojik buluntular tarihinin 8.-9. yüzyıla kadar ulaştığını işaret etmektedir. Tatarların saldırılarıyla 13. yüzyılın başlarında yıkıma uğrayan Poltava, 17. yüzyılda bir Kazak alayının merkeziydi. 1709'da I. Petro (Büyük), kenti üç aydır kuşatma altında tutan İsveç kralı XII. Karl'ı Poltova Muharebesi'nde ağır bir yenilgiye uğratmıştı. Şehir, 1802'de il merkezi oldu.
II. Dünya Savaşı'nda ağır hasar gören şehrin büyük bölümü yeniden inşa edildi.
Verimli bir tarım bölgesinin merkezinde yer alan Poltava'da tarım ürünlerinin işlenmesine dayalı sanayiler gelişmiştir. Şehirde ayrıca dokuma, giyim eşyası ve makine üreten fabrikalarla, lokomotif onarım atölyeleri vardır.