В древности Палембанг был столицей индуистко-буддийского государства Шривиджая. После пиратских набегов государства Чола, особенно в 1025, город стал увядать и терять своё значение. Столица Шривиджаи переместилась на север в Джамби.
В городе сохранились постройки и планировка времён голландской колонизации.