Порт-Артур находится на западном берегу озера Сабин-лейк. Мост через реку Нечес соединяет Порт-Артура и Бридж-Сити. Порт-Артур был основан Артуром Стилуэллом в конце XIX века, и когда-то был центром крупнейшей нефтяной сети мира.
В 1940-е годы начался приток среднего класса афроамериканцев, большинство из которых прибыли в Порт-Артур из соседних городов. Это привело к бегству белых, при этом многие белые переехали в соседние города. В конце 1950-х годов город был разделён, и его темнокожие жители были вынуждены переселиться в западную часть города. Там муниципалитетом был построен комплекс Карвер Террас для малоимущих афроамериканцев. В 1970-х годах темнокожие смогли приобрести дома на другой стороне железной дороги, и многие семьи афроамериканцев переехали в другие части города. По данным переписи 2006 года на 60 % территории города проживают афроамериканцы.
Недалеко от города располагается Плежер-Айленд — искусственный остров, который был создан из грунта в период с 1899 по 1908 год.