Karl Johans församlings område motsvarade de nuvarande stadsdelarna Slottsskogen, Sandarna, Kungsladugård, Majorna, Stigberget, Olivedal, Kommendantsängen och stora delar av Annedal. Häri inbegrips också Masthuggsbergen, det vill säga stora delar av det som nu i dagligt tal kallas Masthugget. (Det "egentliga" Masthugget, området runt Långgatorna, ingår i Göteborgs stads ursprungliga område.) Den bebyggelse som fanns vid 1800-talets mitt var mestadels av kåkstadskaraktär, och var koncentrerad till Masthuggsbergen och Majorna.
Genom införandet av kommuner 1863 övergick ansvaret för de borgerliga frågorna till Karl Johans kommun. Denna blev dock inte långlivad. Redan 1847 inlämnades en ansökan till Kunglig Maj:t från Karl Johan om att införlivas med Göteborgs stad. Staden var negativt inställd till detta, och ansökan avslogs. Efter flera förnyade ansökningar tillstyrktes slutligen inkorporeringen 1867, vilket kom att gälla från och med 1868. Karl Johans kommun kom alltså endast att bestå i fem år. Överföringen till Göteborgs stad innebar också att Karl Johan ströks från Örgryte jordebokssocken och Sävedals härad.
