Landslag í Suðurfjörðum er mjög vestfirskt, há basaltfjöll og brattar hlíðar í sjó fram og helsta undirlendi í fjarðarbotnum. Þar er hins vegar víða mjög gróðursælt og birkiskógar með ívafi reynis í fleiri fjörðum, sérlega í Geirþjófsfirði og Norðdal í Trostansfirði.
Búið var á 15 bæjum, þar af tveim tvíbýlum, fram undir miðja 20. öld. Nú er einungis búið á tveim, Fossi og Dufansdal. Eina þéttbýlissvæðið í Arnarfirði er Bíldudalur, þar búa nú um um 300 manns. Bíldudalur er gamall verslunarstaður allt frá einokunartímanum og þar hafa miklir athafnamenn sett sitt mark á staðinn, m.a. Ólafur Thorlacius (1761-1815) og Pétur J. Thorsteinsson (1854-1929). Í kaþólskri tíð var bænahús á Bíldudal og hálfkirkja frá 14. öld en hún var lögð niður 1670. Kirkja Suðurfjarða var í Otradal fram á tuttugustu öld en 1906 var vígð kirkja á Bíldudal.
Í Langaneshlíðum, norðan við Geirþjófsfjörð, var bærinn Steinanes. Í Geirþjófsfirði voru bæirnir Krosseyri, Langibotn og Sperðlahlíð. Í Trostansfirði (sem ævilega var nefndur Trosnasfjörður af seinni tíma Arnfirðingum) einn samnefndur bær. Í Reykjafirði var samnefnt tvíbýli. Í Fossfirði bæirnir Foss og Dufansdalur. Þar norðan við var Otradalur. Í Bíldudalsvogi voru, fyrir utan þorpið, bæirnir Litlaeyri og Hóll. Norðan við Bíldudalsvogin var bærinn Auðihrísdalur.
Landnám
í Landnámabók er sagt að Ketill ilbreiður Þorbjarnarson hafi numið Arnarfjarðardali frá Kópanesi til Dufansdals. Ketill ílengdist þó ekki í Arnarfjarðardölum heldur fór að Berufirði hjá Reykjanesi en skildi eftir sig nafnið Ketildalir. Ánn rauðfeldur Grímsson bjó einn vetur í Dufansdal en Dufan leysingi hans bjó þar eftir. Ánn er sagður hafa gert bú á Eyri, það getur annað hvort verið þar sem nú heitir Hrafnseyri í Arnarfirði eða þar sem nú er þorpið á Bíldudal. Geirþjófur Valþjófsson er sagður hafa numið í Arnarfirði, Fossfjörð, Reykjarfjörð, Trostansfjörð, Geirþjófsfjörð og bjó hann í Geirþjófsfirði.
