Провінція Харіма була утворена у 7 столітті. Її адміністративний центр знаходився у сучасному місті Хімедзі. Провінція була важливою ланкою на морському транспортному і торговому шляху. що пролягав Внутрішнім японським морем.
У період Едо (1603—1867) Харіма була поділена на декілька володінь хан, найбільший з яких із центром у місті Хімедзі належав родині Мацудайра — родичам сьоґунів Токуґава.
У цю епоху провінція також прославилиася інцедентом 1703 року, коли 47 ронінів з Ако-хану помстилися ворогам свого сюзерена, пожертвуваши власною честю і життям. Ці вояки стали символом безкорисливої вірності і вшановуються у сучасній Японії як еталон «справжніх чоловіків».
