In 1127 trouwde Boudewijn met Adelheid van Namen (ca. 1110 - juli 1169, begraven te Bergen), dochter van graaf Godfried van Namen en Ermesinde van Luxemburg. Daarbij werd overeengekomen dat indien het Huis Namen geen erfgenamen zou hebben, Boudewijn en Adelheid de Naamse goederen zouden erven.
Nog in 1127 werd de Vlaamse graaf Karel de Goede vermoord. Boudewijn greep dit voorval aan om de aanspraken van zijn familie op Vlaanderen weer te doen gelden (achterkleinzoon van Boudewijn VI van Vlaanderen). Hij bezette Oudenaarde en Ninove. De koning van Frankrijk wees echter Willem Clito aan als graaf van Vlaanderen. Boudewijn kon niet anders doen dan de bezette gebieden verwoesten en zich weer terug te trekken. Uiteindelijk wist Diederik van de Elzas, in naam van zijn moeder, graaf van Vlaanderen te worden. Boudewijn probeerde weer om Vlaanderen aan te vallen maar werd in 1128 verslagen door Diederik.
Diederik van de Elzas nam deel aan de Tweede Kruistocht en Boudewijn probeerde hiervan gebruik te maken door opnieuw Vlaanderen aan te vallen. Diederiks vrouw Sybille van Anjou wist echter stand te houden. Er volgde een paar jaar van verwoestingen en plundertochten. Na thuiskomst van Diederik werd in 1151 een vrede gesloten tussen Vlaanderen en Henegouwen en werd afgesproken dat die vrede door een huwelijk zou worden bezegeld.
Boudewijn richtte zich nu op andere mogelijkheden om zijn bezit uit te breiden. In 1158 kocht hij het land waar hij Aat zou stichten van Gilles van Trazegnies. In 1159 verwierf hij Chimay en in 1160 verwierf hij de burggraafschappen Valencijn en Oosterbant. Zijn zwager Hendrik I van Namen, die ook hertog van Luxemburg was, was kinderloos en benoemde Boudewijn in 1163 tot zijn erfgenaam als dat zo zou blijven - maar Hendrik zou in 1186, op 72-jarige leeftijd, nog een dochter krijgen.
In 1169 vond dan het huwelijk plaats tussen Boudewijns zoon Boudewijn V en Margaretha van de Elzas, dochter van Diederik van Elzas die uiteindelijk erfgename van Vlaanderen zou worden. Na de bruiloft in het kasteel van Le Quesnoy nam Boudewijn IV zijn gasten mee naar Valenciennes om het paleis te tonen dat hij daar liet bouwen. Het gezelschap maakte een lelijke val toen de steiger waar het op stond bezweek. De gasten kwamen er vanaf met licht verwondingen, maar Boudewijn brak zijn beide dijbenen. Hij overleefde het ongeluk nog meer dan een jaar voordat hij in Bergen overleed. Boudewijn is begraven in het Mariaklooster van Binche.
Zijn bijnaam kreeg Boudewijn IV vanwege de versterkingen die hij langs de grens van Henegouwen met Brabant en Vlaanderen liet aanbrengen, zoals het kasteel Burbant in Aat, de ommuring van steden als Bergen en Le Quesnoy en de bouw van kerken zoals de Waltrudiskerk in Bergen.
Kinderen
Boudewijn en Adelheid kregen de volgende kinderen:
Agnes, bijg. de Manke (1142-1168), gehuwd met Rudolf I van Coucy. Ze kreeg drie dochters.
Lauretta (ovl. 9 aug 1181), gehuwd met Diederik van Gent (-1165), laatste heer van Aalst en Waas, en (1173) met Burchard IV van Montmorency. Moeder van vijf kinderen uit haar tweede huwelijk, waaronder Mathieu II van Montmorency, "de Grote", constabel van Frankrijk.
Godfried (1147-1163), graaf van Oosterbant, gehuwd met Eleonora van Vermandois. Zijn vader gaf hem een aandeel in het bestuur maar Godfried overleed kort na zijn meerderjarigheid, terwijl hij voorbereidingen trof om naar het Heilige Land te gaan. Begraven in de Waltrudiskerk te Bergen.
Hendrik (-1230), heer van Sebourg, van Angre en van Fay, gehuwd met Johanna van Cisoing en met Mahaut van Lalaing. Vader van twee zoons: Boudewijn (jong overleden) en Filips die hem opvolgde. Zijn twee dochters werden allebei non te Gellingen.
Eustaas, 1198 proost van de Waltrudiskerk in Bergen
Berta, gehuwd met ene Egidius, moeder van Gerard en enkele dochters.
Boudewijn had drie buitenechtelijke zoons:
Gerard (ovl. 1179), begraven in de Waltrudiskerk van Bergen
Willem (ovl. na 1219), heer van Thy-le-Château, regent van Henegouwen (1201-1205), kanselier van Vlaanderen, voogd van Saint-Saulve. Getrouwd met Hedwig van Saint-Saulve, ze kregen zeven kinderen.
Gerard (ovl. na 1205), proost van Sint-Pieter (Lille), proost van Sint-Omaars, proost van Sint-Donaas in Brugge, kanselier van Vlaanderen (1196-1205).
