Народився 17 березня1920 року в мусульманській родині у східнобенгальському селі Тонгіпара. Студентом в Індії виявив цікавість до політичної діяльності та приєднався до руху за незалежність Пакистану. 1947 року повернувся на батьківщину до Східного Пакистану, вивчав право в Даккському університеті. 1949 року брав участь у створенні «Авамі Ліг» як противаги Мусульманській лізі, яка провадила дискримінаційний курс стосовно до його рідної провінції з її бенгальським населенням. 1953 року шейх Муджибур Рахман був обраний членом провінційних законодавчих зборів, але невдовзі відмовився від депутатського мандату, щоб зосередитись на реорганізації «Авамі Ліг». Після встановлення в країні 1958 року військової диктатури Айюб-хана висунувся як лідер опозиції, двічі був ув'язнений.
В середині 1960-их років працював над відновленням та посиленням «Авамі Ліг». 1966 року був заарештований урядом Карачі за звинуваченням у підбуренні до сепаратизму. Після майже дворічного тюремного ув'язнення був звільнений під тиском громадської думки.
1969 року фельдмаршал Айюб-хан пішов у відставку, передавши владу генералу Ях'я-хану, який призначив загальні вибори на грудень 1970 року. «Авамі Ліг» відкрито виступила з лозунгом автономії для Східного Пакистану та, здобувши абсолютну більшість у його Законодавчих зборах, стала найбільшою парламентською фракцією. Відкриття сесії парламенту було, однак, відкладено президентом Яхья-ханом, і Шейх Муджибур почав кампанію ненасильницької громадянської непокори. До подій втрутились пакистанські війська, й у березні 1971 року Муджибура було заарештовано й інтерновано в Західному Пакистані. У відповідь бенгальські націоналісти проголосили незалежність східної провінції, що призвело до кривавої громадянської війни. До грудня прибічники створення Бангладеш завдали поразки пакистанській армії, що складалась майже виключно з уродженців західних провінцій. Шейха Муджибура, який все ще перебував під арештом, обрали президентом Бангладеш. Його було звільнено у грудні 1971 року, він прибув до країни та віддав перевагу посту прем'єр-міністра. У січні 1975 року Муджибур Рахман все ж став главою держави та зосередив у своїх руках всю повноту виконавчої влади. У квітні 1972 року відвідав СРСР з офіційним візитом. Вбитий під час державного перевороту в Дацці15 серпня1975 року.