মারগুবুর রহমান ১৯১৪ খৃস্টাব্দে ভারতেরবিজনুর শহরের এক সম্ভ্রান্ত জমিদার পরিবারে জন্মগ্রহণ করেন। বংশগত সূত্রে তিনি খলিফাতুল মুসলিমীন আবু বকরের সঙ্গে সম্পৃক্ত। মাদরাসায়ে রহীমিয়ায় তিনি প্রাথমিক শিক্ষা অর্জন করেন। সেখানে উর্দু, ফার্সিসহ বিভিন্ন কিতাবাদি পড়ার পর উচ্চশিক্ষা অর্জনের উদ্দেশ্যে দারুল উলুম দেওবন্দে ভর্তি হন। দাওরায়ে হাদীস ( মাস্টার্স ) সমাপ্ত করার পর আবারো কিতাব অধ্যয়নে মনোনিবেশ করেন তিন বছর। এরপর দারুল উলুমের ইফতা বিভাগে ভর্তি হন এবং দু’বছরে ইফতা সমাপ্ত করে ১৩৫২ হিজরী, মোতাবেক ১৯৩২ খৃস্টাব্দে ছাত্রজীবন থেকে ফারাগাত লাভ করেন।[২]
১৯৬২ সালে তিনি দারুল উলুম দেওবন্দের মজলিসে শূরার সদস্য নির্বাচিত হন। ১৯৮১ সালে কারী মুহাম্মদ তৈয়বের অসুস্থতার কারণে তাঁকে দারুল উলুম দেওবন্দের নায়েবে মুহতামিম নিযুক্ত করা হয়। অনন্যা যোগ্যতা ও দক্ষতার কারণে ১৯৮২ সালে তার উপর অর্পিত হয় মুহতামিমের দায়িত্ব। এরপর দীর্ঘ ২৮ বছর তিনি এই দ্বীনী শিক্ষাকেন্দ্রের প্রধান ছিলেন। মৃত্যুর আগ পর্যন্ত তিনি এই পদে আসীন ছিলেন। তার মৃত্যুর পর ইহতিমামের দায়িত্বভার অর্পিত হয় গোলাম মুহাম্মদ বাস্তনবীর উপর।[৪]