بلغ عدد سكان ماديسون 4,523 نسمة بحسب تعداد عام 2000، وبلغ عدد الأسر 1,890 أسرة وعدد العائلات 1,270 عائلة مقيمة في البلدة. في حين سجلت الكثافة السكانية 87.4 نسمة لكل ميل مربع (33.7/كم2). وبلغ عدد الوحدات السكنية 2,308 وحدة بمتوسط كثافة قدره 44.6 نسمة لكل ميل مربع (17.2/كم2).
وتوزع التركيب العرقي للبلدة بنسبة 98.12% من البيض و 0.29% من الأمريكيين الأصليين و 0.15% من الأمريكيين ذوي الأصول الآسيوية و 0.02% من سكان جزر المحيط الهادئ و 0.07% من الأمريكيين الأفارقة و 1.28% من عرقين مختلطين أو أكثر.
بلغ عدد الأسر 1,890 أسرة كانت نسبة 28.1% منها لديها أطفال تحت سن الثامنة عشر تعيش معهم، وبلغت نسبة الأزواج القاطنين مع بعضهم البعض 53.1% من أصل المجموع الكلي للأسر، ونسبة 10.3% من الأسر كان لديها معيلات من الإناث دون وجود شريك، وكانت نسبة 32.8% من غير العائلات. تألفت نسبة 27.6% من أصل جميع الأسر من أفراد ونسبة 13.7% كانوا يعيش معهم شخص وحيد يبلغ من العمر 65 عاماً فما فوق. وبلغ متوسط حجم الأسرة المعيشية 2.79، أما متوسط حجم العائلات فبلغ 2.33.
بلغ العمر الوسطي للسكان 42 عاماً. وكانت نسبة 22.2% من القاطنين تحت سن الثامنة عشر، وكانت نسبة 5.3% بين الثامنة عشر والأربعة وعشرون عاماً، ونسبة 27.7% كانت واقعةً في الفئة العمرية ما بين الخامسة والعشرون حتى والأربعة وأربعون عاماً، ونسبة 25.2% كانت ما بين الخامسة والأربعون حتى الرابعة والستون، ونسبة 19.5% كانت ضمن فئة الخامسة والستون عاماً فما فوق. يوجد لكل 100 أنثى 89.7 ذكر، ويوجد لكل 100 أنثى في الثامنة عشر من عمرها فما فوق 86.3 ذكر.[17]
بلغ متوسط دخل الأسرة في البلدة 30,528 دولار، أما متوسط دخل العائلة فبلغ 36,750 دولار. وكان متوسط دخل الذكور 30,179 دولار مقابل 20,827 دولار للإناث. وسجل دخل الفرد الخاص بالبلدة 16,698 دولار. وكانت نسبة 9.3% من العائلات ونسبة 13.7% من السكان تحت خط الفقر، وكان من هؤلاء نسبة 20.9% تحت سن الثامنة عشر ونسبة 11.1% في الخامسة والستين من العمر وما فوق.
تعداد عام 2010
بلغ عدد سكان ماديسون 4,855 نسمة بحسب تعداد عام 2010، وبلغ عدد الأسر 1,976 أسرة وعدد العائلات 1,271 عائلة مقيمة في البلدة. في حين سجلت الكثافة السكانية 93.6 نسمة لكل ميل مربع (36.1/كم2). وبلغ عدد الوحدات السكنية 2,478 وحدة بمتوسط كثافة قدره 47.8 لكل ميل مربع (18.5/كم2).
وتوزع التركيب العرقي للبلدة بنسبة 97.5% من البيض و 0.6% من الأمريكيين الأصليين و 0.4% من الأمريكيين ذوي الأصول الآسيوية و 0.4% من الأمريكيين الأفارقة و 1.1% من عرقين مختلطين أو أكثر.
بلغ عدد الأسر 1,976 أسرة كانت نسبة 27.7% منها لديها أطفال تحت سن الثامنة عشر تعيش معهم، وبلغت نسبة الأزواج القاطنين مع بعضهم البعض 49.1% من أصل المجموع الكلي للأسر، ونسبة 9.9% من الأسر كان لديها معيلات من الإناث دون وجود شريك، بينما كانت نسبة 5.3% من الأسر لديها معيلون من الذكور دون وجود شريكة وكانت نسبة 35.7% من غير العائلات. تألفت نسبة 28.9% من أصل جميع الأسر من أفراد ونسبة 13.5% كانوا يعيش معهم شخص وحيد يبلغ من العمر 65 عاماً فما فوق. وبلغ متوسط حجم الأسرة المعيشية 2.82، أما متوسط حجم العائلات فبلغ 2.32.
بلغ العمر الوسطي للسكان 44 عاماً. وكانت نسبة 20.8% من القاطنين تحت سن الثامنة عشر، وكانت نسبة 6.4% بين الثامنة عشر والأربعة وعشرون عاماً، ونسبة 24.2% كانت واقعةً في الفئة العمرية ما بين الخامسة والعشرون حتى والأربعة وأربعون عاماً، ونسبة 30.6% كانت ما بين الخامسة والأربعون حتى الرابعة والستون، ونسبة 18.2% كانت ضمن فئة الخامسة والستون عاماً فما فوق. وتوزع التركيب الجنسي للسكان بنسبة 50.6% ذكور و49.4% إناث.[18]
