Ο οίκος των Σπένσερ ιδρύθηκε τον 15ο αιώνα από τον Χένρι Σπένσερ (πέθανε 1478), ο οποίος είναι και ο πρόγονος όλων των μελών της οικογένειας. Τον 16ο αιώνα οι Σπένσερ ισχυρίστηκαν ότι ήταν απόγονοι ενός αρχαίου οίκου, αυτού του Λε Ντεσπενσερ,θεωρία που φαίνεται να μην ισχύει.
Το 1761, ο Τζον Σπένσερ (1734-1783), εγγονός του 3ου Κόμη του Σάντερλαντ, δημιούργησε τους τίτλους Βαρόνος Σπένσερ του Άλθορπ και αυτον του Υποκόμη Σπένσερ, υπο την βασιλεία του βασιλιά Γεωργίου του 3ου. Το 1765, δημιουργήθηκε και ο τίτλος του Κόμη Σπένσερ.
