Enligt sägnen skall Hagelsrum en gång ha varit tillhåll för vikingahövdingar, som brukade vila ut här mellan långfärderna. I skriftliga källor omtalas Hagelsrum första gången 1320, då arvskifte hölls mellan Ingeborg Bengtsdotter (Folkungaättens lagmansgren) mellan hennes tre barn. Hennes dotter Birgitta Birgersdotter, mer känd som heliga Birgitta, blev i samband med detta ägare till gården. Det har antagits att hon donerade gården till sitt kloster i Vadstena, 1447 befinner sig gården i klostrets ägor och sedan förblev Hagelsrum klostergods ända till kyrkogodsens indragning genom Gustav Vasa. Klostret hade tre gårdar i Hagelsrum, samt en kvarn, och dessutom ett ålfiske i Hagelsrumsån. 1496 hade Vadstena en rättare boende i Hagelsrum.[1]
I Karlskrönikan skildras hur gården vid oroligheterna år 1434 fullständigt förhärjades och brändes. År 1547 kom egendomen åter i enskild ägo, då den förlänades till Peder Fux. År 1565 förlänades den istället till Knut Håkansson (Hand).[1] Han var fogde över Sunnerbo härad och innehade under kriget med Danmark 1563-65 viktiga befälsposter och blev fältöverste. Sedan han 1565 stupat vid Slaget vid Axtorna, efterträddes han som ägare av sonen Arvid Knutsson, en av domarna vid Linköpings blodbad år 1600. Denne antog 1574 med kungligt tillstånd sin mors namn Drake[särskiljning behövs] och blev stamfader för den ännu levande adliga ätten Drake af Hagelsrum.
Ett slott ska ha funnits här vid denna tid, men det blev troligen förstört under danskarnas härjningar. Ett bokträd, som Arvid Drake har planterat på gården, finns ännu kvar. Hans efterträdare var sonen Hans Drake, känd militär under 30-åriga kriget. Sedan kom dennes son Gustaf Drake, vilken stått modell för Viktor RydbergsFribytaren på Östersjön, den siste av ätten som innehade Hagelsrum. Gården blev därefter indragen till kronan men återköptes av överstelöjtnant Johan Pilefelt. Majoren Wilhelm Mauritz Pauli fick 1748 privilegium på Hagelsrums masugn vid Silverån. Efter det att den ryktbare Carl Fredrik Pechlin förvärvat gården, satte han här igång med ammunitionstillverkning, som pågick ännu 1830. Masugnen byggdes om från grunden 1853. Driften upphörde 1877.
Bland godsets ägare under senare tid finns kronofogde Craelius, överstelöjtnant Gyllenram samt släkterna Hagström, Berglund, Ekelund, Johansson och Birgersson
