Herregården blev oprettet 1673 af baronOluf Rosenkrantz, der også besad naboherregården Egholm. Rosenkrantz fik kongelig tilladelse til at oprette en herregård af jorden fra den ødelagte landsby Vinderup. Om denne landsby var lagt øde i svenskekrigene kan ikke fastslås i kilderne.
Gården blev opkaldt efter Oluf Rosenkrantz ærgerrige hustru Birgitte Krabbe. Oluf Rosenkrantz fik dog ikke længe glæde af sin nye gård. 1682 blev han dømt ved højesteret til tab af sine titler og gods, da hans forsvarsskrift for den gamle adel blev betragtet som et direkte angreb på den enevældige styreform. Krabbesholm og Egholm måtte han sælge for at udrede penge til bøden, men det var dog hans egen svigersøn Mogens Skeel, der afkøbte ham gårdene.
Krabbesholm var i de første 200 år nok en hovedgård, men der boede ikke et adelligt herskab her. Og der var således heller ikke behov for en standsmæssig hovedbygning. Indtil 1806 havde Krabbesholm samme ejer som Egholm og boede der.
I 1810 blev Krabbesholm med tilhørende fæstegods i Sæby, Gershøj og Store Karleby købt af stadsmægler Nicolai Abraham Holten efter et par hurtige handler. Under denne ejer blomstrede godset i 40 år, men uden at der blev bygget en hovedbygning. Driften lå i hænderne hos en forvalter, og herskabet boede på en mindre ejendom, Lindegården, i Skibby Sogn.
Efter Holtens død blev Krabbesholm gods i 1852 solgt til Lars Trolle. Han lod straks opføre et lille slot i nygotisk stil, som i 1940'erne fik en havestuetilbygning mod øst.
Omkring år 1900 blev hele avlsgården ombygget. I den anledning fik Krabbesholm en stor forvalterbolig, der ligger vis-a-vis hovedbygning med avlsgården imellem.
Krabbesholm er i dag et velholdt anlæg med stor have, skov mod nord og alléer i tre retninger.
.svg)
