Caro Olden var datter av skipskaptein Lorentz Jørginus Eilertsen Olden (1853-1927) og Anna Margrethe Lynum (1848-1933) og forble ugift. Hun var søster av mangeårig rektor ved St. Svithuns skole i Stavanger, Ole Fredrik Olden (f. 1879).
Fra 1942 til 1969 bodde Olden med sin partner Pauline Hall på Skillebekk i Oslo. Det er uvisst når de to møttes. Forholdet mellom de to kvinnene var allment kjent og akseptert i kulturmiljøet. De skal allikevel fått press fra slekten, som gjorde at Hall flyttet til sin egen bolig i noen år, dog vegg i vegg med Olden.[2]