Joss Ackland épouse l'actrice Rosemary Kirkcaldy le 18 août 1951[5]. En 1954, il s'installent à Lilongwe au Nyassaland (aujourd'hui Malawi) où ils dirigent une plantation de thé durant six mois avant de déménager pour Le Cap en Afrique du Sud[6]. Ils rentrent en Angleterre en 1957 pour reprendre leurs carrières respectives.
Le couple a 7 enfants (Paul, Melanie, Antonia, Penelope, Samantha, Kirsty et Toby)[7]. En 1963, pour échapper à l'incendie qui ravage leur maison et sauver ses cinq enfants, Rosemary se lèse la colonne vertébrale en sautant par la fenêtre, bien qu'enceinte[8] Bien que les médecins lui annoncent qu'elle ne remarchera jamais et qu'elle risque de perdre son bébé, elle accouche de son sixième enfant puis 18 mois plus tard fait ses premiers pas[9],[5]
↑(en) Alison Jones, « Travelling with the archetypal Englishman Joss Ackland has spent fifty years in showbusiness », The Birmingham Post, 12 août 2008.