Willowmore est située à 140 km au nord-est de Knysna et à 117km au sud-ouest de Aberdeen (Cap-Oriental). La ville est accessible par la route nationale (N9) et par la R329.
Willowmore fut fondée en 1862 sur les terres de la ferme The Willows appartenant à William Moore et devint un centre commercial appelée d'abord Willow-Moore puis simplifié en Willowmore. En 1884, Willowmore devint une municipalité.
En 1900, la ville est reliée par le chemin de fer au Cap et à Port Elizabeth.
En 2000, la ville est intégrée dans une nouvelle municipalité qui prend le nom de Baviaans. En 2016, celle-ci est fusionnée avec deux autres municipalités dans celle de Dr Beyers Naudé.