Herrenberg ligger ved foden af Schlossbergs, der er udløbere af Schönbuchs i Korngäu og Obere Gäu. I den vestlige del af byens område har floden Ammer (en lille biflod til Neckar) sit udspring. Stiftskiren Herrenberg ligger i en højde af 442 moh. og udsigtspunktet ved ruinen af Schloss Herrenberg ligger i 522 meters højde .
Württembergisches Städtebuch; Band IV Teilband Baden-Württemberg Band 2 aus "Deutsches Städtebuch. Handbuch städtischer Geschichte – Im Auftrage der Arbeitsgemeinschaft der historischen Kommissionen und mit Unterstützung des Deutschen Städtetages, des Deutschen Städtebundes und des Deutschen Gemeindetages, hrsg. von Erich Keyser, Stuttgart, 1961