Der Feldberg erhebt sich im Ostteil des Naturparks Ebbegebirge. Er zählt zum Stadtgebiet von Olpe, dessen Kernstadt etwa 6,5 km südwestlich liegt, und erhebt sich zwischen den dörflichen Stadtteilen Oberneger im West-Südwesten und Oberveischede im Osten.
Zu den Nachbarbergen des Feldbergs zählen Twilkenberg (531,2 m ü. NN) im Ost-Nordosten, Homert (536,7 m ü. NN) im Süden und Host (502,8 m ü. NN) im Westen.
In einer östlich des Feldbergs gelegenen Taleinsenkung entspringt innerhalb einer Mülldeponie der Lenne-Zufluss Veischede, am südlichen Berghang im Übergangsbereich zur Homert der Bieke-Zufluss Neger.
Die Kreisstraße 18, die den nahen Biggesee, die Ortschaft Neger nördlich passierend, mit der südöstlich verlaufenden Bundesstraße 55 verbindet, führt südwestlich am Feldberg sowie an seinen Nachbarn Host und Homert vorbei.
