Landkreisen ligger som navnet siger til dels i Rhön og dels i landsskabet Grabfeld. Rhön udgør den vestlige del af området; der ligger også det højeste punkt i landkreisen, Kreuzberg der når op i 928 meters højde. Grabfeld er et bakkelandskab øst for administrationsbyen Bad Neustadt an der Saale. Gennem området løber floden Fränkische Saale fra øst mod vest; den har sit udspring ved Trappstadt i den østlige del af området, og forlader kreisen sydvest for Bad Neustadt. Ved Heustreu har floden Streu og i Bad Neustadt floden Brend deres udløb, to små floder der har deres udspring i Rhön.