Karierę w zakonie krzyżackim rozpoczął w 1353 od urzędu prokuratora w Przezmarku. Krótko potem został komturem domowym Dzierzgonia. Od 1368 roku był komturemgdańskim. W 1372 roku uzyskał godność wielkiego szatnego i komtura dzierzgońskiego dołączając do najwyższych dostojników zakonu[1][3].
Mimo że nie należał do najbardziej wpływowych w Zakonie i nie miał doświadczenia politycznego, został w 1382 roku wybrany wielkim mistrzem krzyżackim po śmierci Winricha von Kniprode. Na pierwszym miejscu swojego panowania postawił wewnętrzne sprawy państwa[3].
Dowództwo nad armią i sprawy wojny z Litwą pozostawił doświadczonemu w sprawach wojskowych Konradowi von Wallenrode, którego uczynił wielkim komturem, a po jego śmierci wielkim mistrzem. Miał on w imieniu zakonu zdobywać nowe tereny i przede wszystkim uzyskać i utrzymać stałe połączenie Prus z Inflantami, co udawało się tylko przez krótkie okresy[3].
Zreformował podział administracyjny Prus, wspierał kolonizację obszarów słabo zaludnionych, pozwolił na organizowanie się stanów i ich przedstawicielstwa. Postanowił ufundować uniwersytet, którego siedzibą miało być miasto Chełmno. Wspierał rozwój i samorządność miast[1].
Na okres jego urzędowania przypadł chrzestLitwy i objęcie tronu polskiego przez Władysława II Jagiełłę, co znacząco wzmocniło front antykrzyżacki. Konrad Zöllner von Rotenstein zmuszony był przyglądać się schyłkowi ekspansji zakonu krzyżackiego wśród Bałtów i powolnemu upadkowi idei budowania państwa krzyżackiego kosztem pogańskich ludów w Europie. Ostatnie lata panowania poświęcił próbie rozbicia unii polsko-litewskiej i skłócenia ze sobą dwóch wielkich książąt litewskich: Witolda i Jagiełły[1].
Konrad Zöllner von Rotenstein zmarł 20 sierpnia 1390 roku na zamku w Malborku. Pochowany został w mauzoleum wielkich mistrzów pod kaplicą św. Anny.