1978-ban visszatért a Baranya Megyei Tanácshoz, ahol először csoportvezetőként, majd az önkormányzati rendszer átalakulásáig igazgatási osztályvezető-helyettese volt. 1990 és 1994 között a Baranya Megyei Önkormányzat irodavezetője, ill. 1992 és 1994 között a Testnevelési és Sportigazgatóság igazgatóhelyettese volt.
Az 1998-as önkormányzati választáson az MSZP jelöltje volt Pécs polgármesteri tisztségére, melyet meg is szerzett Trombitás Zoltán ellenében.[1] (Dr. Páva Zsolt, aki addig vezette a várost, nem indult a polgármesteri posztért.) Sikerét 2002-ben megismételte, így 2006-ig vezette a baranyai megyeszékhelyet.
1999 és 2000 között a párt országos választmányának alelnöke volt, majd 2003-ban a párt Baranya megyei elnöke lett, emellett 2003 és 2004 között az országos elnökség tagja is volt. 2004 és 2006 között a miniszterelnök önkormányzati tanácsadó testületének elnöke volt.
2006-ban az év polgármesterévé választották, egy évvel később megkapta Pécs díszpolgári címét.
Társadalmi funkciói
1990-től 1994-ig a Sipos-Güth Árvák Alapítvány támogató tagja, 1989-től a Pécs-Baranyai Értelmiségi Egyesület, 1991-től a Pécsi Vasutas Egyesület tagja, 2002 és 2006 között a Megyei Jogú Városok Szövetségének elnökeként tevékenykedett, 1997 és 2009 között a Pécsi MFC labdarúgóklub elnöke volt.
Balesete és halála
2006 júniusában Toller súlyos autóbalesetet szenvedett a 61-es főúton, Tamási és Dombóvár között,[2] melynek során súlyos koponyasérüléseket szenvedett és kómába esett. Sofőrje később belehalt sérüléseibe.[3] Toller a balesetet követő műtétek után éber kómába került, a 2006-os önkormányzati választáson már nem tudott elindulni. Utódja a polgármesteri székben Tasnádi Péter lett, aki 2009-ben rákban elhalálozott.
2007-ben elvesztette megyei elnöki posztját, ugyanebben az évben még felesége adott le a nevében vagyonnyilatkozatot. 2008-ban és 2009-ben ez már nem történt meg, így Toller nem tudta gyakorolni képviselői jogait, és elvesztette bizottsági tagságát is.
2009 januárjában a Szigetvári Városi Bíróság első fokon, nem jogerősen cselekvőképességet kizáró gondnokság alá helyezte Tollert. A határozatot a Tollerhez kirendelt ügygondnok nem fellebbezte meg, ezért az jogerőssé vált.[4] Toller a határozat következtében elvesztette választójogát, és ezzel együtt megszűnt országgyűlési mandátuma is.
Majdnem négy évig feküdt éber kómában. 2010. május 10-én hajnalban meghalt a szigetvári kórházban.[5]
Családja
Nős, három gyereke született. Özvegye, Toller Tünde 47 évesen hunyt el 2018. június 23-án a kaposvári kórházban.[6]