Njegovo otroštvo je močno zaznamovala 2. svetovna vojna. Po nemški zasedbi Ptuja leta 1941 je gestapo zaprl in mučil njegovega očeta, pozneje pa je bila vsa družina izgnana v Srbijo, kjer je preživljala hude čase v pomanjkanju; ta čas je pisatelj popisal v romanu Veliki voz.
Po vrnitvi iz izgnanstva (1945) se je kot sedemnajstletni mladenič vključil v mladinsko gibanje in sodeloval v delovnih brigadah pri graditvi prog Brčko–Banovići, Šamac–Sarajevo in tovarne strojev v Beogradu. Po smrti očeta leta 1952 se je zaposlil kot dopisnik Ljudske pravice na Ptuju, po letu 1959 pa je postal novinar osrednjega slovenskega dnevnika Delo. Istega leta se je poročil in preselil v Ljubljano.
Ker je bil pogosto tarča kritikov, ki so mu, zlasti kadar je bilo govora o njegovi poeziji, očitali latovščino, pomanjkanje čustev in šepav jezik, je Remec ustvarjal tudi pod ženskim psevdonimom Irena Remrom.
Delo
Njegov opus obsega prozo, poezijo in dramatiko. K tipiki Remčevih del spada odpor do vojne, do tehnike, erotika je gonilna sila človeškega preživetja, ekologija in fenomenologija časa in znanstvena fantastika. Avtor znanstvenofantastični žanr dojema kot način za razgrinjanje univerzalij o človekovem bistvu, njegovih upanjih, strahovih, ljubezni, stranpoteh in kesanjih. Fantastika se ves čas preliva v možno realnost, zgodbe pa govorijo predvsem o človekovi zmotljivosti, ki je brezmejna in brezčasna. Janez Majdič je v spremni besedi romanaIksia ali slovo živostrojnega človeka zapisal, da bi si Remec, če bi pisal v angleščini, najverjetneje zlahka priboril katero od uglednih nagrad za tak tip žanrskega pisanja.
Proza
Prozo je začel pisati v otroških letih. Na začetku je tematika vojna vihro in pomanjkanje. V sedemdesetih letih nastanejo antiutopični romani Votlina (1977), Prepoznavanje (1980) in Iksion (1981). Avtor z antiutopičnostjo oziroma antiapokaliptičnostjo npr. v romanu Iksia kaže človekovo potrebo po nadzorovanju drugih, po malikovanju in tribalizmu, ki nikakor noče pristati na božje razboženje, če pa se vendarle zgodi, poskuša praznino in strah pred neznanim na vsak način zapolniti z novim božanstvom in novim verovanjem. Konec osemdesetih let se je lotil političnofantastičnega romana (roman Zelena zaveza), sledile so znanstevenofantastične povesti in zgodbe.
Poezija
V pesniški zbirki Pesmi iz levega žepa (1989) opisuje grozljivo doživetje porušenja sveta, tematizira izgnanstvo, lakoto, pobijanje, bombardiranje, rušenje mest. To so bile pesmi namenjene recitiranju ob tabornih ognjih, za petje delovnih brigad. Objavljene so bile v Mladinski reviji, Novem svetu in Novih obzorjih, kritika pa jih je postavljala za zgled mladim pesnikom. V šestdesetih letih je ustvarjal ljubezenske pesmi, ki so bile objavljene v pesniški zbirki Otožne rože (2009) in leta 2011 v zbirki Zamolčani stihi, in so po nekaterih mnenjih še danes nekaj svežega, novega in privlačnega. Ob koncu leta 2012 je v samozaložbi izdal pesniško zbirko Pogrešanja, v kateri so njegove najnovejše pesmi, v katerih pesnik intimno nagovarja in se spominja ljudi, ki jih je v življenju imel in jih še vedno ima rad, obenem pa pesmi odsevajo človeško stisko v popredmetenem in razčlovečenem svetu.
Dramatika
Z dramatiko se je ukvarjal v šestdesetih letih. Luč sveta je leta 1960 zagledala kmečka dramaMrtvi kurent, sledila je drama Srečni zmaji (1963). Ko pa je Slovensko narodno gledališče Drama Ljubljana v sezoni 1966–1967 postavilo na oder politično dramoDelavnica oblakov, kjer gre za ostro obsodbo povojne oblasti in revolucije, ki žre svoje otroke, se za Remca slovenski odri hermetično zapro. Neuprizorjeni tako ostanejo drama Kres ob Savici, Priklicevanje Nebov ter neizvedeni filmski in televizijski scenarijOdpoklic iz orbite, Izginjajoča Mana in Na robu Sonca.
Kljub temu, da je Remčev opus velik in da daje poseben pečat znanstvenofantastični zvrsti v slovenskem leposlovju, da je žel ugodne literarne kritike, ugodne odzive bralstva, da ga esejist Bajt postavlja ob bok Orwellu, v slovenski literarni zgodovini nima posebnega mesta.