Ulstein er barnebarn av legen og krigsfangen Torvald Ulstein og debuterte høsten 2007 med romanen Piggtrådroser. Torvald Ulstein ble arrestert i 1943 sammen med andre norske studenter og sendt i fangenskap til Tyskland. Hele livet var han taus om opplevelsene, inntil helt på slutten hvor han fortalte om sine opplevelser. Bestefaren skrev tre manuskripter da han kom tilbake til Norge, ett av dem sammen med medfangen Anker Thorsrud. De ble lagt vekk og lå bortgjemt i 50 år inntil han fortalte barnebarnet om dem.
Han ga ut sine to første romaner under navnet Geir Stian Orsten Ulstein.