Han ble offiser i 1855, kaptein i 1870. Fra 1860 var han ordonannsoffiser og adjutant i Stockholm for kong Karl XV (1836–1872), inntil kongens død i 1872. Fra 1874 var Johan sjef for den norske garden i Stockholm. I 1882 forfremmes han major idet han ble sjef for det norske jegerkorpset i Kristiania. I 1894 ble han generalmajor og sjef for den kristiansandskeinfanteribrigaden. I 1885 ble han oberstløytnant, i 1889 oberst og i 1894 generalmajor da han ble sjef for den Kristiansandske brigade. Året etter ble han sjef for den 2. akershusiske infanteribrigaden og kommandant på Akershus festning. I 1901 ble han utnevnt til generalløytnant. Han tok avskjed i 1904.
Mellbye var formann i skytterkomiteen 1884–85, medlem av artilleri- og konstruksjonskomiteen, av den permanente geværkomiteen og av de svensk-norske geværkomiteene av 1889 og 1893. I den norske hæren innførte han Krag-Jørgensen-geværet. I 1899 var han formann i komiteen som skulle drøfte forsvaret av Kristiania og hadde en vesentlig andel i dens innstilling om bygging av grensefestningene. Han var dessuten formann i komiteen for restaurering av Akershus festning.
Familie
Johan Mellbye var sønn av lensmann Gudbrand Mellbye (1792–1867) og bror av stempelpapirforvalter Ove Caspar Gunner Mellbye (1823–94), lensmann Andreas August Mellbye (1831–1913), og trafikkdirektør Jens Christian Mellbye (1833–1910). Han var onkel av politikeren Johan E. Mellbye.[3][4]