Suomi Jazz Orkesteri syntyi 1927 virolaissyntyisten Konnon veljesten, Robertin ja Hanneksen, voimin, Porvoossa vaikuttaneen Konnon Jazzorkesterin pohjalta. Molemmat veljekset olivat entisiä sotilasmuusikoita, ja soittelivat sivutoimenaan eri soittokunnissa. Orkesteri aloitti viisimiehisenä; viulu, saksofoni, harmonikka, banjo ja rummut. Orkesterilla ei ollut omaa laulusolistia, mutta ravintolakeikoilla tarvittaessa joku soittajista lauloi megafoniin kappaleen kertosäettä.
Ensimmäiset levytykset orkesteri teki kesällä 1928. Levytyksistä foksi "Puuseppä" muodostui Suomen äänilevyhistorian ensimmäiseksi menestyslevyksi. Levyllä laulaa lahtelainen Jaakko Pulli. Samanaikaisesti tehdyt levytykset "Kohtalonvalssi" ja "Anna, oi armas Anna", olivat myös myyntimenestyksiä.
Toukokuussa 1929 orkesteri levytti seuraavan kerran, ja näiden sessioiden suurin hitti oli "Asfalttikukka", jolla laulajana toimi Ture Ara, salanimellä Topi Aaltonen. Orkesterin viimeiset omat levyt tehtiin vuotta myöhemmin. Tällöin kokoonpano oli jo kahdeksanmiehinen, ja yhtenä kolmesta haitaristista toimi Vili Vesterinen, ennen Dallapéhen siirtymistään. Hannes Konnosta tuli myöhemmin menestyvä iskelmäsäveltäjä. Hänen tunnetuimpia teoksiaan on valssi "Ruusuja hopeamaljassa".