Le principe est inspiré du concept de leur émission C'est pas sorcier.
Fred est téléporté dans le passé, à l'aide d'une « zapette », une sorte de télécommande (que l'on pourrait appeler "manipulateur de vortex spatio-temporel"), pour découvrir sur le terrain la réalité de l'époque, tandis que Jamy reste à Paris au XXIe siècle, et apporte des précisions historiques complémentaires à l'aide de peintures, photos, livres... Lors des émissions de la première saison, Jamy n'est pas présent, à part un caméo dans La révolution française.
Fred et Jamy peuvent communiquer, et une voix off (Vania Vilers) fait des commentaires et donne parfois des conseils et des indications à Fred.
Le passé est reconstitué par des décors et une troupe de comédiens costumés.
Chaque émission dure environ 52 minutes.
Un perroquet, Vendredi, apparut dans quelques émissions, notamment celle consacrée à Louis XIV.
Un coffret de 12 DVD contenant l'intégralité des émissions (12 x 52' + les bonus de chaque émission) est sorti le .
En , le concept de Quelle aventure ! est repris dans une émission intitulée "Rêve de môme", où l'on retrouve Fred lors d'un voyage dans le temps à la découverte de la géothermie, à Bonneuil-sur-Marne. Elle est produite par Fred Courant et Pascal Léonard, anciens membres de l'émission Quelle Aventure ! et actuellement membres de l'Esprit Sorcier.