Passionné par le progrès technique et la mécanique, il quitte l'armée après son service militaire à Vérone en 1889 et fonde sans succès quelques entreprises en mécanique, avant de reprendre un temps la gestion du domaine familial, dont il hérite (agriculture, commerce du bois, de semence, élevage de ver à soie...). Il succède à son père au mandat de maire de Villar Perosa en 1895, jusqu’à sa disparition (suivi de son petit-fils Gianni jusqu'en 1980). Il épouse Clara Boselli (1869-1946), dont il aura deux enfants : Edoardo Agnelli (1892-1935) et Aniceta Caterina (1889-1928) (qui épousera le footballeur Carlo Nasi, un des hommes de la finance de Fiat).
Fondation de Fiat à Turin
Passionné par la mécanique, l'automobile, et les perspectives des progrès techniques de la révolution industrielle, il s'installe à Turin en 1896 avec sa famille, où il commercialise des tricycles Prunelle, à moteurs De Dion-Bouton, avec le pilote fabricant de vélo Luigi Storero(en), avec qui il cofonde la société Storero(en). Ils participent aux premières courses automobiles italiennes avec leurs tricycles De Dion Bouton, et automobiles Daimler Phoenix, et fréquentent le célèbre Caffé Burello (ancien berceau de la course automobile en Italie) ou il crée des liens avec de nombreux passionnés de mécanique, d'automobile, et de course automobile, de Turin.
Le , Giovanni Agnelli cofonde son futur empire industriel, au Palazzo Bricherasio de Turin, en tant que Directeur Général (Président à partir de 1920) avec 400 dollars de l'époque. Baptisée Société italienne pour la construction et la commercialisation de voitures à Turin, puis Fabbrica Italiana Automobili Torino (F.I.A.T.), puis Fiat, avec ses sept associés pionniers de l'automobile italienne : Ludovico Scarfiotti (Président), Emanuele Cacherano di Bricherasio, Roberto Biscaretti di Ruffia, Alfonso Ferrero de Gubernatis Ventimiglia, Michele Ceriana Mayneri, Lodovico Scarfiotti, Luigi Damevino, Cesare Goria Gatti, Carlo Racca, et entre autres Giovanni Enrico Marchesi (Directeur Général), Aristide Faccioli (Directeur technique), Giovanni Battista Ceirano (fondateur de Ceirano), Enrico Bernardi(en) (inventeur italien du moteur à essence), Vincenzo Lancia, Joseph Farina (père du designer Gian-Battista Pinin Farina), CEAT de Virginio et Alberto Bruni Tedeschi (équipementiers père et fils), l'appui du Premier ministre italienGiovanni Giolitti... La première usine FIAT, Corso Dante, est construite à Turin en 1900, suivie du célèbre site industriel Lingotto de l’architecte Giacomo Mattè-Trucco en 1915, puis de l'usine géante Mirafiori de 1936... Inspiré des usines américaines Ford et du Fordisme d'Henry Ford, le Lingotto Fiat devient un des complexes industriels les plus grands, modernes et avant-gardistes du monde, avec 50 000 employés dans les années 1940 et, entre autres, son célèbre circuit automobile sur le toit du bâtiment principal. Fiat industrialise avec succès ses premières Fiat 3½ HP en 1899 (à base de Ceirano 5 HP de 1899), puis se développe rapidement avec les Fiat 6 HP, Fiat 8 HP, Fiat 10 HP, Fiat 12 HP...
Fort de son succès, Agnelli se lance dans les affaires avec son associé Riccardo Gualino (HoldingIFI -G.Agnelli A), rachète rapidement les parts de ses associés et de très nombreuses autres sociétés, développe son groupe à l’international, fait entrer Fiat en tant qu'actionnaire majoritaire, à la Bourse de Milan, développe le transport routier et ferroviaire italien, fonde sa propre banque pour la vente à crédit de ses voitures, s'étend aux assurances (SAI(it)), au commerce en grande surface (La Rinascente), au textile, au BTP (Fiat Impresit et Ciments Unicem), aux secteurs de l'industrie lourde, électrique, sidérurgique, ferroviaire, navires, avions (Società Italiana Aviazione / Fiat Aviazione), tracteurs, armement et matériel de guerre, à la presse (La Stampa de Turin), au football (achat de la Juventus Football Club le , avec son fils Edoardo Agnelli au titre de président du club)...
Guerres mondiales
Agnelli développe avec succès son empire au niveau mondial de façon opportuniste. Durant la Première Guerre mondiale, Fiat fournit l'armée italienne, décuple son chiffre d'affaires en investissant dans l'industrie de l'armée américaine alliée, et passe de la 30e place à la 3e place des industries italiennes. Agnelli est nommé sénateur en . À la suite du succès de la première station de sports d'hiver italienne de Bardonnèche de 1908, il achète entre 1928 et 1931 un vaste domaine alpin au col de Sestrières où il fonde avec succès la seconde station de ski italienne. En 1924, avec le soutien du pouvoir, il rachète pour une bouchée de pain le journal "La Stampa"dont le fondateur Alfredo Frassati était ouvertement anti-fasciste. Son succès fulgurant en affaires est profondément marqué par le décès de ses enfants Aniceta en 1928 et Edoardo en 1935, victime d'un accident d'hydravion à Gênes et par de longs conflits familiaux de succession.