Né à Richill de l'Armagh en Irlande, Smith arrive au Canada avec sa famille en 1832 et s'établit sur une ferme à Etobicoke. Après avoir travaillé comme commis dans plusieurs commerces de Toronto, il ouvre sa propre entreprise à London en 1849. Après des modestes années, l'arrivée du chemin de fer fait grandement accroître son chiffre d'affaires et lui permet d'acquérir la majorité des parts dans la Toronto Street Railway(en) (TSR).
Après avoir amassé une fortune en ne remplaçant pas les tramways défectueux, en forçant les employés à travailler 6 jours par semaine et en coupant dans les salaires, ceux-ci tentent de s'associer à l'organisme de défense des ouvriers Chevaliers du travail. Smith s'oppose fortement à l'association et met les employés en lock-out et provoque de violentes émeutes. Le maire de Toronto William Holmes Howland(en) et la presse apporte leur appui aux travailleurs. Après avoir fait quelques concessions, sans reconnaître l'association syndicale, Smith vend ses parts de la TSR à la ville pour 500 000 $.
Élu maire de London en 1866, Smith s'implique initialement en politique avec les Libéraux. John A. Macdonald le convainc de se rallier aux Conservateurs. Nommé au Sénat du Canada en tant que sénateur libéral-conservateur en 1871, il entre au cabinet de Macdonald à titre de ministre sans portefeuille. Il devient ensuite ministre des Travaux Publics et contrôleur des Douanes (intérim) dans le gouvernement Abbott. En raison de problème de santé, il se décharge de certaines fonctions et redevient ministre sans portefeuille dans le gouvernement Thompson. À la suite du décès de ce dernier en décembre 1912, le gouverneur généralJohn Hamilton-Gordon propose à Smith le poste de premier ministre que Smith refuse. Il se maintient au cabinet dans les gouvernements de Bowell et de Tupper jusqu'à la défaite conservatrice lors de l'élection de 1896.
Smith c'est battu pour les droits des catholiques irlandais et pour leur nomination à des postes de gestionnaires. Il fait pression sur Macdonald en 1872 afin de le convaincre de la libération graduelle des combattants féniens ayant tenté des attaques en sol canadien pour promouvoir l'indépendance irlandaise.
