Er selbst begann nach dem Besuch des Städtischen Gymnasiums in Utrecht 1856 ein Studium in den Fächern Römisches Recht und Recht der Niederlande an der Universität Utrecht, das er am 27. September 1860 cum laude abschloss. Im Anschluss absolvierte er zwischen 1860 und 1862 einen Lehrgang für Verwaltungsbeamte in Niederländisch-Indien an der Königlichen Akademie zu Delft, das er 1862 als Beamter Erster Klasse für die Zivilverwaltung abschloss.
Verwaltungsbeamter und Richter in Niederländisch-Indien sowie Kolonialminister
Im Anschluss wurde Bergsma nach Niederländisch-Indien versetzt und wurde 1863 zunächst juristischer Mitarbeiter sowie 1867 Leiter der Geschäftsstelle am Zivil- und Strafgericht (Rechtbank voor Burgerlijke en Lijfstraffelijke Zaken) in Palembang. Während dieser Zeit heiratete er am 3. März 1864 in Batavia Arendina Wichers, eine Tochter des 1853 verstorbenen Justizministers und Mitglied des StaatsratesHendrik Ludolf Wichers. Durch die Heirat wurde er zugleich Schwager von Hendrikus Octavius Wichers, der Marineminister, kommissarischer Kriegsminister, kommissarischer Kolonialminister sowie zeitweilig ebenfalls Mitglied der Zweiten Kammer der Generalstaaten war.
Zwischen 1867 und 1869 war er zunächst stellvertretender Staatsanwalt sowie anschließend von 1869 bis 1871 Richter am Obergericht (Raad van Justitie) von Semarang, ehe er zwischen 1871 und 1875 Richter für Berufungsverfahren für Ost-Java und Surabaya war. Im Anschluss fungierte er von 1875 bis zum 1. Mai 1876 als Präsident des Landrates (Landraden) von Meester Cornelis und Bekasi, einem Gericht für Zivil- und Strafverfahren gegen Einheimische sowie für nichteuropäische Ausländer in Strafsachen, sowie daraufhin vom 1. Mai 1876 bis zum 1. Mai 1881 als Sekretär der Justizbehörde in Batavia und damit praktisch Justizminister der Kolonie.
Am 1. Juni 1881 wurde Bergsma Richter am Obersten Gerichtshof von Niederländisch-Indien (Hooggerechtshof van Nederlands-Indië) in Batavia und war dort bis zum 4. Mai 1882 tätig.
Nachdem er sich zwischen Mai 1882 und April 1884 beurlauben ließ und in den Niederlanden aufhielt, kehrte er nach Niederländisch-Indien zurück und war zunächst Sekretär für allgemeine Angelegenheiten der Kolonialverwaltung in Buitenzorg. Danach fungierte er zwischen dem 1. August 1887 und dem 5. Juni 1893 als Mitglied des Rates von Niederländisch-Indien und war im Anschluss vom 5. Juni 1893 bis zum 9. Mai 1894 beurlaubt.
Am 9. Mai 1894 wurde Bergsma schließlich von Ministerpräsident Joan Röell als Minister für die Kolonien (Minister van Koloniën) in dessen Kabinett berufen, dem er bis zum 27. Juli 1897 angehörte. Für seine langjährigen Verdienste wurde er im Juli 1895 zum Kommandeur des Orden vom Niederländischen Löwen ernannt. Danach zog er sich aus dem politischen Leben zurück.
