Ferm wuchs auf einer Farm auf einer Insel an der Küste von Maine auf und begann im Alter von vier Jahren mit dem Geigenspiel. Nachdem er die Highschool absolviert hatte, studierte er von 1999 bis 2001 auf der William Paterson University Jazzsaxophon. Zwischen 2001 und 2006 erwarb er am Rytmisk Musikkonservatorium in Kopenhagen den Bachelor und Master im Jazzstudiengang. Zwischen 2013 und 2015 studierte er dort als postgraduierter Solist.
