De famille modeste, il commence ses études musicales avec Jan Pokorny, cantor de sa ville natale. En 1753, il devient choriste au collège jésuite de Breznice, puis se rend à Prague où il est violoniste au séminaire, tout en poursuivant des études de philosophie, de théologie et de droit à l'université.
En 1765, le compositeur Carl Ditters von Dittersdorf l'engage comme violoniste et directeur assistant de l'orchestre de l'évêque de Grosswardein (aujourd'hui Oradea, en Roumanie). Les deux hommes deviennent rapidement amis. Après un détour par Prague en 1769, puis Vienne (1770-1775), Pichl est nommé maître de chapelle auprès de l'archiduc Ferdinand d'Este, gouverneur autrichien de la Lombardie et fils de l'impératrice Marie-Thérèse. Il reste en Italie pendant plus de vingt ans, période pendant laquelle il collabore avec le poète Giuseppe Carpani (1751-1825), et rencontre les compositeurs Pietro Nardini, Giovanni Battista Martini et Luigi Cherubini.
Il retourne à Vienne en 1796 avec l'invasion de la Lombardie par les Français, et y reste jusqu'à sa mort (hormis une visite à Prague en 1802, avec sa fille).
Musique de chambre : nombreuses pièces dont des œuvres pour baryton, un instrument à archet dont le prince Nicolas Esterhazy, employeur de Joseph Haydn, raffolait.
