Casserly utvandrade 1822 till USA med sina föräldrar och växte upp i New York. Han studerade vid Georgetown College i Washington, D.C. Han inledde 1844 sin karriär som advokat i New York och flyttade 1850 till San Francisco.
Casserly efterträdde 1869 John Conness som senator för Kalifornien. Han avgick 1873 och efterträddes av John S. Hager.
Casserlys grav finns sedan 1904 på Holy Cross Catholic Cemetery i Colma. Den ursprungliga gravplatsen fanns i San Francisco.
