Lally richtte Fugazi samen met Ian MacKaye op en werd de bassist van deze band totdat zij een pauze namen in 2003. Hiernaast heeft Lally veel samengewerkt met andere muzikanten, en gaf zijn eerste soloalbum, There to Here, uit in 2006. Ook heeft hij samengewerkt met voormalig Red Hot Chili Peppers gitarist John Frusciante, waarmee hij samen met Josh Klinghoffer de band Ataxia in 2004 oprichtte.
Zijn tweede soloalbum, Nothing Is Underrated, kwam uit in 2007.