Le groupe est formé en 2006[1]. Après quelques singles, leur premier album The World Lays Me Down, est sorti en . L'album est numéro cinq des UK Albums Chart et a reçu des critiques positives[2]. Emmy the Great a chanté pendant une courte période avec le groupe tandis que l'accompagnement des cuivres était assuré par Jon Carvell (trombone) et Sam Kinrade (trompette). Lillie Flynn (sœur du chanteur Johnny Flynn) et Rebecca Taylor (du groupe Slow Club) ont également été chanteuses lors des tournées. Jusqu'à mi-2008, Laura Marling était membre du groupe (chœurs). Elle a quitté le groupe quelques mois après la sortie de l'album The World Lays Me Down.
En janvier 2009, le groupe commence à travailler sur son deuxième album The First Days of Spring. Parallèlement à sa sortie, Charlie Fink réalise un film ayant la même durée que l'album, également intitulé : The First Days of Spring. Fink décide de ne pas intégrer des chœurs féminins sur ce deuxième opus à cause d'une rupture douloureuse avec Laura Marling, qui s'orientait vers une carrière solo. Mais cette séparation a aussi occasionné des transformations dans leur musique, avec des changements dans la mise en scène et dans leurs paroles. Leur album est sorti le , un peu plus d'un an après leurs débuts.
The First Days of Spring est le premier single de l'album portant le même nom et est disponible en téléchargement sur le site du groupe. Un deuxième single, intitulé Blue Skies, est sorti durant l'été 2009. Le , Doug Fink, le frère du chanteur Charlie Fink, annonce, quelques jours avant la sortie de leur deuxième album, qu'il quitte le groupe pour poursuivre une carrière en médecine. Au même moment, un nouveau membre du nom de Fred Abbott intègre le groupe en tant que deuxième guitariste (et piano) tandis que Doug est temporairement remplacé par le batteur Jack Hamson, du groupe Pull Tiger Tail. Leur chanson, Give a Little Love est utilisée dans un épisode de Cougar Town, intitulé: Here Comes My Girl, et est diffusé le . Une autre de leurs chansons, Blue Skies est utilisée dans un épisode des Frères Scott, intitulé Some Roads Lead Nowhere, diffusé le .
Last Night on Earth (2010–2012)
En janvier 2010, il est annoncé que le groupe retourne prochainement en studio pour préparer leur troisième album, dont le titre serait Old Joy. Dans une interview avec le site SoonerMusic.com, Charlie Fink annonce que l'album, prévu pour , serait appelé Last Night on Earth, et qu'il disposerait de 10 pistes. Les chansons sont annoncées comme plus « optimiste » que leur dernier album. Le premier single de l'album est L.I.F.E.G.O.E.S.O.N. Le , Noah and the Whale publient une chanson sur leur site intitulée Wild Thing. De nombreuses chansons ont été utilisées pour divers programmes télévisés et publicités ainsi que pour quelques films. Par exemple, la série de la BBC Waterloo Road utilise notamment le titre My Broken Heart. Le est sorti le premier enregistrement live du groupe tandis qu'un EP enregistré pendant l'iTunes Festival 2011 de Londres sera disponible uniquement en téléchargement.
Le titre Waiting for My Chance to Come est par ailleurs joué au début de l'épisode 8 de la cinquième saison de Skins.
Le nom du groupe est un mariage entre le titre d'un film préféré d'un des membres: Les Berkman se séparent (The Squid and the Whale) et, le nom du réalisateur de ce film (Noah Baumbach). Le groupe dans son entier, et tout particulièrement Charlie Fink, sont aussi de grands fans du cinéaste Wes Anderson, qui a contribué à la production des Berkman se séparent, Charlie Fink dira d'ailleurs : « j’aime cette façon que Wes Anderson a de trouver le beau dans le ridicule, et le ridicule dans le beau. Et j’aime l’idée que nos univers se ressemblent[4]. »