Le premier album, The Knife du duo sort en 2001. En 2003, le titre Heartbeats est repris par José González dans son album Veneer. Cette version sera ensuite utilisée en 2006 dans une publicité pour les écrans Bravia de Sony. Dans une interview pour le journal Dagens Nyheter, le groupe prétend que Sony a payé une grande somme d'argent pour utiliser leur chanson ; malgré les vues anti-commerciales du groupe, ils ont justifié la transaction en citant leur besoin d'argent.
Alors que les critiques ne s'enthousiasment pas pour les premiers albums du groupe, il en va tout autrement pour l'album Silent Shout, sorti en 2006[6]. Sur scène, Karin et Olof Dreijer se cachent derrière des costumes énigmatiques dans une atmosphère d'images vidéo et d'installations. En 2009, Karin Dreijer Andersson s'offre une parenthèse en dehors du groupe en publiant son premier projet solo. Elle enregistre un album sous l'identité de Fever Ray.
Enregistré en collaboration avec Mt. Sims et Planningtorock, un nouvel album intitulé Tomorrow, In A Year paraît le [7]. Sur son site Internet, le groupe a proposé gratuitement le téléchargement d'un extrait, le morceau Colouring Of Pigeons. Tomorrow, In A Year est inspiré par la vie du naturaliste Charles Darwin et par son ouvrage L'Origine des espèces[8].
En 2010, le titre Pass this on est utilisé dans une scène du film Les Amours imaginaires de Xavier Dolan. Le , The Knife diffuse sur sa page Facebook et sur son site officiel une courte vidéo avec l'accroche (en anglais) : « La musique peut être tellement insignifiante. Nous devions trouver la passion. Nous avons demandé à nos amis et amants de nous aider », vidéo qui se révèle être la bande-annonce d'un nouvel album. Le quatrième album du groupe Shaking the Habitual, sort en [9] (le 9 aux États-Unis et le 8 dans le reste du monde). Les concerts de la tournée européenne annoncée ensuite sur internet sont en majorité déclarés complets en seulement quelques jours, voire quelques heures pour certains. Mais le groupe se produit également sur scène dans le cadre de différents festivals de l'été.
En août 2014, le groupe annonce mettre fin à ses activités après un dernier concert en novembre de la même année[10]. Un album enregistré en concert paraît en 2017, intitulé Live at Terminal 5.
En 2017, interrogé par Pitchfork sur un potentiel retour de The Knife, Olof Dreijer répond : « The Knife n'est qu'un seul de nos projets et quand nous le sentons, nous faisons de la musique »[11]. En 2018, le magazine Les Inrockuptibles demande à Karin Dreijer« Va-t-il y avoir un comeback de The Knife ? » et celle-ci répond : « je n’en ai aucune idée. Je vais tourner avec Fever Ray pendant une année encore, après, je ne sais pas… »[12].
Édition limitée sortie le 2 juillet 2007 contient le live Silent Shout: An Audio Visual Experience en CD et DVD, concert enregistré le 12 avril 2006 à Göteborg.