Nato in una famiglia dove il padre era costruttore di strumenti, già in tenera età dimostrava doti musicali, ma, a causa di problemi finanziari poté iniziare a studiare seriamente all'età di quindici anni.
A diciassette anni entrò a far parte della Orchestra Reale di Copenaghen. Da qui incomincia a scrivere le prime composizioni che però non riscuotono grande successo. Nonostante ciò Gade si avvicina alla letteratura romantica tedesca e allo stile di Felix Mendelssohn e Robert Schumann.
Nel 1840 vince un concorso per giovani compositori indetto dalla Società Musicale di Copenaghen; nella quale giuria vi era anche Mendelssohn.
Nel 1841-42 scrisse la sua prima sinfonia, che venne però scartata dalla società danese poiché ritenuta troppo "tedesca". Afflitto, inviò la copia della sua composizione a Mendelssohn che a quel tempo risiedeva a Lipsia. Mendelssohn rimase esterrefatto, la eseguì subito, e scrisse a Gade che l'esecuzione della composizione aveva ottenuto un grande successo.
L'anno dopo si diresse a Lipsia dove incontrò Schumann e Mendelssohn; qui divenne insegnante all'accademia di musica e assistente di Mendelssohn.
Nel 1847, alla morte di Mendelssohn divenne direttore ma nel 1848, a causa di una guerra fra Danimarca e Prussia, è costretto a ritornare a Copenaghen; questi cinque anni a Lipsia hanno contribuito a rendere la musica di Gade più romantica e nazionalistica.
Ritornato a Copenaghen contribuì al riassesto della società danese di musica (istituì un coro ed un'orchestra fissi), divenne direttore d'orchestra al Royal Theatre e nel 1863 direttore dell'accademia di musica danese.
Dal 1851 compose in prevalenza musica per organo fino alla sua morte nel 1890.
Il catalogo delle composizioni di Gade comprende due balletti, opere vocali (fra cui la celebre cantata "La figlia del re degli Elfi"), da camera (in modo particolare i Quartetti per archi) e per orchestra, tra cui la celebre Ouverture "Echi d'Ossian", tanto lodata da Schumann e otto sinfonie. Di queste tuttora la più celebre, la più popolare, la più "danese" rimane la Prima in do minore dal titolo "Nelle belle pianure di Sjolund", la Quarta in si bemolle maggiore è considerata la più importante, la Quinta in re maggiore si fa notare perché è in pratica una "sinfonia concertante" con un pianoforte solista. La parte pianistica è molto intrecciata con l'orchestra, per cui non si può parlare di un concerto per pianoforte sia pure in quattro movimenti, ma invece, appunto, di una sinfonia con pianoforte inserito in orchestra ma non subordinato. Nel campo del concerto vero e proprio si fa invece notare il bel Concerto per violino e orchestra.
La sua musica non è molto famosa al giorno d'oggi, ma fu molto popolare all'epoca. Le otto sinfonie furono la base della tradizione sinfonica danese. L'influsso di Gade andò più oltre, fu un esempio per tutta la futura musica scandinava. Chi ne raccolse in modo significativo il messaggio fu il norvegese Edvard Grieg.
