A Don’t Worry Baby a Beach Boys első listavezető kislemezének, az 1964-ben kiadott I Get Around-nak B-oldalán jelent meg (eredetileg pedig néhány hónappal korábban, a Shut Down Volume 2 LP-n).
Brian Wilson a dallal saját elmondása szerint Phil Spector "Be My Baby" című 1963-as remekművét kívánta felülmúlni (a "Be My Baby"-t előadó Ronettes később fel is dolgozta Wilson számát). Wilson saját állítása szerint egy ideig naponta legalább százszor meghallgatta a "Be My Baby"-t (amit máig is a leghibátlanabb popdalnak tart), s közben az az aggodalmas gondolat járt a fejében, hogy "ő erre sosem lesz képes".
Keith Moon-nak, a Who dobosának a "Don’t Worry Baby" volt a kedvenc dala, amelyet fel is dolgozott egyetlen szólóalbumán, a Two Sides Of The Moon-on, Dick Dale gitárkíséretével. B.J. Thomas, az Everly Brothers és Andy Pratt énekes-dalszerző szintén lemezre vették saját verzióikat.
A "Don’t Worry Baby" szerepel a Rock and Roll Hall of Fame 500 dal, amely formát adott a rock and rollnak listáján.
