דייוויס נולד בשיקגו, והחל את הקריירה המוזיקלית עם אחיו, בשירת בס בשלישייה הווקאלית של משפחתו.[2] דייוויס למד לנגן על בס בתיכון וניגן בתזמורת הנוער הסימפונית של שיקגו. אחרי התיכון למד בס אצל רודולף פאסבנדר מהתזמורת הסימפונית של שיקגו, תוך כדי לימודיו בבית הספר למוזיקה ואנדרקוק.
אחרי הקולג', ניגן דייוויס בתזמורות ריקודים. הקשרים שיצר הוביל אותו לפסנתרן דון שירלי, וב-1954 עברו השניים לניו יורק, וניגנו יחד עד 1956, כאשר דייוויס החל לנגן עם תזמורת הסווינג סאוטר-פינגן. ב-1957 הצטרף דייוויס לחטיבת הקצב של הזמרת שרה ווהן, איתה הקליט והופיע עד 1960.