Tổ tiên của Khước Khuyết gốc họ Cơ, thuộc dòng công thất nước Tấn, đời Thúc Hổ được phong thực ấp ở đất Khước (Khích), nên lấy chữ Khước (Khích) làm họ. Đến đời cha Khước Khuyết là Khước Nhuế phò giúp Tấn Huệ công, được phong thêm ấp Ký. Sau khi Tấn Văn công đoạt ngôi, Khước Nhuế mưu giết Tấn Văn công không thành, bị lừa sang nước Tấn và bị xử tử[1], Khước Khuyết bị giáng làm thứ dân. Sau Tấn Văn công tuổi cao, đại phu Tư Thần thấy Khước Khuyết là người hiền đức, mới tiến cử ông vào Hạ quân, làm Hạ quân tá.