Dự định trước đây là một máy bay trinh sát tốc độ cao, nguyên mẫu Yakovlev Ya-22 được trang bị 2 động cơ Klimov M-103 và thực hiện chuyến bay đầu tiên vào 22 tháng 21939. Sau đó, Yakovlev được thông báo thiết kế thêm một máy bay ném bom, chính là BB-22. Điều này đã dẫn đến những thay đổi để thích ứng với vũ khí trang bị và lượng nhiên liệu trên máy bay, công thêm một khoang chứa bom bên trong thân máy bay.
Một loạt BB-22 đầu tiên được hoàn thành vào 31 tháng 121939 và bay thử nghiệm vào 20 tháng 21940. Cùng thời gian đó, 2 nhà máy được đưa vào sản xuất và thử nghiệm - phiên bản trinh sát chụp ảnh R-12 và phiên bản hộ tống tầm xa I-29 (hay BB-22IS) - chúng được xử lý đặc biệt để bay thử nghiệm. BB-22 được chính thức mang tên Yak-2 vào cuối năm 1940, và được trang bị 2 động cơ 716 kW M-103, có vận tốc cực đại là 530 km/h trên độ cao 8800 m và tầm bay là 800 km.
Vào năm 1940, thiết kế cơ bản xa hơn nữa được thực hiện để cải tiến những vị trí của phi hành đoàn, tầm nhìn và lớp giáp bảo vệ; động cơ M-105 được đưa vào hoạt động với hệ thống nhiên liệu được bảo vệ tốt hơn, tăng tốc độ tối đa lên 574 km/h, tầm hoạt động là 925 km, thêm vào những giá treo bom ở cánh. Sau khi có tên gọi chính thức là Yak-4, máy bay bắt đầu được sản xuất vào mùa thu năm 1940 và khoảng 600 chiếc gồm cả hai phiên bản đã được chế tạo, phần lớn là Yak-4. Chúng không thành công trong hoạt động, nhiều chiếc bị mất ngay vào những ngày đầu cuộc chiến.