Ōi là chiếc thứ tư trong số năm tàu tuần dương hạng nhẹ thuộc lớp Kuma được chế tạo, và giống như các tàu chị em, nó được dự tính để hoạt động trong cả vai trò tuần tiễu tầm xa tốc độ cao cũng như chỉ huy các hải đội tàu khu trục hay tàu ngầm.
Trong những năm 1928- 1931, Ōi hoạt động như một tàu huấn luyện tại Học viện Hải quân Đế quốc Nhật Bản ở Etajima, Hiroshima. Vào thời gian xảy ra sự kiện Thượng Hải, Ōi được bố trí nhiệm vụ tuần tra dọc theo bờ biển Trung Quốc, nhưng sau đó được cho quay về nhiệm vụ huấn luyện từ cuối năm 1933 đến giữa năm 1937. Từ tháng 8 năm 1937, khi cuộc chiến tranh Trung Nhật tiếp tục leo thang, Ōi được bố trí hộ tống các cuộc đổ bộ lực lượng Nhật Bản tại miền Trung Trung Quốc, rồi một lần nữa đảm trách nhiệm vụ huấn luyện từ tháng 12 năm 1937 đến cuối năm 1939.
Vào ngày 25 tháng 8 năm 1941, Ōi quay trở về Maizuru để được cải biến thành một "tàu tuần dương ngư lôi", với mười ống phóng ngư lôi Kiểu 92 bốn nòng (tổng cộng 40 ống) để phóng kiểu ngư lôi Kiểu 93 "Long Lance" 610 mm tầm xa vận hành bằng oxygen, được sắp xếp thành hai dãy năm ống phóng mỗi bên mạn tàu. Việc cải biến này là theo một kế hoạch của Hải quân Nhật về một "Lực lượng Tấn công Đêm" đặc biệt gồm các tàu tuần dương-ngư lôi. Công việc cải biến hoàn tất vào ngày 30 tháng 9 năm 1941, và Ōi cùng với chiếc tàu chị em Kitakami được phân về Hải đội Tuần dương 9 dưới quyền chỉ huy của Chuẩn Đô đốcFukuji Kishi thuộc Hạm đội 1 Nhật Bản.
Ngày 12 tháng 1 năm 1942, Tổng tham mưu trưởng Hải quân Nhật Chuẩn Đô đốcMatome Ugaki thị sát chiếc Ōi, và tỏ ý phản đối kế hoạch sử dụng các tàu tuần dương-ngư lôi mới được tái trang bị, khuyến cáo thay đổi chiến thuật của Hải quân. Trong khi Bộ tham mưu Hải quân Nhật còn đang tranh luận về vấn đề, Ōi được giao nhiệm vụ hộ tống các tàu vận tải di chuyển giữa Hiroshima và Mako thuộc quần đảo Pescadores từ cuối tháng 1 đến giữa tháng 4.
Vào lúc diễn ra trận Midway, ngày 29 tháng 5 năm 1942, Ōi cùng chiếc tàu chị em Kitakami nằm trong Lực lượng của Phó Đô đốc Takasu hộ tống cho Chiến dịch Aleut, và quay trở về Nhật Bản an toàn vào ngày 17 tháng 6 năm 1942.
Như một tàu vận chuyển binh lính nhanh
Từ tháng 8 đến tháng 9 năm 1942, Ōi và Kitakami được cải biến thành các tàu vận chuyển binh lính nhanh. Số ống phóng ngư lôi bốn nòng của nó được giảm bớt còn sáu bộ với tổng cộng 24 nòng phóng; và nó được trang bị hai xuồng đổ bộDaihatsu cùng hai pháp pháo phòng không ba nòng Kiểu 96 25 mm. Các đường ray thả mìn sâu cũng được trang bị. Sau khi được cải biến, Kitakami và Ōi nhận lên tàu Lực lượng Đổ bộ Hải quân Đặc biệt Số 4 Maizuiru để vận chuyển đến Truk trong quần đảo Caroline.
Ngày 15 tháng 3 năm 1943, Ōi được bố trí về Hạm đội Khu vực Tây Nam dưới quyền chỉ huy của Đô đốc Shiro Takasu như một tàu bảo vệ đặt căn cứ ngoài khơi Surabaya. Nó từng hộ tống các đoàn tàu vận tải binh lính từ Surabaya đến Kaimana, New Guinea trong tháng 4 và từ Surabaya đến Ambon và Kaimana trong tháng 5.
Ngày 6 tháng 7 năm 1944, Ōi rời Surabaya hướng đến Manila. Ngày 19 tháng 7 năm 1944, trong vùng Biển Đông cách Hồng Kông 1.050 km (570 hải lý) về phía nam, Ōi bị chiếc tàu ngầm Mỹ Flasher phát hiện. Ở khoảng cách 1.280 m (1.400 yard), Flasher đã bắn bốn quả ngư lôi phía mũi tàu, và hai quả đã đánh trúng Ōi phía sau mạn trái. Một quả ngư lôi bị tịt ngòi, nhưng quả còn lại phát nổ làm ngập nước phòng máy. Sau đó Flasher tiếp tục bắn bốn quả ngư lôi phía mũi tàu ở khoảng cách 3.200 m (3.500 yard) nhưng tất cả đều bị trượt. Ōi chìm lúc 17 giờ 25 phút với đuôi chìm trước ở tọa độ 13°12′B114°52′Đ / 13,2°B 114,867°Đ / 13.200; 114.867. Tàu khu trục Shikinami đã cứu được Thuyền trưởng Shiba cùng 368 thành viên thủy thủ đoàn, nhưng 153 người khác đã chìm theo con tàu. Thuyền trưởng Đại tá Hải quân Shiba sau này là một trong số các đại biểu của Hải quân Đế quốc Nhật Bản tham gia lễ ký kết văn kiện đầu hàng chính thức trên thiết giáp hạm Missouri trong vịnh Tokyo vào ngày 2 tháng 9 năm 1945.
