Ông tên thật là Phạm Minh Tài sinh ngày 11 tháng 12 năm 1926, tại làng Đông Thái, quận An Biên, tỉnh Rạch Giá (nay thuộc xã Đông Thái, huyện An Biên, tỉnh Kiên Giang). Nhưng do sự nhầm lẫn của nhân viên hộ tịch, tên khai sinh của ông bị viết sai thành Phạm Minh Tày. Ngoài ra, ông còn có bút danh Phạm Sào Nam.
Thuở nhỏ ông học tiểu học tại quê nhà, rồi học trung học tại Cần Thơ. Năm 1945, ông tham gia Thanh niên Tiền phong, giành lấy chính quyền ở địa phương, rồi lần lượt tham gia công tác ở Hội Văn hóa cứu quốc tỉnh, phòng Chính trị Quân khu, phòng Văn nghệ Ban Tuyên huấn Xứ ủy Nam Bộ. Bút danh Sơn Nam ra đời trong thời gian này, để tưởng nhớ người phụ nữ Khmer đã cho ông bú mớm thời thơ ấu (Sơn là một họ lớn của người Khmer, Nam là để nhắc nhớ mình là người phương Nam)[1].
Sơn Nam khởi nghiệp cầm bút bằng hai tập thơ Lúa reo (1948) và Cho lòng em vui (1950 - viết về công tác địch vận) do Hội Văn hóa kháng chiến Kiên Giang xuất bản ở chiến khu. Nhưng rồi khi chuyển sang viết văn xuôi, ông tự phát hiện mình làm thơ dở hơn viết truyện nên dừng hẳn sáng tác thơ. Năm 1951-1952, ông đã đoạt giải nhất với hai truyện ngắn Bên rừng cù lao Dung và Tây đầu đỏ trong cuộc thi do Ủy ban Kháng chiến - hành chính Nam Bộ tổ chức.[2]
Năm 1955, ông lên Sài Gòn cộng tác với các báo: Nhân loại, Công Lý, Ánh sáng, Tiếng chuông, Lẽ sống...
Năm 1960–1961, bị chính quyền Việt Nam Cộng hòa bắt giam ở nhà tù Phú Lợi.[3] Ra tù, ông tiếp tục làm báo, viết văn và khảo cứu về Nam Bộ. Những sáng tác của ông đều mang hơi thở của thiên nhiên, của văn hóa và con người Nam Bộ được thể hiện qua giọng văn giản dị, mộc mạc.[4] Vì có công khai phá, khảo cứu và sưu tầm văn hóa mảnh đất Nam Bộ, ông được nhiều người gọi là "ông già Nam Bộ", "ông già đi bộ’, "pho từ điển sống về miền Nam" hay là "nhà Nam Bộ học".[5]
Sau năm 1975, ông tiếp tục hoạt động trên lĩnh vực văn hóa văn nghệ. Ông là hội viên Hội Nhà văn Việt Nam.
Năm 2003, toàn bộ các tác phẩm của ông được Nhà xuất bản Trẻ tại thành phố Hồ Chí Minh mua tác quyền trọn đời.[2]
Sau khi ông qua đời, con gái ông đã dựng một nhà lưu niệm trên khuôn viên rộng 1500m² bên bờ kênh Bảo Định (xã Đạo Thạnh, Mỹ Tho, Tiền Giang)[6][7]. Nơi đây được gia đình dùng làm nơi hương khói cho ông, đồng thời cũng để những người yêu mến ông có thể ghé thăm ông[6].
Để tri ân những đóng góp của nhà văn Sơn Nam cho nền văn học nước nhà, Hoa viên Nghĩa trang Bình Dương đã dành tặng miễn phí một mộ phần cho ông ở vị trí đẹp, đắc địa trong Hoa viên, bên cạnh mộ phần của người bạn thân là nhà thơ Kiên Giang. Hàng năm, Hoa viên nghĩa trang Bình Dương đều tổ chức cúng giỗ đầy đủ và chu đáo cho nhà văn Sơn Nam.
Năm 2023, Nhà xuất bản Trẻ ra mắt sách Nhà văn Sơn Nam - Những góc đời riêng lạ gồm những bài viết của con gái nhà văn Sơn Nam, bà Đào Thúy Hằng và một số nhà văn, nhà báo thân thiết với Sơn Nam.[9]
