Bình phương tối thiểu

Hình minh họa Kết quả của việc khớp một tập hợp các điểm dữ liệu với hàm bậc hai

Trong toán học, phương pháp bình phương tối thiểu ( Ordinary least square), còn gọi là bình phương nhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựa chọn một đường khớp nhất cho một dải dữ liệu ứng với cực trị của tổng các sai số thống kê (error) giữa đường khớp và dữ liệu.

Phương pháp này giả định các sai số (error) của phép đo đạc dữ liệu phân phối ngẫu nhiên. Định lý Gauss-Markov chứng minh rằng kết quả thu được từ phương pháp bình phương tối thiểu không thiên vị và sai số của việc đo đạc dữ liệu không nhất thiết phải tuân theo, ví dụ, phân bố Gauss. Một phương pháp mở rộng từ phương pháp này là bình phương tối thiểu có trọng số.

Phương pháp bình phương tối thiểu thường được dùng trong khớp đường cong. Nhiều bài toán tối ưu hóa cũng được quy về việc tìm cực trị của dạng bình phương, ví dụ như tìm cực tiểu của năng lượng hay cực đại của entropy.

Phương pháp bình phương tối thiểu thường sử dụng để vinh danh Carl Friedrich Gauß (1795),^[1] nhưng nó được xuất bản lần đầu bởi Adrien-Marie Legendre (1805).^[2]

Diễn giải

Giả sử dữ liệu gồm các điểm (x_i, y_i) với i = 1, 2,..., n. Chúng ta cần tìm một hàm số f thỏa mãn

f(x_i) ≈ y_i

Giả sử hàm f có thể thay đổi hình dạng, phụ thuộc vào một số tham số p_j với j = 1, 2,..., m.

f(x) = f(p_j, x)

Nội dung của phương pháp là tìm giá trị của các tham số p_j sao cho biểu thức sau đạt cực tiểu:

${\displaystyle \chi ^{2}=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}.}$

Nội dung này giải thích tại sao tên của phương pháp là bình phương tối thiểu.

Đôi khi thay vì tìm giá trị nhỏ nhất của tổng bình phương, người ta có thể tìm giá trị nhỏ nhất của bình phương trung bình:

${\displaystyle \chi ^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}.}$

Điều này dẫn đến tên gọi bình phương trung bình tối thiểu.

Giải quyết

Bài toán thường có lời giải đáng tin cậy khi số lượng các tham số p_j nhỏ hơn số lượng các dữ liệu (m < n).

Trong trường hợp, f là hàm tuyến tính của các tham số p_j, bài toán trở nên đơn giản hóa rất nhiều, rút gọn thành việc giải một hệ phương trình tuyến tính. Xem thêm bình phương tối thiểu tuyến tính.

Nếu f không là hàm tuyến tính của các tham số, bài toán trở thành một bài toán tối ưu hóa tổng quát. Bài toán tổng quát này có thể dùng các phương pháp như phương pháp tối ưu hóa Newton hay phương pháp trượt dốc. Đặc biệt thuật toán Gauss-Newton hay thuật toán Levenberg-Marquardt là thích hợp nhất cho bài toán bình phương tối thiểu tổng quát này.

Hồi quy tuyến tính

Trong hồi quy tuyến tính, người ta thay biểu thức:

f(x_i) ≈ y_i

bằng

f(x_i) = y_i + ε_i

với hệ số nhiễu ε là biến ngẫu nhiên có giá trị kỳ vọng bằng 0.

Trong biểu thức của hồi quy tuyến tính x được đo chính xác, chỉ có y chịu nhiễu loạn ε. Thêm nữa, hàm f tuyến tính với các tham số p_j.

Nếu f không tuyến tính với các tham số thì có hồi quy phi tuyến, một bài toán phức tạp hơn nhiều hồi quy tuyến tính.

Xem thêm

• Bình phương tối thiểu có trọng số
• Hồi quy tuyến tính

Tham khảo

1. Bretscher, Otto (1995). Linear Algebra With Applications (ấn bản thứ 3). Upper Saddle River, NJ: Prentice Hall.
2. Stigler, Stephen M. (1981). “Gauss and the Invention of Least Squares”. Ann. Stat. 9 (3): 465–474. doi:10.1214/aos/1176345451.

Liên kết ngoài

• Least Squares Fitting (Regression) – Đại học Saint John's
• ZunZun.com – tối ưu hóa dữ liệu 2D và 3D
• General Least-Squares – Direct Solutions and Bundle Adjustments