Lasso là viết tắt của Least Absolute Shrinkage and Selection Operator (nghe dài dòng nhưng cứ hiểu là “thu nhỏ và chọn lọc” là được). Nó là một dạng hồi quy tuyến tính, nhưng có thêm một “chiêu” đặc biệt: thêm một hằng số phạt L1 vào hàm mất mát. Nói đơn giản, nó vừa cố gắng dự đoán tốt, vừa “trừng phạt” các biến không quan trọng bằng cách ép hệ số của chúng về 0. Kết quả? Một mô hình gọn gàng, chỉ giữ lại những biến thực sự “có giá trị”!
Hãy tưởng tượng bạn đang tổ chức một bữa tiệc dữ liệu, và các biến (features) là khách mời. Nhưng không gian bữa tiệc có hạn (mô hình không được quá phức tạp), nên bạn phải chọn lọc ai được ở lại, ai phải về. Hồi quy Lasso giống như một người bảo vệ cực kỳ nghiêm khắc ở cửa:
- Mỗi khách mời (biến) mang theo một món quà (hệ số hồi quy). Nếu món quà quá “nhảm” (hệ số nhỏ, không ảnh hưởng nhiều đến mô hình), Lasso sẽ thẳng tay đuổi họ về và đặt hệ số của họ = 0.
- Những khách mời mang quà xịn (biến quan trọng) thì được ở lại, giữ nguyên tầm ảnh hưởng.
- Sợi dây thừng của Lasso (phần phạt L1) chính là công cụ để nó “tóm” và loại bỏ những vị khách không cần thiết, làm bữa tiệc gọn gàng hơn, dễ quản lý hơn.
Công thức (nhẹ nhàng thôi):
Trong hồi quy tuyến tính thông thường, ta tối thiểu hóa hàm mất mát:
![\[ \text{Loss} = \sum (y_i - \hat{y}_i)^2 \]](https://ksmls.org/wp-content/ql-cache/quicklatex.com-61d399c621b0c0e0cb2cd50516a11742_l3.png "Rendered by QuickLaTeX.com")
(
là giá trị thực, 
là giá trị dự đoán).
Lasso thêm một “phạt L1” vào:
![\[ \text{Loss} = \sum (y_i - \hat{y}_i)^2 + \lambda \sum |\beta_j| \]](https://ksmls.org/wp-content/ql-cache/quicklatex.com-ca39e2fbdfe5e6f05d62f24f6e7f3891_l3.png "Rendered by QuickLaTeX.com")
: hệ số của các biến.
: mức độ phạt, càng lớn thì Lasso càng “khắc nghiệt”, ép nhiều hệ số về 0.
Kết quả? Một số bị ép về 0, nghĩa là biến đó bị loại bỏ, giúp mô hình đơn giản hơn, tránh overfitting (tức là tránh việc mô hình “học vẹt” dữ liệu).
Tại sao Lasso “vui”?
- Tính chọn lọc siêu phàm: Lasso như một “trọng tài công tâm”, chỉ giữ lại những biến xứng đáng. Nó giúp bạn tránh được tình trạng mô hình quá phức tạp, đầy rẫy biến thừa thãi.
- Dễ hiểu, dễ dùng: Bạn chỉ cần điều chỉnh (\lambda), Lasso sẽ lo phần còn lại, tự động chọn biến và tối ưu mô hình.
- Hài hước ở chỗ: Những biến bị ép về 0 giống như bị Lasso “đá” ra khỏi bữa tiệc dữ liệu, không thương tiếc!
Khi nào dùng Lasso?
- Khi bạn có nhiều biến (hàng tá “con ngựa”) và nghi ngờ không phải tất cả đều quan trọng.
- Khi muốn một mô hình đơn giản, dễ diễn giải.
- Khi cần tránh overfitting (mô hình quá khớp với dữ liệu huấn luyện).
Minh họa vui:
Giả sử bạn dự đoán giá nhà, với các biến: diện tích, số phòng, màu tường, số cột điện gần nhà, hướng nhà, v.v. Lasso sẽ xem xét:
- Diện tích, số phòng: “Ồ, hai anh này quan trọng, ở lại!”
- Màu tường, số cột điện: “Hừ, không ảnh hưởng gì, về nhà đi!” (hệ số = 0).
Kết quả: Mô hình của bạn gọn gàng, chỉ giữ lại các biến thực sự quan trọng, dự đoán chính xác mà không bị rối.
Kết luận:
Hồi quy Lasso là chàng cao bồi thông minh, dùng sợi dây thừng L1 để thuần hóa đám biến số ngỗ ngược, giữ lại những gì tinh túy nhất cho mô hình. Nó không chỉ giúp dự đoán tốt mà còn làm mô hình “sạch sẽ”, dễ hiểu. Nói chung, Lasso là “người hùng” trong thế giới hồi quy, vừa mạnh mẽ vừa… hài hước theo cách của nó! 😎
