Linear Discriminant Analysis Là Gì

Phân loại

Lý thuyết học máy (31)Quy hoạch lồi (13)Thuật toán (6)

Lưu trữ

Thống kê

227846 lần xem

Bài vừa mới đây

Trang

Blogroll

Quản trị

Theo dõi

Blog D.Q. Huy

Xem những nhất

Phân lớp bởi siêu phẳng (2) – Sử dụng những đại lượng thống kê (linear discriminantanalysis)

Posted by è Quốc Long trên tháng Tám 1, 2008

Ta đã thấy, Perceptron cùng với thuật toán huấn luyện rất có thể chỉ ra bộ trọng số

phân tách bóc được tập mẫu học. Tuy nhiên, kết quả này trọn vẹn không suy nghĩ phân bố xác suất của dữ liệu mà chỉ tìm biện pháp phân lớp đường tính một tập chủng loại học cho trước. Trong bài xích này, ta sẽ khám phá một giải pháp tiếp cận không giống để huấn luyện và đào tạo một hàm phân lớp tuyến đường tính, trong các số ấy có thực hiện các đại lượng thống kê của dữ liệu (ví dụ: quý hiếm kì vọng, ma trận hiệp phương sai).

Bạn đang xem: Linear discriminant analysis là gì

Ta đang biết, nếu mang sử dữ liệu từ nhị lớp

các tuân theo phân bố chuẩn với ma trận hiệp phương sai giống như nhau, tinh quái giới phân lớp tối ưu là hết sức phẳng cùng với vectơ pháp con đường (trọng số ) là

với

là kì vọng, là ma trận hiệp phương không nên của cả hai lớp đối tượng.

Xem thêm: Streamer Throw Thi Là Ai - Phỏng Vấn Game Thủ 'Best Riven' Lmht Và G

Hàm phân lớp tuyến tính của Fisher (Fisher’s linear discriminant – FLD)

Năm 1936, Fisher gợi nhắc sử dụng hàm phân lớp con đường tính sao cho dữ liệu qua ánh xạ con đường tính sẽ cực đại hóa tỉ số

trong đó:

Độ phân bóc tách giữa nhị lớp sau ánh xạ tuyến đường tính:

Ta mong

càng béo càng tốt (kì vọng của 2 lớp cách xa nhau).Tổng phương sai của nhì lớp sau ánh xạ tuyến đường tính:

Ta mong muốn

càng nhỏ dại càng tốt (phương không đúng của 2 lớp nhỏ).

Xem thêm: Đâu Là Sự Khác Biệt Giữa "Milk " Và " Dairy Là Gì, Nghĩa Của Từ Dairy Products

Cực đại hóa :

Đặt

, bài xích toán cực lớn hóa tương đương với

Lấy gradient của

theo với đặt bởi , ta được

Để ý là

, vì đó, giá trị cực đại của đạt tại

Nhận xét:

Hướng là hướng (1 chiều) dễ minh bạch 2 lớp đối tượng người sử dụng nhất. Đây là lưu ý dẫn mang đến các phương thức giảm số chiều (dimension reduction) của tài liệu nhưng vẫn bảo vệ khả năng phân lớp.

Posted in kim chỉ nan học đồ vật | Thẻ: cực lớn hóa khả năng, dimension reduction, Fisher, fisher"s linear discriminant, giảm số chiều, kì vọng, linear discriminant analysis, ma trận hiệp phương sai, maximum likelihood estimation, MLE, perceptron | Leave a phản hồi »