Cross Entropy Là Gì

     

Cross-entropy loss là gì?

Mặc dùhinge loss hơi phổ biến, nhưng chúng ta có nhiều năng lực sử dụng hàm mất mátcross-entropyvà phân các loại Softmax trong toàn cảnh họcsâu cùng mạng lưới thần kinh tích chập.Trình phân loại Softmax cung ứng cho bọn họ xác suất cho mỗi nhãn lớp bên trong khi mất phiên bản lề cung cấp cho chúng ta.Bạn vẫn xem: Cross entropy là gì

Chúng ta dễ dãi hơn nhiều khi con người giải thích xác suất thay do điểm số lề. Rộng nữa, đối với các bộ dữ liệu như ImageNet, họ thường nhìn vào độ chính xác rank-5 của mạng lưới thần tởm tích chập (nơi cửa hàng chúng tôi kiểm tra coi liệu nhãn thật có nằm trong vị trí cao nhất 5 nhãn được dự đoán không được trả về bởi vì một mạng cho một hình hình ảnh đầu vào độc nhất vô nhị định). Xem nếu (1) nhãn lớp thực thụ tồn tại trong đứng đầu 5 dự kiến và (2) phần trăm liên quan đến mỗi nhãn là một trong những thuộc tính đẹp.

Bạn đang xem: Cross entropy là gì

Trình phân nhiều loại Softmax là 1 trong khái quát của dạng nhị phân của hồi quy logistic. Giống như trong hinge loss hoặc squared hinge loss, tác dụng ánh xạ f của bọn họ được xác định sao mang lại nó gồm một bộ nguồn vào là tài liệu x_i và ánh xạ chúng mang lại nhãn lớp đầu ra thông qua thành phầm chấm của ma trận dữ liệu và ma trận trọng số W(bỏ qua thuật ngữ thiên vị mang lại ngắn gọn):f (x_i;W) = W x_i

Tuy nhiên, không y hệt như hinge loss, bạn có thể hiểu các điểm số này là tỷ lệ nhật cam kết không chuẩn chỉnh hóa cho từng nhãn lớp, có nghĩa là hoán đổi chức năng mất phiên bản lề cùng với mất entropy chéo.Hãy chú ý rằng logarit của bọn họ ở phía trên thực sự là các đại lý e (logarit từ nhiên) vì bọn họ đang mang nghịch đảo của lũy thừa so cùng với e trước đó. Số mũ thực tế và chuẩn hóa thông qua tổng số nón là hàm Softmax của chúng ta. Log âm đem đến tổn thất entropy chéo thực tế của chúng ta.Cũng hệt như hinge loss cùng squared hinge loss, đo lường mất đuối cross-entropytrên toàn bộ bộ tài liệu được thực hiện bằng cách lấy trung bình.Một lần nữa, chún ta lại cố ý bỏ qua thuật ngữ regaularizationtừ hàm mất đuối của bọn chúng ta. Bọn họ sẽ quay lại regaularization, lý giải nó là gì, áp dụng nó ra sao và lý do nó lại quan trọng đối với các mạng lưới thần gớm và sâu sắc học ở những bài kế. Nếu những phương trình trên có vẻ như đáng sợ, đừng lo lắng - chúng ta sẽ làm việc thông qua các ví dụ ngay số trong phần tiếp theo để đảm bảo an toàn chúng ta hiểu bí quyết thức buổi giao lưu của hàm mất đuối cross-entropy.

Xem thêm: John Obi Mikel Đội Hiện Tại John Obi Mikel Đội Hiện Tại, John Obi Mikel Và Những Chuyện Chưa Kể Ở Chelsea


*

Scoring function
Dog-3.44
Cat1.16
Panda3.91

Scoring functionUnnormalized Probabilities
Dog-3.440.03
Cat1.163.19
Panda3.9149.90

Scoring functionUnnormalized ProbabilitiesNormalized Probabilities
Dog-3.440.030.0006
Cat1.163.190.0601
Panda3.9149.900.9393

Scoring functionUnnormalized ProbabilitiesNormalized ProbabilitiesNegative Log Loss
Dog-3.440.030.0006
Cat1.163.190.0601
Panda3.9149.900.93930.0626

Để chứng tỏ hàm mất mát cross-entropy trong hành động, hãy xem xét rất nhiều table trên. Mục tiêu của chúng ta là phân loại xem hình hình ảnh trên có một nhỏ chó, mèo hoặc gấu trúc. Rõ ràng, bạn có thể thấy rằng hình hình ảnh là một chú gấu trúc bé - mà lại phân nhiều loại Softmax của cửa hàng chúng tôi nghĩ gì? Để tìm kiếm hiểu, chúng ta sẽ yêu cầu phải thao tác qua tư tabletrong hình.Bảng đầu tiên bao gồm đầu ra của hàm tính điểm f của chúng tacho mỗi trong ba lớp, tương ứng. Những giá trị này là xác suấtkhông chuẩn hóa của bọn họ cho ba lớp. Hãylũy thừa cổng đầu ra của hàm tính điểm (e_s, trong các số ấy s là giá trị hàm điểm của chúng tôi), mang về xác suất không chuẩn chỉnh hóa của họ (bảng máy hai).Bước tiếp theo sau là lấy mẫu mã số của phương trình, tính tổng số nón và phân tách cho tổng, vì đó đưa về xác suất thực tế liên quan cho mỗi nhãn lớp (bảng sản phẩm công nghệ ba). Lưu ý cách phần trăm tổng thích hợp thành một.Cuối cùng, bạn có thể lấy logarit tự nhiên âm, −ln (p), trong những số ấy p là proba bình thường hóa, sing xác định giá trí mất mát sau cuối của bọn họ (bảng thứ tư và cuối cùng).Trong trường thích hợp này, trình phân một số loại Softmax của shop chúng tôi sẽ report chính xác hình ảnh là gấu trúc với 93,93% sự tự tin. Sau đó, chúng ta có thể lặp lại quy trình này cho toàn bộ các hình ảnh trong tập đào tạo và giảng dạy của bọn chúng tôi, đem mức trung bình và dành được tổn thất entropy chéo tổng thể mang đến tập huấn luyện. Quá trình này mang đến phép chúng ta định lượng như thế nào xuất sắc hay xấu một tập hợp những tham số đang thực hiện trên tập giảng dạy của bọn chúng ta.

Xem thêm: Tuần Thai Thứ 16 Mẹ Bầu 16 Tuần Nên Ăn Gì Để Tốt Cho Mẹ, Đủ Chất Cho Con?

Kết luận

Mời bạn cũng có thể tham gia cộng đồng robotic nhằm đặt câu hỏi cũng như tìm hiểu về robot.