LeVanLoi'log, ⌚ 2024-11-18
***

What is cross-entropy loss in machine learning?

Tác giả: Lê Văn Lợi tổng hợp

English:

Cross-Entropy Loss in Machine Learning

Cross-entropy loss is a widely used loss function in machine learning, especially for classification tasks. It measures the dissimilarity between two probability distributions: the true labels (actual data distribution) and the predicted probabilities (model's output). The goal is to minimize this dissimilarity by training the model to produce predictions closer to the true labels.

Mathematical Definition

For a single data point in a classification problem with $C$ classes, cross-entropy loss is defined as:

$mathcal{L} = - sum_{c=1}^C y_c log(hat{y}_c)$

Where:

$y_c$ : The true label for class $c$ (1 if the class is the correct one, 0 otherwise, in one-hot encoding).
$hat{y}_c$ : The predicted probability for class $c$ (output from the model, typically obtained via a softmax function).

For a dataset with $N$ samples, the average cross-entropy loss is:

$mathcal{L} = - frac{1}{N} sum_{i=1}^N sum_{c=1}^C y_{i,c} log(hat{y}_{i,c})$

Key Intuitions

Probabilistic Output:
- Cross-entropy assumes the model outputs probabilities (values between 0 and 1 that sum to 1 for all classes).
- It heavily penalizes incorrect predictions with high confidence.
Logarithmic Penalty:
- The $log(hat{y}_c)$ term increases the penalty for predictions that are far from the true label.
- If the predicted probability for the correct class ( $hat{y}_c$ ) is close to 1, the loss is small.
- If $hat{y}_c$ is close to 0, the loss is very large, encouraging the model to avoid low confidence on the true label.
Relationship with Likelihood:
- Cross-entropy loss is equivalent to the negative log-likelihood of the true labels under the predicted probability distribution.

Example

Suppose we have a 3-class classification problem, and the true label is class 1 ( $[1, 0, 0]$ in one-hot encoding). If the model predicts probabilities $[0.7, 0.2, 0.1]$ , the cross-entropy loss is:

$mathcal{L} = - left(1 cdot log(0.7) + 0 cdot log(0.2) + 0 cdot log(0.1)right) = - log(0.7) approx 0.3567$

If the prediction changes to $[0.2, 0.4, 0.4]$ , the loss becomes:

$mathcal{L} = - log(0.2) approx 1.609$

This demonstrates that more accurate predictions yield lower cross-entropy loss.

Applications

Binary Classification:
- For two classes, cross-entropy reduces to the binary cross-entropy loss: $mathcal{L} = - frac{1}{N} sum_{i=1}^N left( y_i log(hat{y}_i) + (1 - y_i) log(1 - hat{y}_i) right)$
- Commonly used in tasks like spam detection or medical diagnosis.
Multi-Class Classification:
- Used with softmax activation to handle multiple class probabilities.
Deep Learning:
- Standard loss function for neural networks in tasks such as image recognition, text classification, and more.

Advantages

Interpretability: It directly relates to the likelihood of the true labels, making optimization meaningful.
Sensitivity: Penalizes incorrect predictions more when the confidence is misplaced.
Compatibility: Naturally fits probabilistic models, like those using softmax.

Challenges

Imbalanced Datasets:
- For datasets where one class dominates, cross-entropy loss may lead to biased predictions.
- Solutions: Weighted cross-entropy or other loss functions like focal loss.
Numerical Stability:
- When $hat{y}_c$ is very close to 0, $log(hat{y}_c)$ becomes undefined. To address this, implementations clip predictions to avoid taking the log of 0.

Summary

Cross-entropy loss quantifies the difference between predicted and true distributions and is widely used for classification tasks due to its alignment with probabilistic modeling and ability to penalize incorrect predictions strongly.

Vietnamese:

Hàm mất mát Cross-Entropy trong học máy

Hàm mất mát Cross-Entropy là một hàm mất mát được sử dụng phổ biến trong học máy, đặc biệt cho các bài toán phân loại. Nó đo lường sự khác biệt giữa hai phân phối xác suất: phân phối nhãn thật (dữ liệu thực tế) và xác suất dự đoán (đầu ra của mô hình). Mục tiêu là giảm thiểu sự khác biệt này bằng cách huấn luyện mô hình sao cho dự đoán gần với nhãn thật hơn.

Định nghĩa Toán học

Đối với một điểm dữ liệu duy nhất trong bài toán phân loại với $C$ lớp, hàm mất mát cross-entropy được định nghĩa là:

$mathcal{L} = - sum_{c=1}^C y_c log(hat{y}_c)$

Trong đó:

$y_c$ : Nhãn thực tế cho lớp $c$ (1 nếu lớp đó là đúng, 0 nếu không, trong mã hóa one-hot).
$hat{y}_c$ : Xác suất dự đoán cho lớp $c$ (đầu ra của mô hình, thường được tính qua hàm softmax).

Với tập dữ liệu có $N$ mẫu, hàm mất mát trung bình là:

$mathcal{L} = - frac{1}{N} sum_{i=1}^N sum_{c=1}^C y_{i,c} log(hat{y}_{i,c})$

Trực quan hóa ý nghĩa

Đầu ra mang tính xác suất:
- Cross-entropy giả định rằng đầu ra của mô hình là xác suất (các giá trị trong khoảng [0, 1] và tổng bằng 1 với tất cả các lớp).
- Nó phạt nặng những dự đoán sai với độ tin cậy cao.
Hình phạt theo hàm log:
- Thành phần $log(hat{y}_c)$ tăng mức phạt đối với các dự đoán xa nhãn thật.
- Nếu xác suất dự đoán cho lớp đúng ( $hat{y}_c$ ) gần bằng 1, hàm mất mát rất nhỏ.
- Nếu $hat{y}_c$ gần bằng 0, hàm mất mát rất lớn, khuyến khích mô hình không đưa ra dự đoán sai với độ tin cậy thấp.
Liên hệ với hàm likelihood:
- Cross-entropy tương đương với hàm negative log-likelihood của nhãn thật dựa trên phân phối xác suất dự đoán.

Ví dụ

Giả sử ta có một bài toán phân loại 3 lớp và nhãn thực là lớp 1 ( $[1, 0, 0]$ theo mã hóa one-hot). Nếu mô hình dự đoán xác suất $[0.7, 0.2, 0.1]$ , hàm mất mát cross-entropy là:

$mathcal{L} = - left(1 cdot log(0.7) + 0 cdot log(0.2) + 0 cdot log(0.1)right) = - log(0.7) approx 0.3567$

Nếu dự đoán thay đổi thành $[0.2, 0.4, 0.4]$ , mất mát sẽ là:

$mathcal{L} = - log(0.2) approx 1.609$

Điều này cho thấy rằng dự đoán chính xác hơn dẫn đến hàm mất mát cross-entropy thấp hơn.

Ứng dụng

Phân loại nhị phân:
- Với hai lớp, cross-entropy trở thành binary cross-entropy: $mathcal{L} = - frac{1}{N} sum_{i=1}^N left( y_i log(hat{y}_i) + (1 - y_i) log(1 - hat{y}_i) right)$
- Thường được sử dụng trong các tác vụ như phát hiện spam hoặc chẩn đoán y khoa.
Phân loại đa lớp:
- Được sử dụng cùng với hàm softmax để xử lý xác suất của nhiều lớp.
Học sâu:
- Là hàm mất mát tiêu chuẩn cho các mạng nơ-ron trong các tác vụ như nhận diện hình ảnh, phân loại văn bản và nhiều ứng dụng khác.

Ưu điểm

Dễ hiểu: Liên quan trực tiếp đến xác suất của nhãn thật, làm cho việc tối ưu hóa có ý nghĩa.
Nhạy cảm: Phạt nặng các dự đoán sai, đặc biệt khi độ tin cậy bị đặt sai.
Tương thích tốt: Phù hợp tự nhiên với các mô hình xác suất, như các mô hình sử dụng softmax.

Thách thức

Dữ liệu mất cân bằng:
- Với tập dữ liệu mà một lớp chiếm ưu thế, cross-entropy có thể dẫn đến dự đoán thiên lệch.
- Giải pháp: Sử dụng cross-entropy có trọng số hoặc các hàm mất mát khác như focal loss.
Ổn định số học:
- Khi $hat{y}_c$ gần bằng 0, $log(hat{y}_c)$ trở nên không xác định. Để giải quyết, các triển khai thực tế thường giới hạn giá trị của dự đoán để tránh log của 0.

Kết luận

Hàm mất mát cross-entropy đo lường sự khác biệt giữa dự đoán và nhãn thật, và được sử dụng rộng rãi trong các bài toán phân loại nhờ khả năng kết hợp tự nhiên với mô hình xác suất và khả năng phạt mạnh các dự đoán sai.

🏷

Bài trước ☚

☛ Bài sau