> For the complete documentation index, see [llms.txt](https://bemind.gitbook.io/neural/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://bemind.gitbook.io/neural/instrumenty-ocenki/instrumenty-ocenki-kachestva-obucheniya-klassificiruyushei-neironnoi-seti/kross-entropiinaya-funkciya-poter-cross-entropy-loss.md).

# Кросс-энтропийная функция потерь (Cross-Entropy Loss)

## Кросс-энтропийная функция потерь (Cross-Entropy Loss) для оценки качества классификаторов

Кросс-энтропийная функция потерь (Cross-Entropy Loss) является одной из наиболее широко используемых функций потерь для обучения и оценки качества моделей классификации, таких как логистическая регрессия и нейронные сети. Она измеряет производительность модели на основе того, насколько расходятся предсказанные ею вероятности от истинных меток классов.

### Определение кросс-энтропийной потери

Для задачи бинарной классификации кросс-энтропийная потеря определяется как:

```
L = -(y * log(p) + (1 - y) * log(1 - p))
```

Где:

* `y` - истинная метка класса (0 или 1)
* `p` - предсказанная моделью вероятность принадлежности к классу 1
* `log` - натуральный логарифм

Для задачи многоклассовой классификации с `C` классами формула кросс-энтропийной потери принимает вид:

```
L = -sum(y_true * log(y_pred))
```

Где:

* `y_true` - вектор истинных меток классов в кодировке one-hot
* `y_pred` - вектор предсказанных моделью вероятностей для каждого класса

### Интерпретация значений кросс-энтропии

Значение кросс-энтропийной потери является неотрицательным и стремится к нулю по мере улучшения производительности модели. Чем ближе предсказанные вероятности к истинным меткам классов, тем меньше значение кросс-энтропии.

Например, для бинарной классификации:

* Если `y = 1` и `p = 1`, то `L = 0` (идеальный случай)
* Если `y = 1` и `p = 0`, то `L = +∞` (худший случай)

### Применение кросс-энтропийной потери

Кросс-энтропийная функция потерь широко применяется в качестве функции потерь при обучении моделей классификации, таких как логистическая регрессия и нейронные сети. Во время обучения модель стремится минимизировать значение кросс-энтропии на обучающих данных, что позволяет ей лучше обобщать знания и повышать точность классификации.

Кроме того, кросс-энтропия может использоваться для оценки качества обученной модели на тестовых данных. Чем меньше значение кросс-энтропийной потери на тестовом наборе, тем лучше производительность модели.

### Пример расчета кросс-энтропийной потери в Python

Рассмотрим пример расчета кросс-энтропийной потери для задачи бинарной классификации:

```python
import numpy as np

# Истинные метки
y_true = [1, 0, 1, 0]

# Предсказанные вероятности
y_pred = [0.8, 0.2, 0.7, 0.4]

# Вычисление кросс-энтропийной потери
cross_entropy_loss = 0
for yt, yp in zip(y_true, y_pred):
    cross_entropy_loss += -(yt * np.log(yp) + (1 - yt) * np.log(1 - yp))

cross_entropy_loss /= len(y_true)
print(f"Кросс-энтропийная потеря: {cross_entropy_loss:.4f}")
```

Выход:

```
Кросс-энтропийная потеря: 0.6865
```

В этом примере мы вычисляем среднюю кросс-энтропийную потерю на четырех примерах, суммируя потери для каждого отдельного примера и деля на общее количество примеров.

Библиотеки машинного обучения, такие как PyTorch и TensorFlow, предоставляют встроенные функции для расчета кросс-энтропийной потери, что упрощает процесс обучения и оценки моделей классификации.

Кросс-энтропийная функция потерь является мощным инструментом для оценки качества классификаторов, особенно в задачах с большим количеством классов. Она позволяет напрямую оптимизировать производительность модели во время обучения и получать информативную оценку ее качества на тестовых данных.