MSE (Mean Squared Error) или по-русски среднеквадратичная ошибка — это один из самых простых и популярных способов измерения качества работы модели.
Имея правильный ответ \(y\) и предсказание \(\hat{y}\), можно вычислить их разность. Если сложить такие разности для всех ответов, возведённые в квадрат и разделить на количество элементов выборки, получится число, характеризующее качество модели:
\[\text{MSE} = \frac{1}{n}\sum_{i=1}^n(y_i-\hat{y}_i)^2\]Для примера, поглядим на маленькую выборку, ответы и предсказания для которой выглядят вот так:
| \(y\) | \(\hat{y}\) | |
|---|---|---|
| x_1 | 25 | 23 |
| x_2 | 16 | 17 |
| x_3 | 19 | 11 |
| x_4 | 20 | 20 |
| x_5 | 0 | 1 |
Для этого случая MSE будет равна 14.
Тут мы сталкиваемся с проблемой интерпретации этого значения. В идеальном случае, когда все ответы предсказаны точно, MSE будет равна нулю. А как понять, что показывает число 14? Модель сделала предсказание плохо или хорошо? К сожалению, однозначно ответить на эти вопросы невозможно.
Для того, чтобы понять, насколько хорошо работает модель, нужно произвести серию предсказаний с разными параметрами, сравнить MSE результатов между собой и выбрать наилучший вариант.
Когда работаешь с MSE, нужно всегда помнить о том, что эта оценка совершенно неустойчива к выбросам.