Метрики качества. Как измерять качество модели? / Андрей Зимовнов
Спикер знакомит слушателей с метриками, которые используются в машинном обучении, чтобы оценить качество обученного алгоритма Алгоритм или модель машинного обучения обычно не может добиться правильного анализа всех 100% объектов, включая все те, которые алгоритм никогда прежде не встречал. Метрики позволяют выбрать один наилучший из всех обученных алгоритмов. Если ошибка прогноза может принимать разные значения (а не только «верно» или «неверно»), то для оценки качества прогнозов модели машинного обучения используется среднеквадратичное отклонение (MSE, сумма квадратов ошибок на всех встреченных алгоритмом примерах объектов) или среднее абсолютное отклонение (MAE, сумма модулей ошибок). Иногда, с точки зрения бизнеса, вторая формула имеет больше практического смысла. Значения метрик используются при расчете «штрафа» за решение использовать ту или иную модель. Это были офлайн-метрики, которые можно рассчитать по сохраненным данным, но используются также и онлайн-метрики — их измеряют в уже работающей системе (например, прибыль или количество продуктов на складе). Важно, чтобы онлайн и офлайн-метрики коррелировали, поскольку между ними есть тесная связь. Спикер приводит пример того, как на онлайн-метрики влияют ошибки в прогнозах.
Спикер знакомит слушателей с метриками, которые используются в машинном обучении, чтобы оценить качество обученного алгоритма Алгоритм или модель машинного обучения обычно не может добиться правильного анализа всех 100% объектов, включая все те, которые алгоритм никогда прежде не встречал. Метрики позволяют выбрать один наилучший из всех обученных алгоритмов. Если ошибка прогноза может принимать разные значения (а не только «верно» или «неверно»), то для оценки качества прогнозов модели машинного обучения используется среднеквадратичное отклонение (MSE, сумма квадратов ошибок на всех встреченных алгоритмом примерах объектов) или среднее абсолютное отклонение (MAE, сумма модулей ошибок). Иногда, с точки зрения бизнеса, вторая формула имеет больше практического смысла. Значения метрик используются при расчете «штрафа» за решение использовать ту или иную модель. Это были офлайн-метрики, которые можно рассчитать по сохраненным данным, но используются также и онлайн-метрики — их измеряют в уже работающей системе (например, прибыль или количество продуктов на складе). Важно, чтобы онлайн и офлайн-метрики коррелировали, поскольку между ними есть тесная связь. Спикер приводит пример того, как на онлайн-метрики влияют ошибки в прогнозах.