Ошибка обобщения (Generalization error)

Разделы: Метрики

Ошибка, которую модель, основанная на машинном обучении, показывает на примерах тестового множества или просто наблюдениях, не участвовавших в процессе обучения.

Модель, основанная на обучении, имеет практическую ценность только в том случае, если в процессе обучения она приобрела способность к обобщению. Это значит, что обученная модель должна выдавать достаточно точные результаты не только на обучающих примерах, но и на любых других.

Ошибка обучения не позволяет оценить обобщающую способность модели. Она служит только для оценивания «подгонки» модели к обучающему множеству. Чтобы проверить наличие обобщающей способности у обученной модели, необходимо протестировать ее на примерах, не использовавшихся ранее для обучения. Поэтому из исходного набора данных, кроме обучающего множества, формируется еще и тестовое, ошибка на котором и служит для оценки обобщающей способности.

Также ошибка обобщения служит для выявления эффекта переобучения. В процессе обучения ошибка обучения постоянно уменьшается, пока не достигает достаточно малого значения, после чего обучение прекращается. Однако если параллельно отслеживать ошибку обобщения, то можно увидеть, что она сначала также уменьшается, но с некоторой эпохи обучения начинает возрастать из-за эффекта переобучения.

Это значит, что, добиваясь большей точности на обучающем множестве, модель теряет часть обобщающей способности, т.е. будет хуже работать с реальными данными. Поэтому часто процесс обучения останавливают, как только ошибка обобщения начинает возрастать.