Обобщающая способность (Generalization ability)

Обобщающая способность — это способность аналитической модели, построенной на основе машинного обучения (нейронной сети, дерева решений, карты Кохонена и др.) выдавать правильные результаты не только для примеров, участвовавших в процессе обучения, но и для любых новых, которые не участвовали в нем. Обобщающая способность является важнейшим свойством аналитической модели, приобретаемым в процессе обучения.

Если по какой-либо причине модель не приобрела способность к обобщению, ее практическое использование бессмысленно, поскольку на любой пример из обучающего множества она всегда будет выдавать правильный результат, а на любой новый пример — произвольное значение.

Способность к обобщению модель может приобрести только за счет большого числа разнообразных комбинаций входных и выходных значений в примерах обучающего множества. При этом число обучающих примеров должно в несколько раз превышать информационную емкость модели.

Для проверки обобщающей способности модели используется тестовое множество, формируемое из примеров обучающей выборки, не использовавшихся в процессе обучения. Если модель обеспечивает низкую выходную ошибку как на обучающем, так и на тестовом множестве, то с высокой долей уверенности можно утверждать, что она приобрела обобщающую способность. Если низкая ошибка имеет место только на обучающем множестве, а на тестовом она высокая, то, скорее всего, способность к обучению не была достигнута.

Одной из основных причин отсутствия у модели обобщающей способности является эффект переобучения. Для снижения вероятности переобучения и улучшения обобщающей способности модели можно произвести следующие действия:

• Уменьшить число настраиваемых в процессе обучения параметров модели (например, весов нейронной сети), оставив число примеров в обучающем множестве без изменений.
• Увеличить число обучающих примеров при фиксированном числе настраиваемых параметров.
• Уменьшить число итераций алгоритма обучения, возможно даже за счет некоторого увеличения ошибки обучения.
• Использовать специальные методы формирования выборки для обучения, такие как, например, перекрестная проверка.