границы ошибки классификатора

beholder229 ноября 2005Data Mining2 комментария

Имеется некоторый классификатор - не суть какой. Для простоты - колво классов 2, априорные вероятности классов одинаковы. Мы обучаем его на некоторой выборке размера n1 и контролируем его обобщающую способность на др. независимой выборке размера n2. Как только ошибка на тестовой выборке начинает расти мы останавливаем обучение. Допустим в итоге наш классификатор правильно классифицирует 80% наблюдений (ошибка 20%) в обучающей и 70% - в тестовой выборке (ошибка 30%).
Вопрос: каковы верхние границы ошибки на новой выборке, которая не использовалась для обучения или
тестирования? При этом о форме распределения признаков, используемых для классификации ничего не известно.