Учесть вес примеров в целевой функции?

Victor Yuzhanin29 марта 2007Data Mining3 комментария

Есть достаточно простая задачка из области измерительной техники (нейросеть с <10 нейронами в скрытом слое). Задачка однако очень критична к погрешности получаемой модели. Решено оценивать качество измерений по относительной погрешности, т.е.:
[Xреальное - Xрасчетное] / Xреальное)
Использование же обычной сумма квадратов отклонений означает минимизацию абсолютной ошибки (Xреальное - Xрасчетное). И действительно, проверка показала, что наибольшая ОТНОСИТЕЛЬНАЯ погрешность получается для маленьких X, портя показатели всей модели.

На мой взгляд, целесообразно взвесить ошибки в целевой функции пропорционально величинам (1/Xреальное). Фактически, целевая функция будет минимизировать сумму квадратов относительных погрешностей.

Предвкушая серьезное улучшение точности модели, реализовал описанное. Но почему-то ошибка обобщения сети только выросла. Не понимаю из-за чего выросла ошибка, не понимаю в чем изъян моих рассуждений.

Учу пакетно с помощью BFGS с линейным поиском величины спуска без контрольного множества для раннего останова обучения.