Большая ошибка валидации при обучении НС

Станислав3 ноября 2012Data Mining0 комментариев

Возникла проблема с нейронной сеткой, видимо специфичная для конкретного набора данных. Пытаюсь обучить сеть (используются проверенные исходники с rprop) и контролирую процесс на валидационной выборке (1/10 от общего числа образов выбираемых вдоль всего набора равномерно). На обучающей части набора (9/10 данных) ошибка планомерно уменьшается, однако на валидационной выборке все время большая и растет. Менял валидационные наборы. Менял конфигурацию сети (точнее размер скрытого слоя, т.к. сеть трехслойная, вход и выход определены) - картина примерно одинаковая. Думал, может оверфиттинг, но после уменьшения размера скрытого слоя, ошибка только увеличилась. Входные данные нормализованы. Подскажите плиз в чем может быть причина и что предпринять. Одна из догадок - что недостаточно данных: есть примерно 300 векторов размерностью 30. Если это так, то идея только одна - применить рандомизацию входных данных.