Ошибка накопления в рекуррентных сетях
Макс Щербаков13 декабря 2003Data Mining2 комментария
Макс Щербаков13 декабря 2003Data Mining2 комментария
Здравствуйте!
Занимаюсь идентификацией и исследованием динамики систем с помощью НС. Использую рекуррентные сети для построения модели системы (сеть Элмана, алгоритм обычный backprop). Сеть обучилась с точностью ebs = 0.01 (ошибка обобщенная по всем образам). Только вот в чем проблема: при тестировании НС модели сеть выдает результат близкий к желаемому, например 0,96 вместо 0,92. Это распространяется по обратным связям и на следующем шаге сеть ошибается еще больше. Тем самым происходит накопление ошибки, что приводит к результатам совершенно далеким от желаемых.
Если кто сталкивался с такой проблемой, просьба посоветовать как это избежать, а то подобных случаев в литературе я чтот-то не встречал.
Заранее спасибо!!!
Комментарии
Войдите или зарегистрируйтесь для добавления комментариев.
Овчинников
22 декабря 2003 00:49 Ссылка
Обновлён
Насколько я понимаю, в сети Элмана каждый нейрон i+1-го слоя связан обратной связью с одним нейроном предыдущего, то есть i-го. При этом ошибка туда передается при обучении, а не при тестировании. При тестировании туда передается сам сигнал, то есть что-то в твоем случае вроде 0,96. Тогда вследствие того, что вес обратной связи, да помноженный на вес любой из прямых связей, дает малую коррекцию, все это должно сходиться. Ошибка не может накапливаться, если веса выстроились правильно.
Или я не понял проблемы, или сеть неправильно обучилась. Ну или ошибка в коде, что маловероятно.
А в чем у вас разница обучаемой и тестовой "выборки" (условий, систем, данных, ...) т.е. если тестирование проводится на том же на чем и обучалась НС, то ошибка скорее всего в реализации НС (в коде), кстати, это можно так и проверить. Но наверняка у вас есть часть на которой проводится обучение НС и другая часть на которой проводится тестирование НС. В этом случае эсли возникает такая ошибка, то скорее всего тестовый случай очень сильно отличается от обучаемого (другая система, переход в другое (не)устойчивое состояние, ...). Для избежания такого надо создать обучающий пример в котором система может научиться переходить в другое состояние (состояние тестового примера).
Оговорюсь - я вполне мог не очень понять вашу проблему, но всетаки.