Вопросы: Обучение алгоритмом BackPropagation

Андрей4 мая 2006Data Mining1 комментарий

1. Обязательно ли сеть будет правильно классифицировать поданный на её вход пример после цикла обучения по одному (этому же) примеру?
2. Может ли быть такое (например я это наблюдаю в своей программе: НС - 2 скрытых слоя и 1 выходной), что сеть не может обучиться на одном примере (т.е. ошибка не уменьшается, хоть сколько раз подавай его на вход сети)? Почему такое может быть?
3. Какие критерии останова для алгоритма BackProp в основном используются при распозновании графических образов?
Слышал про обоснование сходимости этого алгоритма в случае достижения Евклидовой нормы вектора градиента достаточно малых значений.
Вопрос: под вектором градиента имеется ввиду вектор градиентов всех нейронов сети?
4. Моя сеть на выходе одного нейрона (выходном) выдаёт (при обучении к примеру по одному примеру) значение близкое (даже очень близкое) к 1.0, а на всех других значение близкое к 0 (например: 0.0014985). Это означает, что сеть сильно запоминает одни обучаемые примеры, а потом их забывает при обучении на других?