Функция активации, количество нейронов в скрытом слое и обучающая выборка

Дмитрий8 сентября 2008Data Mining3 комментария

Доброго времени суток!

Для реализации задачи прогнозирования изучил множество различных материалов по нейрокомпьютингу. Но на некоторые вопросы прямых ответов так и не нашел. Так или иначе мне хотелось бы прояснить некоторые моменты.

1. Функция активации. На что влияет крутизна перегиба при решении различных задач? Насколько я понимаю, в задаче классификации, чем круче - тем лучше, т.е. мы более однозначно разделяем две группы. А если мы имеем дело не с бинарной классификацией, а с задачей прогноза? На интуитивном уровне более-менее понятно. Но хотелось бы услышать более конкретное объяснение.

2. Количество нейронов в скрытом слое. Вроде бы доказано, что одного скрытого слоя с определенным количеством нейронов достаточно, чтобы с заданной наперед точностью решить любую задачу. В общих чертах утверждение звучит так. В связи с этим хочется понять, как правильно оценивать нужное количество нейронов в слое исходя из количества входов сети и числа обучающих примеров, при этом, разумеется, необходимо избежать переобучения. Исходя из различных способов оценки приходилось пробовать различные варианты, и не всегда понятно - что, собственно, правильнее.

Буду очень признателен всем откликнувшимся.