про активационную функцию

Гар13 июля 2009Data Mining13 комментариев

Добрый день!
Пытаюсь разобраться в модели многослойного перцептрона.
Прочитал несколько статей и книгу Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика.
Понимаю, вопросы наверное глупые, но буду очень благодарен за ответы.

1. Правильно ли я понимаю, что если активационная функция - пороговая,
то только в этом случае мы имеем на выходе нейрона 0 либо 1?

2. Если активационная функция -- дифференцируемая везде сигмоида, то мы НЕ МОЖЕМ иметь дискретный выход нейрона, верно?
Вообще, область значений активационной функции = это и есть область значений выхода нейрона?
Или выход активационной функции подвергается еще какому-то преобразованию, чтобы стать выходом нейрона?

3. выход нейрона всегда нормирован в промежутке от [0 ... 1] ?

4. Правда ли то, что _МНОГОСЛОЙНАЯ_ сеть состоящая из нейронов с активационной
функцией в виде порога, либо линейной, - не имеет смысла, так как она без потерь представима в виде _Однослойной_ сети?
Верно ли это утверждение в общем случае,
или только когда количество нейронов в слоях одинаковое?

5. Правда ли то, что любая сеть, состоящая из нейронов с пороговой или линейной активационной функцией - не может представить ИСКЛЮЧАЮЩЕЕ ИЛИ ?
Вообще подобные сети имеют сильно ограниченное пространство представлений по сравнению с сетями с непрерывно дифференцируемой активационной функцией?

6. Я прочитал, что смещение сигмоиды по вертикали можно реализовать с помощью дополнительного синапса всегда включенного.
А что про смещение по гороизонтали?
Нужно ли вводить смещение сигмоиды по горизонтали как внутреннюю характеристику нейрона?

7. Если не вводить параметр сжатия сигмоиды (то есть форма сигмоиды у всех нейронов будет одинаковая), сильно ли это ограничит возможности сети?

8. Верно ли что Входы и Выходы нейронов нужно всегда нормировать в промежутке от [0...1]

9. Верно ли что синапсические веса могут принимать значение от -бесконечности до +беспонечности?

Заранее спасибо за ответы!