А вот такой вопрос.

Vovanchik1 сентября 2001Data Mining1 комментарий

В методе градиентного спуска, как известно, подстройка весов производится в направлении, обратном градиенту.
Таким образом, насколько я понимаю, при подстройке весов указанным выше способом, мы отклоняемся от этого направления.
То есть при подстройке, чтобы сохранить нужное направление, нужно иметь "одну"(!) скорость на каждый слой и подстраивать веса в соответствии с компонентами нормированного градиента.
Вот тут я заблудился. Разъясните, если нетрудно.