LeNet-5 Выходной Softmax слой для распознавания цифр (0-9) из БД MNIST
Здравствуйте!
Можно спросить несколько вопросов по выходным слоям классической сети LeNet-5. Пытаюсь реализовать классическую сеть LeNet-5 c сохранением всех слоев, матрицы смежности соединение между слоями S2-C3, но на выходе я не использую RBF слой с идеальными образами, а хочу поставить обычный MLP с активационной функции Tanh. То есть после слоя C5 со 120 картами признаками я созраняюю Многослойный перцептрон с 84 нейронами. Далее идет следующий Многослойный перцептрон с 10 нейронами, но в этом случае выходы всех 10 нейронов при Forward Propagation не будут являться вероятностями, то есть сумма выходного вектора не будет давать единицу. Если использовать вместо выходного слоя с 10 нейронами Softmax слой, то его формула будет вычисляться следующим образом:
yj=exp(vj)/EiN exp(vi)=p(Cj|x)
Пусть yj это выходы финального слоя от 1 до 10, EiN exp(vi) сумма нейронов выходного слоя, vj выход j-го нейрона, p(Cj|x) вероятность принадлежности к калсу Cj.
И для подсчета ошибки уже нельзя будет пользоваться функцией MSE (Mean Squared Error)?
Не могли бы Вы сказать, дает ли какое нибудь преимущество Softmax Слой вместо обычного Многослойного перцептрона? Можно ли использовать одинаковую функцию активации Tanh во всех слоях LeNet-5 (C1-S2-C3-S4-C5,F6(Многослойный перцептрон), Output(Многослойный перцептрон)), или для большей точности в процессе обучеия в слое F6, Output реколммендовано использовать другую функцию активации, отличную от предыдущих слоев. Заранее Вам спасибо!