Как известно, существует теорема Колмогорова об аппроксимации функций нейросетями.
Есть, например, статья:
Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения. - Нейрокомпьютер. № 1,2, - 1994. - С.51-55.
Меня интересует, функции с какого вида нелинейностями можно аппроксимировать, а с какими - нельзя? Спасибо.
Любые можно аппроксимировать. См.:
Kreinovich V.Y. Arbitrary nonlinearity is sufficient to represent all functions by neural networks: A theorem / Neural Networks, 1991, Vol.4, №3. - pp.381-383.
Pinkus A. Approximation theory of the MLP model in neural networks / Acta Numerica, 1999. - pp.143-195.