К вопросу об универсальных аппроксимирующих способностях ИНС

Борис Ноткин22 июля 2009Data Mining3 комментария

Коллеги, по "долгу службы" мне приходится применять нейросетевой аппарат в различных областях - от механики до оптики. Периодически сталкиваюсь с ситуациями, когда задача нейросетевой аппроксимации той или иной функции у_п_о_р_н_о (Анти-спам модуль..;)) не решается, причем даже в тех случаях, когда теоретически такая функция существует. Обобщая опыт предыдущих неудач, я пришел к выводу, что большинство таких "непосильных" для ИНС задач (в моем случае) в том или ином виде сводится к решению систем алгебраических уравнений (точнее тот случай, когда переменными является как правые, так и левые части уравнений). Решил проверить. Взял простейшую задачу из этого класса: систему из двух линейных алгебраических уравнений. Эксперимент, проведенный уже на примере этой, в целом тривиальной задачи, подтвердил худшие опасения. Вот несколько упрощенный пример этой задачи.

Выполнить нейросетевую аппроксимацию функции четырех переменных:

f(y1, y2, y3, y4)=(y1*y2-y3*y4)/(y1*y4-y2*y3),

где значения элементов y1, ..., y4 лежат в диапазоне от 0 до 1, а множество их допустимых комбинаций таково, что значения f() также лежат в диапазоне от 0 до 1. Допустимая погрешность аппроксимации:

| f(y1, y2, y3, y4) - ИНС(y1, y2, y3, y4) | < 0.05.

Сразу отмечу, что в такой постановке эта задача в целом решаемая. В своих экспериментах я достаточно близко подошел к требуемой точности аппроксимации. Настораживают затраченные при этом усилия и "мощности" используемых нейросетей, которые не сопоставимы с традиционным пониманием сложности исходной функции. А это ведь простейший случай! Уже при переходе к системам из трех линейных уравнений получить хоть сколько ни будь приемлемого качества нейросетевой аппроксимации их решения мне не удалось. И ладно бы, если речь шла о каких-то экзотических функциях, рассмотрение которых имеет исключительно теоретический интерес. Системы же алгебраических уравнений широко представлены в практических приложениях, собственно, как и те аналитические преобразования, которые требуются для их решения.

Специально хочу отметить, что этим постом я ни в коем случае не пытаюсь оспорить истинность теоремы об универсальных аппроксимирующих способностях ИНС. Более того, в подтверждение этой теоремы могу представить решение систем линейных алгебраических уравнений любого порядка как суперпозицию функций одной переменной. Этим постом я поднимаю исключительно практический аспект этой теоремы.