Re(2): Недурно бы только прежде чем совершать "открытия" знать историю вопроса

Чернов17 апреля 2005Data Mining13 комментариев

Проблема в том, что очень многие специалисты (и руководители) даже не подозревают о возможности использования методов Data Mining для решения своих повседневных задач.
=============
Почитайте любую претендующую быть приличной книгу по каротажу (хотя бы и мою с Элланским) и там про использование регрессий и распознования написано вполне достаточно
А книга Губермана вообще только этим задачам посвещена.
Нейронные сети и все что принято называть DataMining в этом смысле ни по эффективности ни по идеологии ничего нового для этих задач не содержат
Просто в каротаже бум интереса к этому прошел в 60-70-е годы
Теперь это практическая реальность и эти методы имеют свои ниши которые никем не оспариваются
Проблема (как давно было понято) совсем не в этом, а в приемах формализации априорной информации и верной совместной калибровке измерений
А что касается невежд и пишуших для невежд, то и в приемах популяризации и рекламы есть свои правила игры и ограничения

>Просто в каротаже бум интереса к этому прошел в 60-70-е годы

Какой же Вы несете бред, однако. Как может пройти к этому интерес в 60-70 годы, когда большинство методов Data Mining появилось во второй половине 80-х и начале 90-х, а вычислительные мощности компьютеров позволили использовать их на "полную катушку" в течение последних 10 лет...

"Какой же Вы несете бред, однако. Как может пройти к этому интерес в 60-70 годы, когда большинство методов Data Mining появилось во второй половине 80-х и начале 90-х, а вычислительные мощности компьютеров позволили использовать их на "полную катушку" в течение последних 10 лет..."
=============
Я не комментирую уровень Вашей вежливости, а вот уровень компетенции итак был очевиден ;-(
Методы кластерного анализа были широко распространены еще в 70-е годы, как и методы регрессионного и дискриминантного.
Помимо книги Hartigana были написаны сотни работ (в том числе и работы Миркина, Мучника и многих других из ИПУ)
Почитайте Автоматику и Телемеханику за 70-е годы - много нового для себя найдете... ;-)
Тогда же были разработаны методы непараметрической регрессии (работы Мания, недорая, Епаненичкова из российских) и десятки методов распознования образов (они широко применялись в медицинской диагностике, оценках разнообразия и каротаже)
Кстати, первое издание книги Кохонена (даже в России) вышло в 70-х.
Кстати и Вапник и Губерман сейчас занимают вполне солидное место среди западных авторов и продолжают прежние работы.

Пардон.
Про Kohonen я перебрал - вышло оно на русском кажется в 1987 (считайте 18 лет назад), одновременно с докладом
{=========
The following two Turbo Pascal programs were written by Teuvo Kohonen
from Finland and were distributed at the First International Conference
on Neural Networks in San Diego, June 1987.
===========================================}
program ToPreM1 (output) ;
{ Demonstration program of Topology Preserving Mappings:
linear topology, input and weight vectors two-dimensional
Copyright (c) Teuvo Kohonen, June 1987 }
==========================
Но вместо оскорблений я предпочел бы выслушать более внятные объяснения... ;-))

Про Кохонена естественно, как и про многое другое, некорректно.Я могу ошибаться, но насколько мне известно ни кластерный анализ, ни параметрическая регрессия, ни дискриминантный анализ к технологиям Data Mining отношения не имеют. Только в 90-е годы появились методы обучения нечетких систем, нечеткие нейронные сети, улучшенные модификации алгоритма Кохонена, интеграция с генетическими алгоритмами. Поэтому, мне кажется, некорректно отсылать к работам 30-40-летней давности.

Конечно, это в сторону от темы (там речь шла о недоказанных преимуществах метода по сравнению с известными и сомнительной методологии постановки), но тема IMHO интересная
Вообще пресловутое "безотцовство" - российская болезнь
Как не уважают люди предшественников так не будут уважать и их, но в России это выражено ярче IMHO еще и потому, что многие выехали из страны.
Как по Вашему почему Марвин Минский в 1970 году критиковал перцептроны? Их также еще не было?
А когда по Вашему первая работа Лотфи Заде вышла на русском?
А уж то, что их стали активно применять и в том числе в геофизике - факт (могу и точную ссылку на работу Цимельзон привести)
И как насчет идеи локального оцениввания и связи между методами типа Фикса-Ходжеса, алгоритмами типа Кора, непараметрическими регрессиями, методом потенциальных функций и такими методами как RBF? Вы ее действительно в упор не видете?
Напомню, что методы кластерной регрессии появились у Quanta и в России в 70-х
Методы смеси распределений в 60-х, а теорему о сходимости Шлезингер доказал в 1968
Не стоит забывать и то, что Густаффсон-Кессель это лишь вариант алгоритма Беждека (опубликованного в 80-х)
Да и все эти игры со словами про адаптацию и GA ссылками на Goldberg вполне восходят к идеям Л.А.Расстригина 68-75 годов

Высадка американцев на Луну восходит к полету дьяка Крякутного.

Печально, когда такой поверхностный юмор сочетается с отсутствием знания фактов (как известно текст про Крякутного - подделка и это доказано). ;-)
Я уже не говорю о попытках прикрыть незнание предшественников столь примитивным трюком
А вот то, что полет на Луну тесно связан и с Ньютоном и с Мещерским и Годдартом и с Фау-2 отрицать будет только невежа... ;-)

Раз уж завели про Кохонена - уточняю (просто посмотрел книгу, а не по памяти)
Первое издание его книги в Spinger это 1978 год
Перевод на русский - 1980
В этой книге автор ссылается на всю классику от Hebba до Я.З.Цыпкина (по теории обучения)
И раз уж столько охов про особенности DataMining и недостатки кластерного подхода неплохо бы привести апологетам "особого пути" аккуратное определение этих особенностей и сравнение качества алгоритмов (например, на тех же ирисах Фишера).
По опубликованным на сайте материалам такие преимущества просто отсутствуют... ;-)

>Методы кластерного анализа были широко распространены еще в 70-е годы, как и методы регрессионного и дискриминантного.

О, да! Я всегда привожу результаты, полученные этими методами, для сравнения в качестве отрицательного примера.

Результат по методу часто зависит от того кто его применяет. ;-)
Честная игра - моделируемая Monte-Carlo выборка (переменной длины) с серией задач и работа на ней нескольких профи (каждый со своим методом)
Дополненный историческими полигонами (типа тех же Iris, Wine, Ionosphera) без интерактивного подвинчивания параметров
Думаю, что легко обеспечить плохой результат и по анонсированному тут продукту или его клонам если его неадекватно применять. ;-)
Кроме того и классический регрессионный анализ и особенно кластерный имеют столько разновидностей, включая и версии традиционно включаемые в Data Mining
А основные проблемы в сложных задачах кроются именно в априорной информации или (как модно нынче говорить) в онтологиях и способах их введения.
И это объективно самое непростое, поскольку универсальных решений нет и быть не может

>Нейронные сети и все что принято называть DataMining в этом смысле ни по эффективности ни по идеологии ничего нового для этих задач не содержат

У меня нет слов, Вы как во сне, ей-богу... :)

>Просто в каротаже бум интереса к этому прошел в 60-70-е годы

И не только в каротаже. Потому, что была сделана "попытка с негодными средствами".

>А что касается невежд и пишуших для невежд, то и в приемах популяризации и рекламы есть свои правила игры и ограничения

Я не хочу знать, в какую игру и по каким правилам Вы здесь играете. Уровень компетентности Н.Б. Паклина уже оценил ученый совет, поэтому, называя оппонента невеждой, Вы попросту лжете.

>Просто в каротаже бум интереса к этому прошел в 60-70-е годы

И не только в каротаже. Потому, что была сделана "попытка с негодными средствами".
==========
>
Это надо доказывать на конкретных примерах
Просто большинство адекватных алгоритмов вошло в софт и потому воспринимается вполне буднично... ;-)
Приведенный же в обсуждаемой статье пример работы алгоритма такого доказательства IMHO не содержит (скорее обратное)
Потому Вашу гипотезу я могу назвать всего лишь оценочным суждением основанным на личном ограниченном и плачевном опыте (пока Вы ее не доказательно не проиллюстрируете).

==============
Только не надо передергивать
Проблемы Паклина это проблемы Паклина, как и проблемы ВАК ;-)
Нигде я не написал, что Паклин - невежда, а если Вы сделали такой вывод - это Ваши трудности или комплексы
Что нужно писать для невежд и можно там передергивать (по сути тезис: ЦЕЛЬ ОПРАВДЫВАЕТ СРЕДСТВА) поместили выше Вы, а не я. ;-)
Кстати, я так понимаю, что г-н Паклин половозрелый мужчина и в адвокатах не нуждается...