Классификация текстовых документов

Катя Левина19 апреля 2005Нечеткая логика5 комментариев

На чем основан ваш выбор на нечеткой логике? Почему бы не применить для этой цели нейронные сети.

Если построить иерархический классификатор, основываясь на нейросетях, то у него будет очень жесткая структура. А перестройка займет очень много времени (при появлении совершенно новых документов, на которых сеть не была обучена (может конечно с ними можно еще как-то бороться?)). И адаптация будет стремиться к 0. Или я ошибаюсь?

Так и для фаззи тоже будет та же самая жесткая структура (???).
Как я понимаю, нужна именно классификация с учителем, т.е. никакой автоматической кластеризации не будет, число классов и разбиение текстов по классам будет известным. Тогда с нейросетками будет проще выполнить задачу сокращения размерности данных (если тексты описываются очень большим числом переменных, например, тысячами переменных при использовании частотных словарей) - для сеток есть много вариантов редукции неинформативных признаков.
По обобщению на новые документы. Суперэкстраполяции никакой метод не даст, для интерполяции (т.е. при выполнении гипотезы компактности, в соответствии с которой документы на близкие темы отображаются в близкие в пространстве признаков точки) условия, при которых для нейросеток хорошее обобщение достигается, известны уже 10 лет (это всякие разные learning curves, меряющие как достаточность обучающей выборки, так и внутренние свойства сети). Для фаззи я, честно говоря, таких теоретических результатов не знаю, но я в области фаззи и не сильно копенгаген.
Т.е. пока Ваш выбор именно фаззи достаточно спорен, на взгляд не знакомых детально с Вашей задачей людей. Опишите задачу поподробнее - может быть, нам станет яснее.

Методы:
1. support vector machines (SVM)
2. k-nearest neighbor classification (KNN)
3. Naive Bayes (NB) вероятностный классификатор
4. нейросети

при желании список можно продолжить.

Здравствуйте, Катя!
Когда я свою книжку писал, то мне статья такая попадалась, точно помню, и, по-моему, в обзоре приложений я на нее ссылку давал... Посмотрите, книга "Нечеткие методы автоматической классификации", либо я Вам посмотрю дома, и найду эту статью... Сейчас у меня ни книжки, ни статей под рукой нет, я случайно Ваш вопрос увидел. Только свой e-mail сообщите.
С уважением,
Вятченин Д.А.