Deductor 5.3 – что нового
С момента выхода версии 5.2 прошел немалый срок. За это время на базе Deductor было реализовано множество проектов, значительно расширился функционал платформы. Изменения коснулись практически всех модулей системы.
Веб-сервисы
Deductor 5.3 позволяет полноценно интегрироваться с веб-сервисами.
Платформа позволяет работать в режиме клиента для любого веб-сервиса, имеющего WSDL-описание. Обращения к внешнему сервису могут производиться на любом этапе обработки. Связывание и настройка XML-запросов производится без программирования, при помощи мастеров.
В состав Deductor включен новый серверный компонент – Deductor Integration Server, который является веб-сервисом. Таким образом, результат любой аналитической обработки становится доступным для всех продуктов, взаимодействующих при помощи обмена XML-запросами. WSDL-описание формируется автоматически, без программирования и использования дополнительных инструментов.
Масштабируемая архитектура
Использование Deductor Integration Server позволяет строить отказоустойчивые системы, поддерживающие автоматическую балансировку нагрузки, горячую замену аналитических серверов и повышение производительности обработки за счет включения в кластер дополнительных Deductor Analytic Server-ов.
Обработчики
Серьезно переработан блок очистки данных. Вместо одного обработчика "Парциальная обработка" появилось несколько модулей:
- Оценка качества данных
- Заполнение пропусков
- Редактирование выбросов
- Спектральная обработка
Обработчик "Оценка качества данных" предназначен для проведения профайлинга и аудита данных с целью определения степени их пригодности для решения задач анализа по объективным критериям. Выполнив единственную операцию, пользователь может сразу увидеть "масштаб бедствия" и наметить способы улучшения качества данных.
Добавлены новые обработчики:
- Сэмплинг. Построение репрезентативной выборки. Варианты сэмплинга: случайный, равномерный, стратифицированный, пользовательский, отбор со смещением.
- Разбиение данных на обучающее и тестовое множество. Обеспечивает возможность строить Data Mining модели на идентичных выборках.
- Конечные классы. Расчет оптимальных способов квантования, с удобной визуализацией, расчетом показателей качества разбиения, возможностью ручной правки конечных классов.
- Масштабируемые алгоритмы кластеризации: CLOPE, EM.
- Декомпозиция временных рядов. Выделение тренда, сезонной составляющей и остатка, с возможностью удобной ручной правки полученных коэффициентов.
- Нечеткая фильтрация данных и Изменение переменных
Доработаны и значительно улучшены имеющиеся обработчики:
- Факторный анализ: методы вращения варимакс и квартимакс;
- Логистическая регрессия: пошаговые методы отбора, внесение поправок на априорные вероятности, взвешенная регрессия, расчет баллов скоринговых карт, взаимодействия второго уровня на основе кросс-переменных.
- Линейная регрессия: пошаговые методы отбора переменных.
- Калькулятор: повторное использование полей, обращение по абсолютным адресам, новые функции.
- Групповая обработка: упрощение процесса построения сценариев
Визуализаторы
Многочисленные улучшения и новые возможности в диаграмме, OLAP-кубе и кросс-диаграмме.
Новые визуализаторы:
Существенная переработка визуализатора ROC-кривая, который переименован в Качество классификации с включением диаграмм Lift-кривых и расчетом индекса Gini.
Импорт и экспорт данных
Deductor Academic отныне, помимо csv-файлов и хранилища данных на базе Firebird, поддерживает быстрый "родной" формат Deductor Data File.
Добавлена поддержка импорта/экспорта данных из/в файлы MS Excel 2007, 2010.
Улучшена работа с платформой 1С: поддержка импорта 1С:Предприятия 8.2, а также построение запросов к 1С:Предприятие 8.0, 8.1, 8.2.
Добавлена возможность импорта данных из CRM-систем:
Переработан импорт и экспорт из XML-документов на основе хранилища XSD-схем.
Новый уровень аналитики
Deductor 5.3 поднимает возможности аналитической обработки на новый уровень.
Поддержка веб-сервисов и новых источников данных позволяет проще интегрировать систему в разнородное программное окружение. Теперь аналитика не ограничивается только внутрикорпоративными данными, любой внешний веб-сервис может быть встроен в конвейер принятия решений. Сам Deductor тоже может стать источником данных для других систем.
Новые обработчики и визуализаторы значительно упрощают процесс анализа: автоматический перебор вариантов обработки, выбор и предложение оптимальных способов очистки, удобная визуализация результатов анализа.
Включение многих новых обработчиков и изменение существующих, в значительной степени направлены на повышение уровня автоматизации работы аналитика. Они позволяют строить гибкие, универсальные, но при этом простые для понимания и поддержки сценарии обработки.
В новой версии значительное внимание уделено повышению скорости обработки больших объемов данных: добавлены новые масштабируемые Data Mining алгоритмы, оптимизирована работа существующих обработчиков. Применение Deductor Integration Server позволяет производить аналитические расчеты на кластере серверов, что значительно снижает время отклика и повышает отказоустойчивость комплекса.