Скачать презентацию в формате PDF (992 KB)
Одной из главных задач при создании новой версии аналитической платформы было достижение высокой производительности.
Быстрый доступ к данным, эффективная утилизация "железа", быстрые алгоритмы обеспечивают высокую скорость работы с большими объемами данных.
Используется совершенно новый внутренний формат файлов LDF:
- Быстрое чтение;
- Быстрая запись;
- Экономия места на диске;
- Хранение метаданных.
Эффективно утилизируются ресурсы:
- Автоматическое распараллеливание выполнения сценария;
- Линейно растет скорость при увеличении числа ядер;
- Возможность ручного управления порядком выполнения;
- Цикл с переобучением моделей для каждой группы объектов;
- Активно используется оперативная память.
Оптимизация алгоритмов:
- Применение самых быстрых библиотек;
- Хранение данных в специальных структурах с учетом особенностей каждого алгоритма;
- Обработка данных окнами;
- Реализация алгоритмов для оптимальной работы в многоядерных системах.
Работа в Loginom комфортна даже при выполнении долгих операций с сервером, интерфейс не блокируется.
Субботин Алексей
ведущий разработчик Loginom
Место выступления:
Москва
Длительность:
41 минута
Дата выступления:
2 ноября 2017