Быстродействие Deductor: файлы данных (часть 2 )

13 апреля 2017

Начало материала -> часть 1.

Результаты тестирования

• файлы данных - до 100 тыс. строк
• файлы данных - до 1 млн. строк
• файлы данных - до 10 млн. строк

Итоги и Выводы

Не хочется никого расстраивать, но, подводя итоги тестирования, можно сказать, что однозначного вывода сделать нельзя, и абсолютного победитетеля нет.

Каждый из рассмотренных форматов файлов данных имеет свои преимущества и свойственные им недостатки, и предпочтение в выборе формата стоит основывать на параметрах конкретного вариата применения и использования.

Попробуем кратко остановиться на основных достоинствах  и недостатках каждого из вариантов:

DDF-файлы:

• + самый быстрый формат;
• + изначально определены типы, имена и метки столбцов данных;
• - можно использовать только в рамках платформы Deductor.

XLS-файлы:

• + можно использовать без установки дополнительных компонентов и ПО;
• - ограничение на максимальное количество записей ( не более 65 тысяч );
• - нет определения типов столбцов данных: типы столбцов определяет сам драйвер и нет возможности управлять этим.

XLSX-файлы:

• + самый компактный размер для хранения данных;
• - для использование необходима установка ПO (MS Office 2007 x86 или Microsoft Access Database Engine 2010);
• - ограничение на максимальное количество записей ( не более 1.2 миллионов ); 
• - нет определения типов столбцов данных: типы столбцов определяет сам драйвер и нет возможности управлять этим.

DBF-файлы:

• + изначально определены типы и имена столбцов данных;
• - ограничение на размер данных ( не более  2 Гб ).

CSV-файлы:

• + нет явного ограничения на объем данных;
• - нет определения типов столбцов данных;
• - формат преставления и возможности загрузки данных зависит от настроек системы (формат даты, разделители дробной части);
• - нет возможности использовать многострочный текст;
• - возможны проблемы при появлении в строковых данных символов разделителей или ограничителей строк.

TXT-файлы:

• + нет явного ограничения на объем данных;
• - нет определения типов столбцов данных;
• - формат преставления и возможности загрузки данных зависит от настроек системы (формат даты, разделители дробной части);
• - при наличии нескольких длинных строк неэффективно используется место;
• - нет возможности использовать многострочный текст.

Мы очень надеемся, что представленная в этих материалах информация позволит вам найти и использовать наиболее правильный и эффективный вариант решения ваших задач.