Выставка - SmartData 2024

Стриминг

• Flink;
• Spark;
• Kafka.

СУБД и хранилища для больших данных

Использование классических реляционных, колоночных, NoSQL, SMP/MPP хранилищ для построения DWH:

• Hive, Impala, Presto, Vertica, ClickHouse, Cassandra;
• Teradata, Redshift, GreenPlum, Exadata;
• MSSQL, PostgreSQL;
• MongoDB, DynamoDB;
• S3, ADLS, GCS, HDFS.

Архитектура DWH

• Моделирование данных;
• Примеры построения корпоративных хранилищ данных;
• Оперативная аналитика;
• Ad-hoc reporting;
• Hadoop.

Data governance

• Безопасность данных;
• Качество данных;
• Метаданные и управление каталогом;
• Управление основными данными;
• Миграция данных.

Технологии построения ETL

• Spark;
• Hadoop MapReduce;
• Sqoop;
• Анализ производительности и оптимизация.

Оркестрация и MLOps

• Airflow, NiFi, Luigi, Azkaban, Oozie;
• MLflow.

Другое

• Box Cloud solutions;
• Дата инженерия не для дата инженеров;
• CI/CD для пайплайнов данных;
• Тестирование.