В феврале 2026 года был опубликован отчет
State of Data Engineering 2026 от сообщества
Practical Data Community. Опрос проводился в конце 2025 года через два основных канала: сообщество Practical Data Community (подписчики на Substack и читатели рассылки) и LinkedIn. Опрос включал 17 вопросов о технологическом стеке, внедрении AI, организационных сложностях и ожиданиях на будущее. За две недели автор Joe Reis собрал 1101 ответ от практиков, менеджеров и архитекторов из разных отраслей. География ответов сосредоточена в Северной Америке (40%) и Европе (39%), на другие регионы приходится 21%.
Отчет опубликован в виде интерактивного инструмента для исследования данных. Он включает графики с фильтрацией по роли, региону, размеру организации и другим параметрам (Charts), кросс-таблицы для любых двух измерений (Crosstab), просмотр отдельных ответов с открытыми комментариями (Responses) и выполнение собственных SQL-запросов к набору данных на базе DuckDB (SQL Query). Результаты опроса также доступны для скачивания в формате CSV.
Автор отмечает, что результаты отражают срез вовлеченной части сообщества дата-инженеров со смещением в сторону более опытных специалистов. Общие тренды (широкое распространение AI, моделирование данных как болевая точка, сопоставимость организационных и технических проблем) хорошо подтверждаются данными. Точные значения в процентах стоит рассматривать как ориентировочные. Для отраслевого бенчмаркинга автор рекомендует дополнять результаты данными из других источников с иными выборками.
Что интересного отметили в отчете:
- Основная среда хранения и обработки данных. Облачные хранилища данных (Cloud Data Warehouse), такие как Snowflake, BigQuery и Redshift, используют как основную среду 44% респондентов. Lakehouse (Databricks, Iceberg, Hudi, Delta) выбирают 27%, смешанную или гибридную среду 12%, локальное хранилище данных (On-premises Data Warehouse) 9%, облачные PostgreSQL или MySQL 4%, другие варианты 4%;
- Подходы к оркестрации. Облачные сервисы оркестрации (Composer, MWAA и другие) используют 24%, самостоятельно управляемый Airflow 23%. 21% работают без оркестрации или запускают задачи в режиме Ad hoc. Dagster используют 6%, Prefect 1%, другие инструменты (Databricks Jobs, dbt, SSIS и другие) 25%;
- Архитектурные тренды. Централизованное хранилище данных выбирают 40% (43% в компаниях до 50 сотрудников и 29% в компаниях от 10 000 сотрудников), Lakehouse 35% (29% и 38% соответственно), Data Mesh или федеративную архитектуру 16%, событийно-ориентированную архитектуру (Event-driven Architecture) 7%;
- В чем AI помогает больше всего. Около 82% используют AI для написания кода (SQL, Python и других языков), около 56% для документации и поиска данных (Data Discovery), около 29% для отладки пайплайнов, около 21% для проектирования архитектуры, около 13% для моделирования данных, около 11% для Governance и проверок качества данных;
- Внедрение AI в организациях. 34% организаций используют AI для тактических задач, 31% находятся на этапе экспериментов, 14% создают внутренние AI платформы. Значимое внедрение AI пока отсутствует в 12% организаций, в 10% AI встроен в большинство рабочих процессов;
- Текущие подходы к моделированию данных. Смешанный подход в зависимости от сценария применяют 37%, размерное моделирование по Kimball (Kimball-style dimensional modeling) 28%. 17% моделируют в режиме Ad hoc и добавляют таблицы по мере необходимости. Канонические или семантические модели используют 5%, One Big Table 4%, событийно-ориентированное моделирование (Event-driven modeling) и Data Vault по 3%;
- Болевые точки моделирования данных. Необходимость работать в высоком темпе отмечают 59%, отсутствие четкого владения 51%, сложность поддержки моделей с течением времени 39%. 19% указывают, что инструменты не поддерживают качественное моделирование, 4% сталкиваются с несогласованными схемами, которые генерируют AI инструменты. 11% отмечают, что моделирование данных выстроено успешно;
- Главные узкие места. Легаси системы и технический долг называют главным узким местом 25%, отсутствие направления со стороны руководства 21%, плохие требования и проблемы на стороне источников данных (Upstream) 19%. Далее следуют сложности с наймом и поиском специалистов (11%), проблемы качества данных (10%), стоимость вычислений (5%) и сложность инструментов (3%);
- На что команды Data Engineering тратят время. 55% команд тратят время на моделирование и трансформацию данных, 48% на загрузку данных и пайплайны, 34% на аналитику и BI, 34% на качество и надежность данных. 26% заняты устранением срочных проблем (Fighting fires), 25% работой с инфраструктурой и платформой, 11% задачами ML и AI;
- Ожидания по росту Data Engineering команд в 2026 году. 44% респондентов ожидают, что размер их Data Engineering команд останется прежним, 42% рассчитывают на рост Data Engineering команд, 7% ожидают сокращения, 7% затруднились с ответом;
- Приоритеты в обучении и развитии Data Engineering команд. Самой востребованной темой для обучения Data Engineering команд стала интеграция AI и LLM (235 ответов), далее следуют моделирование данных (211), семантика, онтологии и графы знаний (209), архитектурные паттерны (180), потоковые и событийно-ориентированные системы (94), карьерный рост и лидерство (80), инженерия надежности (66).
Основные инсайты из отчета State of Data Engineering 2026 приведены ниже: