Наш эксперт,
Игорь Курочкин, принял участие в обсуждении методологии и модели исследования DORA в подкасте
Research Insights Made Simple и поделился своим опытом проведения исследований инженерной культуры и практик.
Методология и модель исследования DORA Core используется в ежегодных исследованиях Accelerate State of DevOps, за 10 лет в исследованиях приняли участие свыше 39 тысяч профессионалов по всему миру,
краткий обзор отчета за 2024 мы публиковали ранее.
Авторами исходной методологии являются известные эксперты —
Gene Kim,
Jez Humble и
Nicole Forsgren. Методология и модель исследования были представлены в
книге Accelerate и сегодня развиваются командой DORA внутри Google Cloud. В команду входят исследователи, архитекторы, консультанты, технические писатели и эксперты по Developer Experience. Актуальная версия модели —
2.0. Наш эксперт,
Игорь Курочкин, принимал активное участие в
разработке и обсуждении новой модели.
Темы, затронутые в обсуждении методологии и модели:
- История исследований State of DevOps, опыт авторов книги Accelerate и команды DORA;
- Модель исследования DORA Core, которая связывает инженерные практики (Technical Capabilities), ключевые метрики (Software Delivery Performance) и созданную ценность (Outcomes);
- Методология и процесс проведения исследований State of DevOps, выбор направлений и формирование гипотез, обновление модели, формулирование конструктов и вопросов;
- Фокус на опыте прохождения опроса (Survey experience): когнитивные интервью, тесты на удобство, критерии — среднее время прохождения, понимание вопросов, минимизация усилий;
- Создание и использование неявных конструктов (Latent Constructs) для измерения факторов, которые нельзя оценить напрямую, например инженерной культуры (обмен информацией, сотрудничество, ответственность, отношение к ошибкам, анализ причин, работа с улучшениями);
- Формулирование вопросов и ответов: терминология, пояснения, использование шкалы Ликерта (Likert scale), проблемы — избегание крайних/средних ответов, согласие с утверждениями, неискренность ответов;
- Проблематика длительности заполнения опроса и количества вопросов, распределение участников случайным образом по разным темам: искусственный интеллект (AI), рабочая среда (Workplace), платформенная инженерия (Platform Engineering);
- Валидация измерений: внутренняя и внешняя, подтверждающий факторный анализ (Confirmatory Factor Analysis) с использованием пакета Lavaan на языке R;
- Оценка моделей: рекомендации из книг Regression and Other Stories и Statistical Rethinking, использование LOOCV и WAIC для оценки необходимости усложнения моделей.
- Анализ причинно-следственных связей: байесовская статистика, симуляции, корреляционный и регрессионный анализ, использование инструмента DAGitty для построения моделей;
- Переход от одной большой модели исследования к нескольким специализированным. В 2024 году использовались модели для исследования следующих направлений: внедрение ИИ (AI adoption), использование платформ (Platform use), возраст и зрелость платформ (Platform age), трансформационное лидерство (Transformational leadership), стабильность приоритетов (Priority stability), ориентированность на пользователя (User centricity);
- Привлечение участников с помощью подхода Snowball sampling, распространение опроса через экспертов, публикации в блогах и в соцсетях, проведение email рассылок, перевод опроса на несколько языков для большего охвата;
- Проведение глубинных интервью с представителями индустрии с целью получения дополнительного контекста и уточнения количественных результатов.
Подробнее в записи подкаста
Research Insights Made Simple #13: