В середине 2025 года был опубликован
DX AI Measurement Framework для измерения влияния AI на инженерную работу. Разработанный совместно с ведущими компаниями, исследователями и вендорами AI решений, фреймворк организует метрики по трем измерениям и связывает их с эффективностью инженерных процессов и бизнес результатами. DX AI Measurement Framework включает метрики, позволяющие организациям отслеживать внедрение AI, измерять влияние и принимать инвестиционные решения, продолжая при этом внедрять AI инструменты и экспериментировать с ними высокими темпами.
Фреймворк организует AI метрики по трем измерениям: использование (Utilization), влияние (Impact) и стоимость (Cost). Эти измерения соответствуют естественному жизненному циклу внедрения AI: сначала команды отдают приоритет внедрению и использованию, затем переходят к измерению влияния, и в итоге сосредотачиваются на управлении, стандартизации и эффективности затрат.
Использование (Utilization). Насколько активно разработчики внедряют и используют AI инструменты? Метрики использования формируют основу. Без понимания того, насколько широко используется AI, данные о влиянии невозможно интерпретировать.
Ключевые метрики использования включают:
- Использование AI инструментов (AI tool usage (DAUs/WAUs));
- Процент PR, созданных с участием AI (Percentage of PRs that are AI-assisted);
- Процент закоммиченного кода, сгенерированного AI (Percentage of committed code that is AI-generated);
- Задачи, назначенные агентам (Tasks assigned to agents).
Влияние (Impact). Как AI влияет на продуктивность инженерных процессов? Измерение влияния является той областью, где большинство организаций недоинвестируют и где сосредоточены наиболее важные сигналы. Наиболее надежный подход заключается в сочетании прямых и косвенных метрик вместо использования только одного показателя.
Прямые метрики дают непосредственные сигналы для оценки эффективности конкретных инструментов:
- Экономия времени за счет AI (AI-driven time savings, часы разработчика в неделю);
- Удовлетворенность разработчиков (Developer satisfaction)
- Человеко-эквивалентные часы (Human-equivalent hours, HEH) работы, выполненной агентами.
Косвенные метрики, посредством регрессионного и лонгитюдного анализа показателей фреймворка DX Core 4, выявляют долгосрочные преимущества и скрытые риски:
- Пропускная способность PR (PR throughput);
- Субъективно воспринимаемая скорость поставки (Perceived rate of delivery);
- Индекс опыта разработчиков (Developer Experience Index, DXI);
- Поддерживаемость кода (Code maintainability);
- Уверенность в изменениях (Change confidence);
- Процент неуспешных изменений (Change fail percentage).
Стоимость (Cost). Оптимальны ли затраты на AI и ROI? После завершения этапов выбора инструментов и их внедрения отслеживание стоимости становится обязательным. Это необходимо не только для мониторинга использования, но и для выявления сценариев использования с высоким ROI, которые целесообразно масштабировать.
AI ROI calculator может помочь установить базовый уровень (Baseline) перед построением полноценной системы отслеживания затрат.
Ключевые метрики стоимости:
- Затраты на AI (AI spend, как общие, так и в расчете на одного разработчика);
- Чистый прирост времени на разработчика (Net time gain per developer, экономия времени за вычетом затрат на AI);
- Почасовая ставка агента (Agent hourly rate, человеко-эквивалентные часы/затраты на AI).
Существует три основных способа сбора этих метрик:
- Метрики из инструментов (Tool-based metrics). Большинство AI инструментов имеют API, позволяющие отслеживать данные о затратах и использование токенов. Системные метрики из платформ и инструментов разработки, таких как GitHub, JIRA, Linear, CI/CD инструментов и систем сборки, а также систем управления инцидентами, помогут увидеть другие сдвиги, возникающие в результате внедрения AI, такие как изменения в пропускной способности PRs или задержке ревью (Review latency);
- Периодические опросы (Periodic surveys). Периодические опросы, обычно проводимые ежеквартально, эффективны для фиксации долгосрочных трендов. Со временем опросы помогают отследить, улучшается или ухудшается опыт разработчиков по мере масштабирования использования AI. Опросы также очень полезны для измерения данных из нескольких систем, где метрики на основе инструментов могут быть громоздкими или непрактичными. Удовлетворенность разработчиков и другие субъективные показатели (такие как уверенность в изменениях или воспринимаемая поддерживаемость кода) невозможно получить из системных данных, поэтому опросы являются правильным выбором;
- Ситуативные опросы (Experience sampling). Ситуативные опросы предполагают задавание одного узконаправленного вопроса непосредственно в точке выполнения работы. Например, в процессе ревью можно задать вопрос: "Использовали ли вы AI для написания этого кода?" или "Стал ли этот код проще или сложнее для понимания из-за того, что он был сгенерирован AI?". Такие ответы дают детализированную обратную связь, полученную непосредственно в момент события, которую сложно получить только за счет периодических опросов или телеметрии.
Комбинируя эти три метода, а именно метрики на основе инструментов, периодические и ситуативные опросы, можно выстроить подход к измерению, который является одновременно комплексным и устойчивым. У каждого метода есть свои сильные стороны, и вместе они позволяют перекрестно проверять данные и сохранять опору на то, что реально происходит в организации. Эти данные помогают выстроить контур обратной связи (Feedback loop), который помогает принимать более обоснованные решения относительно AI стратегии по мере того, как AI становится все более глубокой частью процессов разработки.
DX AI Measurement Framework разработан для совместной работы с
фреймворком DX Core 4. DX Core 4 измеряет общую продуктивность инженерных процессов по четырем измерениям: скорость (Speed), эффективность (Effectiveness), качество (Quality) и влияние на бизнес (Business impact). Ранние данные компаний, использующих оба фреймворка, показывают, что AI способен обеспечивать прирост по всем четырем измерениям DX Core 4. Сочетая более широкие метрики продуктивности с целевыми метриками AI, организации получают возможность отслеживать прогресс и адаптировать свои стратегии по мере дальнейшего развития роли AI в разработке программного обеспечения. Эта интеграция имеет значение, поскольку наибольшие узкие места (Bottlenecks) многих организаций находятся полностью вне области AI. Они обнаруживаются во внешнем цикле (Outer loop) или в человеческих факторах, таких как совместная работа (Collaboration), согласованность (Alignment) и способность выполнять сфокусированную работу (Focus time).
Структура DX AI Measurement Framework представлена на схеме ниже: