Обсуждение отчета Impact of Generative AI in Software Development

Наш эксперт, Игорь Курочкин, принял участие в обсуждении отчета от DORA про влияние Generative AI на Software Development в подкасте Research Insights Made Simple. Отчет про влияние Generative AI вышел в середине 2025 года и основан на методологии и исследовании Accelerate State of DevOps 2024, которые были дополнены серией интервью с разработчиками и исследованиями команды Engineering Productivity Research в Google. В отчете представлено текущее состояние внедрения Generative AI, анализируется влияние на разработчиков, команды и организации, предлагается фреймворк, метрики и практические рекомендации для успешной интеграции, оценки и непрерывного улучшения.

Темы, затронутые в обсуждении отчета:
  1. Влияние Generative AI на повседневную работу. Как рост внедрения Generative AI на 25% скажется на удовлетворенности от работы (Job Satisfaction), выгорании (Burnout), состоянии потока (Flow), продуктивности (Productivity), рутинной работе (Toilsome Work) и ценной работе (Valuable Work);
  2. Влияние Generative AI на командную работу и организацию. Как рост внедрения Generative AI на 25% скажется на качестве документации, качестве и сложности кода, техническом долге и координации команд;
  3. Влияние Generative AI на удовлетворенность от разработки. Фреймворк влияния Generative AI с разделением ценностей на утилитарную, репутационную, экономическую, внутреннюю и гедонистическую. Пять стратегий, обеспечивающих рост ценности разработчиков при использовании Generative AI;
  4. Формирование доверия разработчиков к Generative AI. Пять стратегий формирования доверия разработчиков к Generative AI. Практические стратегии для помощи разработчикам в освоении Generative AI и создания удобной среды для разработчиков;
  5. Обновленная модель исследования DORA и ключевые метрики. Структурирование модели на слои: Capabilities, Conditions, Performance и Outcomes. Разделение метрик на уровни: Individual, Team, Service, Organization;
  6. Практики обратной связи на индивидуальном и командном уровне: автоматизированные тесты (Automated Tests), непрерывная интеграция (Continuous Integration), регулярные опросы (Developer Surveys), ретроспективы (Retrospectives), сообщества практик (Communities of Practice), инженерная аналитика;
  7. Фреймворк внедрения Generative AI, который разделен на руководящие принципы (Guiding principles) и пошаговые действия для лидеров и для практиков;
  8. Метрики для оценки внедрения Generative AI: метрики ассистентов кода (Code assistant metrics). метрики качества обратной связи (Fast-feedback metrics), метрики командного уровня (Team-level metrics), метрики сервисного уровня (Service-level metrics), метрики организационного уровня (Organizational metrics).

Метрики ассистентов кода (Code assistant metrics):
  • Распределенные лицензии (Licenses allocated): какой % купленных лицензий распределен между сотрудниками?
  • Ежедневные активные пользователи (Daily active users): сколько пользователей ежедневно используют инструменты Generative AI?
  • Подсказки кода (Code suggestions): сколько подсказок кода генерируется?
  • Обращения к чату (Chat exposures): сколько взаимодействий с AI чатом совершают сотрудники?
  • Принятые подсказки кода (Code suggestions accepted): сколько подсказок кода принимается?
  • Принятые строки кода (Lines of code accepted): сколько строк кода принимается?

Метрики качества обратной связи (Fast-feedback metrics):
  • Тесты при коммите (Tests on commit): запускает ли коммит кода серию автоматизированных тестов?
  • Ежедневные тесты (Daily tests): выполняются ли автоматизированные тесты как минимум ежедневно?
  • Ежедневные сборки (Daily builds): собирается ли приложение автоматически как минимум ежедневно?
  • Уверенность в тестах (Test confidence): насколько команда уверена в готовности ПО к релизу, когда автоматизированные тесты проходят успешно?
  • Блокировка при сбоях (Failures prevent progress): блокируют ли сбои автоматизированных тестов продвижение коммита по пайплайну?
  • Приоритет успешных сборок (Prioritize successful builds): сколько времени проходит между поломкой сборки и ее исправлением коммитом, устраняющим проблему, или откатом изменения, вызвавшего поломку?

Метрики командного уровня (Team-level metrics):
  • Зависимость от AI в задачах (AI task reliance): насколько вы полагались на AI в различных задачах?
  • Взаимодействие с AI (AI interactions): как часто вы взаимодействовали с AI?
  • Продуктивность с AI (AI productivity): как AI повлиял на вашу продуктивность на работе?
  • Способность писать код с AI (AI ability to write code): как AI повлиял на вашу способность писать код?
  • Доверие к AI (AI trust): насколько вы доверяли качеству кода, сгенерированного AI, в рамках вашей работы по разработке?
  • Доверие к организации (Organizational trust): насколько вы доверяете своей организации в вопросе прозрачности планов по использованию AI?
  • Состояние потока (Flow): как часто вам удавалось достичь высокого уровня концентрации или состояния потока во время задач разработки?
  • Удовлетворенность от работы (Job satisfaction): как вы относитесь к своей работе в целом?
  • Продуктивность (Productivity): насколько продуктивным вы себя ощущаете на работе?
  • Ценная работа (Valuable work): какую часть рабочего времени вы тратили на работу, которую считаете ценной?
  • Выгорание (Burnout): каково ваше благополучие на работе?
  • Культура (Culture): какая культура в вашей организации?

Метрики сервисного уровня (Service-level metrics):
  • Сложность кода (Code complexity): насколько сложность кода мешала вашей команде, если вообще мешала?
  • Качество кода (Code quality): насколько команда удовлетворена качеством кода?
  • Время ревью кода (Code review time): сколько времени занимает процесс ревью кода?
  • Качество документации (Documentation quality): каково качество документации сервиса?
  • Технический долг (Technical debt): насколько технический долг мешает продуктивности?
  • Ориентация на пользователя (User centricity): насколько команда сфокусирована на потребностях пользователей?
  • Показатели продукта (Product performance): каковы показатели продукта?
  • Эффективность поставки ПО (Software delivery performance): каковы пропускная способность и стабильность изменений ПО?

Метрики организационного уровня (Organizational metrics):
  • Количество клиентов (Number of customers): сколько клиентов обслуживает организация?
  • Доля рынка (Market share): какова доля рынка основных продуктов организации?
  • Показатели организации (Performance): каковы общие показатели организации?
  • Прибыльность (Profitability): какова общая прибыльность организации?
  • Миссия (Mission): насколько хорошо организация достигает своих целей?
  • Удовлетворенность клиентов (Customer satisfaction): насколько клиенты удовлетворены продуктами и услугами вашей организации?
  • Операционная эффективность (Operating efficiency): насколько эффективно работает организация?
  • Качество (Quality): каково качество продуктов или услуг организации?

Руководящие принципы (Guiding principles). Успешное внедрение AI требует общего понимания ключевых принципов:
  • Ориентация на пользователя (User-centeredness): AI должен служить потребностям пользователя. Для разработчиков это означает использование AI в инструментах, которые улучшают их рабочий процесс и сокращают рутинную работу (Toil). Для конечных пользователей это означает функции на базе AI, которые улучшают опыт работы с продуктом;
  • Непрерывное улучшение (Continuous improvement): внедрение AI нельзя считать разовым событием. Это непрерывный процесс экспериментов, обучения и доработки. Используйте циклы обратной связи и вносите изменения итеративно на основе данных;
  • Прозрачность и коммуникация (Transparency and communication): открыто сообщайте о стратегии, целях и политиках организации в области AI. Напрямую работайте с опасениями разработчиков относительно сокращения рабочих мест. Развивайте культуру психологической безопасности, в которой разработчики чувствуют себя комфортно, экспериментируя и делясь опытом;
  • Ответственное использование (Responsible use): установите четкие организационные политики использования AI. Обеспечьте ясность в вопросах этики, конфиденциальности данных и рисков безопасности. Это включает рекомендации о том, когда, где и как использовать AI, а также о снижении рисков безопасности, связанных с AI, и управлении ими;
  • Измерение и итерации (Measurement and iteration): отслеживайте ключевые метрики для оценки влияния AI на команды, сервисы и организацию. Используйте эти данные для корректировки стратегии AI и подтверждения того, что она дает желаемые результаты.

Пошаговые действия для лидеров. Эти семь шагов помогают лидерам играть ключевую роль в успешном внедрении AI:
  1. Сформируйте видение и стратегию: определите четкую миссию и план внедрения AI, согласованные с общими целями организации. Прозрачно доносите это видение до всех сотрудников, подчеркивая совместную природу партнерства человека и AI;
  2. Расширьте полномочия команд: поощряйте эксперименты с инструментами AI. Выделяйте разработчикам время в рабочие часы на изучение, исследование и интеграцию AI в рабочие процессы. Это могут быть хакатоны, обучающие встречи за обедом (lunch-and-learns) или временное снижение ожиданий по продуктивности. Поддерживайте формирование сообществ практик, где разработчики могут делиться знаниями и лучшими практиками;
  3. Инвестируйте в обучение и ресурсы: обеспечьте доступ к инструментам AI, учебным материалам и качественной документации. Следите за тем, чтобы внутренняя документация поддерживалась в актуальном состоянии и по ней было легко искать, так как AI может использовать эту информацию для предоставления более точного контекста и поддержки;
  4. Пересмотрите метрики эффективности: вознаграждайте за результаты и поставленную ценность. Отработанные часы не должны быть единственным критерием. Признавайте трудозатраты на эффективную работу с AI, включая Pprompt engineering и доработку результатов, сгенерированных AI;
  5. Создайте среду для обучения: поощряйте непрерывное обучение и адаптацию. Представляйте AI как возможность для разработчиков приобрести новые навыки и расширить экспертизу;
  6. Управляйте ожиданиями: реалистично оценивайте сроки и возможные сложности внедрения AI. Подчеркивайте, что это итеративный процесс и первоначальные неудачи ожидаемы;
  7. Установите четкие политики: сформулируйте четкие правила использования AI, включая то, когда и где его следует использовать, а также процедуры снижения рисков безопасности и управления ими.

Пошаговые действия для практиков. Практики используют AI ежедневно и могут повысить получаемую пользу, следуя этим шагам:
  1. Экспериментируйте: исследуйте различные инструменты и сценарии использования AI в рамках установленных организационных правил. Сфокусируйтесь на задачах, где AI может дать немедленную ценность: генерация кода, суммаризация, объяснение незнакомого кода, ревью кода, документация и написание тестов;
  2. Развивайте AI грамотность (AI fluency): учитесь эффективно взаимодействовать с инструментами AI. Это включает освоение Prompt engineering, понимание ограничений AI и интеграцию AI в существующий рабочий процесс;
  3. Ставьте в приоритет качество и проверку: относитесь к результатам, сгенерированным AI, как к отправной точке. Готовым продуктом они не являются. Всегда проверяйте, тестируйте и дорабатывайте код и документацию, сгенерированные AI. Сохраняйте критический взгляд и опирайтесь на свою экспертизу;
  4. Делитесь знаниями и новыми практиками: участвуйте в сообществах практик, делитесь опытом с коллегами и вносите вклад в коллективные знания организации об AI;
  5. Фокусируйтесь на влиянии на пользователей: используйте AI для улучшения пользовательского опыта за счет более быстрых циклов разработки, более качественного кода или более глубокого анализа обратной связи от пользователей;
  6. Выступайте за ответственное использование: учитывайте вопросы этики, конфиденциальности данных и рисков безопасности. Следуйте политикам и правилам организации и сообщайте о своих опасениях.

Подробнее в записи подкаста Research Insights Made Simple #16:
Если вам важно понять текущее состояние продуктивности инженерных команд и оценить влияние AI на инженерную культуру и практики, мы готовы помочь. Наши эксперты помогают:
  • Определить стратегию и дорожную карту внедрения AI с учетом контекста, инженерной зрелости и ограничений компании;
  • Выстроить прозрачную систему метрик для оценки внедрения AI на индивидуальном, командном, сервисном и организационном уровнях;
  • Создать и развить платформу по инженерной аналитике, измерять использование AI, экономию времени по каждому этапу SDLC, продуктивность, качество поставки и экономический эффект внедрения AI;
  • Развить практики обратной связи, включая регулярные опросы разработчиков, ретроспективы и сообщества практик;
  • Сформировать доверие разработчиков к AI, развить Developer Experience и снизить когнитивную нагрузку при работе с AI платформами, агентами и инструментами;
  • Пересобрать топологии и структуры команд под работу с AI и сформировать AI Enabling команды для масштабирования практик.

Мы работаем в форматах исследований, пилотных проектов и масштабирования, выбирая формат под задачи и зрелость компании. Проводим аудиты зрелости и готовности к внедрению AI, запускаем пилоты с проверкой гипотез и измерением эффекта и ROI, масштабируем культуру, практики и платформы на всю инженерную организацию. Обращайтесь к нам, чтобы обсудить ваш кейс и назначить встречу с экспертом.

Вступайте в сообщество Enabling Community и подписывайтесь на наш канал Enabling.team Insights, чтобы оставаться в курсе технологических трендов.