В конце 2024 года вышел
отчет по исследованию производительности инженерных команд от сообщества LeadDev при поддержке издательства O'Reilly. Сообщество
LeadDev, которое объединяет инженерных руководителей, техлидов и менеджеров по всему миру, основано в 2015 году и регулярно проводит
конференции LDX, а также поддерживает
платформу LeadDev с целью профессионального развития технических лидеров, обмена опытом и обсуждения актуальных проблем инженерного менеджмента. В сообщество входят такие эксперты как
Pat Kua,
Tanya Reilly,
Cat Hicks и другие.
Текущий отчет уже второй по счету, первый вышел
в прошлом году. В этом году исследовались направления связанные с постановками целей, измерением прогресса и координацией команд, измерением производительности команд (метриками производительности и инструментами), обучением и развитием команд. В опросе приняло участие
978 инженерных руководителей (CTO, Manager of managers, Manager of engineers) из компаний разных размеров (42% до 250 сотрудников, 28% до 1000 сотрудников, 30% свыше 1000).
Что интересного мы отметили в отчете:
- Основным способом определения и донесения бизнес-целей в компаниях остаются Objectives and key results (OKR), хотя периодичность их установления варьируется в разных компаниях. Половина респондентов выбирает OKR ежеквартально, тогда как почти треть — ежегодно. Key performance indicators (KPI) используют 28% организаций, ещё 29% используют комбинацию OKR и KPI, что делает этот подход третьим по популярности;
- Лишь треть респондентов заявили, что полностью понимают стратегические и бизнес цели своей организации. 60% респондентов на уровне CTO или аналогичной должности полностью понимают стратегические цели, эта доля снижается до 29% среди менеджеров менеджеров, и до 21% среди менеджеров инженеров. Эта задача становится сложнее по мере роста компании: 50% из небольших компаний имеют полное понимание стратегических целей, тогда как в компаниях с численностью свыше 1000 сотрудников этот показатель падает до 18%;
- Основная метрика для оценки прогресса и вклада команды — удовлетворённость пользователей (User satisfaction), которая вытеснила с первого места более количественную метрику роста числа пользователей (User growth) в прошлом году. Далее следуют возврат на инвестиции (ROI) и выполнение соглашений об уровне обслуживания (SLOs). Также команды отслеживают коммерческие показатели, такие как выручка (Revenue), снижение годовой выручки по подписке (ARR churn), уровень удержания пользователей (Retention rates), Net Promoter Scores (NPS) и Lifetime value (LTV);
- С точки зрения оценки достижения более широких стратегических целей, качество кода (Code quality) оказалось самой популярной метрикой успеха — её используют 54% респондентов. На втором месте — количество жалоб от пользователей (Number of customer complaints). Ещё треть респондентов считают полезной метрику квоты ошибок (Bug quotas) и уровень автономности команды (Level of team autonomy). Большинство организаций полагаются на комбинацию нескольких метрик для оценки. Треть респондентов не отчитываются о производительности своих команд;
- Основные ограничения в работе инженерных команд связывают с отсутствием ясности и приоритизации (Clarity and prioritization) и недостатком персонала и ресурсов (Headcount and staffing). Дополнительные ограничения включали взаимодействие с другими командами и согласования с остальным бизнесом, отсутствие необходимых навыков, нестабильные системы и недостаточная поддержка со стороны высшего руководства. Сами метрики как ограничение были упомянуты лишь 2% респондентов;
- Половина респондентов взаимодействуют с другими командами еженедельно, а 28% — ежедневно. Однако взаимодействие не всегда идёт гладко. Приоритизация задач (Prioritization of tasks) была указана как основной вызов при совместной работе — её отметили 69% респондентов. Далее следуют проблемы с распределением ответственности и задач (Ownership and accountability). Недостаток информации и прозрачности (Lack of information and visibility) стал проблемой для чуть более половины опрошенных;
- Второй год подряд время цикла (Cycle time) признано наиболее полезной метрикой для оценки производительности команд. Далее следуют ключевые DORA метрики: Частота развертываний (Deployment Frequency), Срок поставки (Lead Time for Changes), Время восстановления (Mean Time To Restore) и Неуспешные изменения (Change Failure Rate). Менее полезными указали количество выполненных Story points и баланс незавершенной работы (WIP balance);
- Основными методами оценки производительности команды указаны: ретроспектива, обратная связь от клиентов, пульс опросы и ежегодные опросы. Для оценки Developer Experience применяют комбинацию индивидуальных встреч (1:1) и непрерывной обратной связи (Continuous Feedback), а также опросы удовлетворённости разработчиков (Developer Satisfaction surveys) и измеряют частоту переключения контекста (Rate of context switching);
- Основными инструментами для инженерной аналитики и отчетности все еще остаются Jira и простые дашборды. Тем не менее, с 2023 по 2024 год произошли изменения: GitLab — снизился с 66% до 20%, LinearB — вырос с 3% до 15%, Pluralsight Flow — вырос с 3% до 13%, Jellyfish — вырос с 4% до 9%. Waydev впервые появился в списке и уже используется в 9% команд. Среди 18%, указавших другое, были упомянуты: дашборды внутри GitHub, Plandek, Asana и Sleuth;
- Выбор конкретных метрик для оценки производительности команды был назван наибольшей сложностью среди всех респондентов. На втором месте — ограничения по времени. Интересно, что немногие инженерные руководители указали на проблемы по сопротивлению команд к измерению и на необходимость объяснять технические детали метрик;
- Отдельно исследовали применение DORA метрик и SPACE фреймворка для измерения производительности команд. 42% респондентов считают DORA метрики эффективными, при этом 26% сообщили, что не знают или не уверены в их эффективности. По поводу более нового фреймворка SPACE — 33% респондентов считают его эффективным, а 43% не смогли дать оценку. Лишь 4% респондентов считают один или оба фреймворка неэффективными;
- Обучение и развитие становятся ключевыми приоритетами, когда инженерные руководители стремятся устранить узкие места и повысить скорость разработки в условиях ограниченных ресурсов. 70% респондентов указали, что обучение и развитие являются текущим приоритетом, в первую очередь для удержания сотрудников и для поддержания удовлетворённости разработчиков (Developer Satisfaction).
Основные результаты из отчета
Engineering Team Performance Report 2024: