Обзор The ROI of
DevOps Transformation

В 2020 году исследовательская команда DORA выпустила отчет The ROI of DevOps Transformation с методологией расчета ROI (Return of Investment) от внедрения инженерных практик (Technical Capabilities) и развития инженерной культуры. В команду DORA входили такие эксперты как Nicole Forsgren, Jez Humble, Gene Kim, которые более десяти лет анализировали современные практики разработки и эксплуатации, собрав данные от десятков тысяч специалистов по всему миру. Цель отчета — дать методологию оценки ROI развития инженерной культуры и практик, основанную на исследовании Accelerate State of DevOps.

В отчете используются профили эффективности команд (IT Performers), которые рассчитываются на основе четырёх ключевых метрик: Частота развертываний (Deployment Frequency), Срок поставки (Lead Time for Changes), Неуспешные изменения (Change Fail Rate) и Время восстановления (Mean Time to Restore). Данные для расчётов берутся из исследования State of DevOps Report 2019:

• Профиль Elite: несколько развертываний в день, срок поставки < 1 дня, время восстановления < 1 часа, неуспешные изменения 0–15%;
• Профиль High: развертывания от 1 раза в день до 1 раза в неделю, срок поставки 1–7 дней, время восстановления < 1 дня, неуспешные изменения 0–15%;
• Профиль Medium: развертывания от 1 раза в неделю до 1 раза в месяц, срок поставки 1–4 недели, время восстановления < 1 дня, неуспешные изменения 0–15%;
• Профиль Low: развертывания от 1 раза в месяц до 1 раза в полгода, срок поставки 1–6 месяцев, время восстановления до месяца, неуспешные изменения 46–60%.

Для расчетов ROI рассматривают три типовых размера компаний:

• Крупные организации (8 500 сотрудников, 20 направлений бизнеса);
• Средние и крупные технические организации (2 000 сотрудников, 8 направлений бизнеса);
• Малые и средние компании (250 сотрудников, 1 направление бизнеса).

Основная формула расчета ROI:
ROI = (Return – Investment) / Investment

Пояснения:

• Return — совокупный возврат;
• Investment — инвестиции в технологии, инженерную культуру и практики, обучение и персонал.

Формула расчета совокупного возврата (Return):
Return = Value of rework recovered + Potential revenue from reinvestment + Cost of downtime avoided

Пояснения:

• Value of rework recovered — экономия затрат за счёт сокращения повторной работы (Rework);
• Potential revenue from reinvestment — потенциальный доход от времени, направленного на создание нового функционала;
• Cost of downtime avoided — экономия от сокращения простоев.

Формула расчета годовой экономии от сокращения ненужной повторной работы:
Cost of Unnecessary Rework Avoided per Year = Technical Staff Size × Average Salary × Benefits Multiplier × Percent of Time Spent on Unnecessary Rework

Пояснения:

• Technical Staff Size — общее количество инженеров в компании;
• Average Salary — средняя зарплата одного инженера;
• Benefits Multiplier — коэффициент совокупных затрат на персонал, включает социальные льготы, бонусы, страховки;
• Percent of Time Spent on Unnecessary Rework — процент времени, уходящего на ненужную повторную работу.

Формула расчета потенциального дохода от реинвестирования:
Potential Revenue from Reinvestment = Time recovered and reinvested in new features × Revenue generating features

Пояснения:

• Time recovered and reinvested in new features — сэкономленное время, вложенное в новый функционал;
• Revenue generating features — доход от нового функционала.

Формула расчета дохода от нового функционала:
Revenue generating features = Frequency of experiments per line of business × Lines of business in the organization × Idea success rate × Idea impact × Product business size

Пояснения:

• Frequency of experiments per line of business — частота экспериментов (A/B-тесты и др.);
• Lines of business in the organization — количество направлений бизнеса (сегменты, продукты, домены или вертикали внутри компании);
• Idea success rate — доля экспериментов, которые дают измеримый положительный эффект;
• Idea impact — вклад нового функционала в доход;
• Product business size — текущий доход продуктового бизнеса.

Формула расчета стоимости простоев в год
Cost of Downtime per Year = Deployment Frequency × Change Fail Rate × Mean Time to Restore × Outage Cost

Пояснения:

• Deployment Frequency — Частота развертываний;
• Change Fail Rate — Неуспешные изменения;
• Mean Time to Restore (MTTR) — Время восстановления;
• Outage Cost — стоимость часа простоя.

Основные выводы по профилям эффективности команд:

• Elite демонстрируют минимальный объём повторной работы, низкие операционные риски и быстрые релизы. Для крупной организации ROI составляет $80,6 млн в год, включая доход от нового функционала и экономию на простоях;
• High также показывают высокий уровень зрелости, но ROI ниже ($63,9 млн в год), так как у них чаще случаются неуспешные изменения и меньше эффект от экспериментов;
• Medium обеспечивают стабильность, но страдают от долгого срока поставки и меньшего количества успешных экспериментов. ROI оценивается в $47,7 млн в год;
• Low демонстрируют формально высокий совокупный ROI ($259 млн в год), но этот результат вызван огромной стоимостью простоев. Это не преимущество, а показатель критической неэффективности.

В отчете приводится пример расчета ROI для крупной организации (8 500 инженеров) с продуктовым бизнесом в $100 млн:
Инвестиции ($6,8 млн):

• Консалтинг: $0,4 млн;
• ПО для автоматизации: $1,0 млн;
• Персонал: $1,35 млн;
• Обучение: $0,2 млн;
• Время и ресурсы существующих сотрудников: $3,86 млн.

Возврат (Elite профиль, $80,6 млн в год):

• $18,2 млн — экономия затрат за счёт сокращения повторной работы;
• $48,7 млн — потенциальный доход от нового функционала;
• $13,7 млн — экономия от сокращения простоев.

Расчёты:

• Payback Period = 6,8 / 80,6 = 0,085 года (~ 31 день);
• ROI = (80,6 – 6,8) / 6,8 = 10,832 (≈ $10,83 возврата на каждый $1 инвестиций).

Таким образом, вложения в инженерную культуру и практики окупаются менее чем за месяц и дают десятикратный возврат.

Основные формулы и таблицы из отчета The ROI of DevOps Transformation приведены ниже: