We enable reliability

Провели аудит процессов и практик в компании Pushwoosh с целью повышения стабильности платформы, масштабирования сервисов, развития процессов поставки и эксплуатации. В рамках активности провели анализ процессов и практик в командах, изучили взаимодействие между командами разработки и эксплуатации, провели анализ архитектуры платформы, окружений и сервисов. Выявили ключевые проблемы, собрали и структурировали технический долг, проанализировали инциденты.

По результатам аудита подготовили рекомендации по:

• Реорганизации команды эксплуатации, разделению на платформенную команду и SRE команду, улучшение взаимодействия с командами разработки;
• Развитию SRE практик: организация дежурств, управление инцидентами, пост-мортемы, управление миграциями и техническим долгом;
• Развитию Observability практик: мониторинг, логирование и трейсинг;
• Развитию и применению практик Infrastucture as code и CI/CD для стабилизации и синхронизации окружений, автоматизации процессов поставки и развертывания.

Консультировали CTO и команду SRE в компании Dodo Engineering. Исследовали взаимодействие с командами разработки на этапах разработки, тестирования и поставки. Анализировали организацию дежурств как внутри SRE команды, так и в командах разработки. Оценили нагрузку на SRE команду, обсудили приоритизацию проектов и задач. Подготовили рекомендации по масштабированию SRE процессов и практик с учетом нагрузки, роста компании и количества команд. Обсудили метрики (SLI, SLO, SLA) и применение Error Budget для поиска баланса между качеством и скоростью.

Развивали культуру, процессы и практики надежности в EdTech компании Uchi.ru на 250 инженеров. Помогли CTO справится с ростом нагрузки в 8 раз, ростом компании и продуктовых команд в 2 раза. Провели аудит продуктовых и инфраструктурных команд. Применили паттерны из Team Topologies, помогли в запуске платформенной команды, команд SRE и DevSecOps в формате Enabling команд. Помогли оформить Team API для команд. Определили границы и оптимальное взаимодействие между командами. Помогли с развитием SRE практик: Observability, On-call, Incident Management, Postmortems, Runbooks.

Провели аудит и развивали процессы и практики надежности в FinTech компании на 1800 инженеров. Применили паттерны и практики из Team Topologies на уровне Reliability трайба. Определили оптимальный состав трайба и типы команд. Разделили направления Reliability, Release и Quality Engineering на платформенные и экспертные Enabling команды. Устранили зависимости, уточнили зоны ответственности и снизили нагрузку с команд. Определили внутренние и внешние способы взаимодействия трайба. Помогли с переходом к end-to-end командам и повышением инженерной культуры в продуктовых командах. Помогли создать Engineering playbook, в который включили паттерны, процессы и практики Reliability трайба.

Помогали развивать центр компетенции и практик надежности в крупном банке. Создали модель центра компетенций в формате Enabling и платформенных команд, выбрали способы взаимодействия. Разработали фреймворк и процессы развития надежности на уровне всей компании и отдельных команд. Составили список инженерных практик и метрик, построили capabilities и maturity модели, создали инструменты для анализа практик и состояния команд. Подготовили рекомендации и roadmap по развитию центра компетенций и платформенных команд.

Разработали и провели тренинги по Reliability Engineering на основе подхода и книг по Google SRE. Провели обучение тимлидов, техлидов и инженеров эксплуатации. Обсудили основные принципы и процессы. Раскрыли такие темы и практики как Monitoring, Alerting, Incident Management, Troubleshooting, On-Call, Postmortems, SLI/SLO/SLA, Error Budget, Toil. Показали варианты топологий команд и примеры перехода и построения SRE в компании. Обсудили связь с DevOps и ITIL. Помогли составить план перехода к SRE. Обеспечивали консультационную поддержку после тренинга.