В совокупности эти примеры иллюстрируют важный вывод. Во многих случаях необходимая информация уже присутствовала в сформированном контексте. Проблема заключалась в том, что она была устаревшей, неоднозначной, противоречивой, скрытой среди информационного шума или смешанной с контентом, которому изначально не следовало доверять. Поэтому вопрос о том, есть ли у агента какой-либо контекст, сформулирован неверно. Более полезный вопрос заключается в том, насколько сформированный контекст действительно пригоден для выполнения конкретной задачи. Именно на этот вопрос призван помочь ответить фреймворк CAFE(S).
Как выглядит качественный контекст на практикеПрежде чем команда сможет оценивать, насколько ее контекст ясен, применим на практике, достоверен, эффективен и безопасен, ей необходимо преодолеть более фундаментальные препятствия:
- Первое предварительное условие заключается в доступности. Сегодня наиболее распространенная проблема контекста связана не с его низким качеством, а с тем, что агент не может получить к нему доступ. Источники существуют, но они не подключены к агенту, часто из-за реальных ограничений безопасности или обычных сложностей проведения изменений в крупной организации. Контекст, который существует, но остается недоступным, никому не приносит пользы;
- Второе предварительное условие заключается в преодолении информационного шума. После подключения источников агент должен найти релевантную часть информации. Если 100 каналов Slack имеют общий префикс, какой из них агент должен прочитать и какой объем информации он может обработать, прежде чем исчерпает контекстное окно или бюджет? В простых случаях может быть достаточно поиска по ключевым словам. Но что делать, если необходимый контекст распределен между множеством систем учета, а не сосредоточен в той системе, с которой ведется работа?;
- Третье предварительное условие является самым сложным: необходимый контекст вообще должен существовать. Значительная часть организационных знаний никогда не была задокументирована. Она сохраняется в разговорах в коридорах, встречах без записей и личных сообщениях, к которым агент не имеет доступа и зачастую не должен его иметь. Никакая инженерия контекста не способна извлечь информацию, которая никогда не была зафиксирована.
Только после преодоления этих трех препятствий измерения CAFE(S) становятся определяющими ограничениями. Это важно подчеркнуть, поскольку такой подход меняет представление о том, с чего большинству команд следует начинать работу. Начинать нужно с повседневной, непримечательной работы по подключению источников, обеспечению возможности поиска по ним и документированию знаний, которые пока существуют только в головах людей, а не с разработки системы оценки. Авторы отмечают, что качественный не означает идеальный. Контекст должен быть достаточно качественным для выполнения конкретной задачи. Немного избыточный контекст обычно предпочтительнее контекста, в котором отсутствует критически важная информация или содержатся неточные инструкции. На практике командам следует сначала устранить проблемы отсутствующего, ошибочного и устаревшего контекста, прежде чем оптимизировать его структуру или краткость.
Качество контекста зависит от места его размещенияОдин принцип объединяет все последующие рекомендации: качество конкретного фрагмента контекста зависит от того, где он находится и когда используется. Одна и та же инструкция может быть превосходной в одном месте и вредной в другом.
Например, файл AGENTS.md в корне репозитория, содержимое которого загружается в каждую сессию агента. Инструкция о том, как запускать набор тестов, может быть уместна в этом файле, поскольку она требуется практически в каждой сессии. Однако инструкция, относящаяся к одному редко изменяемому файлу, там неуместна. Она будет добавляться в тысячи сессий, никак не связанных с этим файлом, расходуя токены и внимание модели на информационный шум. Та же самая инструкция, размещенная в виде комментария непосредственно в описываемом файле, внезапно становится качественным контекстом: ясным, эффективным и доступным именно тогда, когда она релевантна. Сами слова остались неизменными, изменилось только их расположение. Место размещения контекста является одной из его важнейших характеристик, поэтому оценка контекста предполагает его рассмотрение в конкретных условиях использования, а не в отрыве от них.
Что могут сделать специалистыНаиболее результативное действие специалистов заключается в строгом подходе к текстам, написанным человеком и передаваемым агентам, а также в признании того, что создание и поддержание качественного контекста само по себе является частью Software Engineering. Эта работа не выполняется после завершения настоящей работы. Промпт является контекстом. Но контекстом также являются комментарий в коде, архитектурный документ, README и спецификация, сохраненная в репозитории. Любой из этих артефактов агент может воспринимать как инструкцию или как факт. Если информация устарела или неоднозначна, любой из них может направить агента по ошибочному и дорогостоящему пути. Архитектурный документ, который больше не соответствует коду, не просто введет агента в заблуждение. Он приведет к расходованию токенов, пока агент будет искать файлы, которые больше не существуют. Поэтому необходима практика, предполагающая применение ко всему, что вы пишете и что потенциально может прочитать агент, тех же стандартов, которые применяются к самому контексту. Является ли информация ясной? Актуальна ли она? Соответствует ли ее область применения месту размещения? Не содержит ли она указаний доверять информации, которой агент не должен доверять?
Второе действие специалистов заключается в осознанном создании качественного контекста по аналогии с тем, как старший инженер ставит задачу младшему. Речь идет не о сложном и загадочном Prompt Engineering прошлых лет, а о простой практике явного описания того, чего вы пытаетесь достичь, как определить, что задача решена, какие действия запрещены и почему, где находится релевантный код (если вы уверены в этом), а также при каких обстоятельствах агент должен снова обратиться к вам. Примечательно, что для этого не требуются сложные шаблоны промптов или системы, заставляющие разработчиков придерживаться жесткого формата. Такие подходы обычно теряют свою ценность по мере совершенствования моделей. Долгосрочную ценность представляет обучение инженеров искусству создания ясного, достоверного и точно ограниченного по области применения контекста, подобно тому как их обучают писать читаемый код и качественные комментарии.
Что могут сделать командыСтрогий подход специалистов масштабируется до уровня командных практик благодаря общим и согласованным источникам контекста. Спецификации, хранящиеся в виде кода, файлы AGENTS.md, навыки (Skills) и примеры, сохраняемые в репозитории, архитектурные документы, общие глоссарии и другие артефакты, на которые опирается вся команда, являются важными практиками.
Поддержание этих артефактов следует рассматривать как обычное сопровождение и эксплуатацию. Подобно тестам, системам сборки или самому коду, общий контекст деградирует, если команды постоянно не вкладывают усилия в его поддержание.
Поскольку контекст используется совместно, последствия его дефектов многократно усиливаются. Устаревший архитектурный документ или неоднозначный файл AGENTS.md читает не один разработчик, а каждая сессия агента, которая использует этот контекст. Именно поэтому одной из наиболее результативных командных практик является практика ревью контекста (Context Review). Подобно тому как ревью кода помогает выявлять дефекты на ранних этапах и укрепляет общие стандарты, проверка важных артефактов контекста по измерениям CAFE(S) до начала их широкого повторного использования позволяет выявлять неоднозначность, устаревшую информацию, избыточную сложность и небезопасные инструкции до их распространения.
Однако не каждый артефакт требует одинаковой глубины проверки. Файл AGENTS.md, действующий на уровне всего репозитория и влияющий на тысячи сессий, заслуживает гораздо более тщательного ревью, чем рабочая заметка, которой обмениваются два инженера. Усилия на проведение ревью должны быть пропорциональны влиянию контекста при его повторном использовании.
Командам также следует установить соглашения о размещении различных типов контекста. Поскольку качество контекста зависит от того, где он используется, согласование мест хранения проектной документации, ранбуков (Runbooks), архитектурных решений, соглашений по написанию кода и инструкций, действующих на уровне всего репозитория, упрощает их обнаружение и сопровождение как людьми, так и агентами. Цель заключается в создании предсказуемых мест, где можно найти важные знания, а не в жесткой стандартизации ради самой стандартизации.
При этом необходимо соблюдать баланс. Не весь контекст следует подвергать публичному ревью или размещать в общих репозиториях. Значительная его часть носит действительно личный характер, например предпочтения человека в организации работы, его собственные приоритеты или личные заметки. Публикация всей такой информации снизит индивидуальную продуктивность и одновременно загрязнит контекст остальных участников нерелевантными сведениями.
Ответственность команды заключается в определении того контекста, который должен совместно использоваться, проходить ревью и поддерживаться как общее знание.
Что могут сделать организацииНа уровне организации задача выходит за пределы отдельных репозиториев и охватывает инфраструктуру, обучение, политики и долгосрочное управление. Организациям необходима инфраструктура, позволяющая агентам безопасно извлекать информацию из корпоративных систем, механизмы управления (Governance), предотвращающие попадание конфиденциального или вредоносного контекста в рабочие процессы агентов, а также четкое распределение ответственности, чтобы важный контекст незаметно не устаревал по мере развития систем и команд.
Каждый значимый общий источник контекста, включая эксплуатационные инструкции, архитектурные документы, политики, глоссарии, схемы и рекомендации по использованию платформ, должен иметь четко определенного владельца и установленную периодичность ревью, чтобы достоверность контекста со временем незаметно не снижалась. По возможности ответственность за владение должна закрепляться за командами, а не за отдельными специалистами, обеспечивая сохранность важного контекста при реорганизациях и кадровых изменениях. Аналогичным образом инфраструктура поиска и извлечения информации должна обеспечивать обнаружение качественного контекста при сохранении надлежащей защиты информации с ограниченным доступом.
Организациям также следует инвестировать в обучение. Создание и поддержание качественного контекста является инженерным навыком, подобно написанию сопровождаемого кода или проведению эффективного ревью кода. Инженеры должны понимать не только то, как эффективно работать с агентами, но и почему качество контекста имеет значение и как применять измерения CAFE(S) при создании или ревью общего контекста.
Наконец, организациям следует признать контекст инженерным активом, а не побочным продуктом поставки функциональности. Фиксация обоснований архитектурных решений, документирование важных решений и поддержание общего понимания требуют времени, однако их ценность накапливается по мере того, как люди и агенты все больше на них полагаются. Организации, которые поощряют исключительно краткосрочную поставку функциональности, будут наблюдать постепенную деградацию общего контекста. Организации, инвестирующие в поддержание качественного общего контекста, создадут более здоровую среду как для разработчиков, так и для AI агентов.
Качественный контекст создает условия для автономности, но не гарантирует ееФреймворк CAFE(S) легко воспринять как контрольный список, выполнение которого автоматически позволяет предоставить агенту автономность. Однако это не так. Качественный контекст является предварительным условием для доверия агенту большей автономности, но сам по себе ее не гарантирует. Ясный, применимый на практике, достоверный, эффективный и безопасный контекст создает условия, при которых повышение автономности становится обоснованным. Однако решение о предоставлении такой автономности по-прежнему зависит от значимости задачи, допустимого для организации уровня риска и распределения ответственности в случае возникновения проблем.
Фреймворк CAFE(S) описывает, что представляет собой качественный контекст. Фреймворк не утверждает, что одного качественного контекста достаточно, чтобы передать агенту полный контроль. Он лишь указывает, что без качественного контекста этого делать не следует.
Как CAFE(S) соотносится с инструментами и практиками, которые вы уже используетеУ инженерного руководителя, читающего эту статью, может возникнуть закономерный вопрос: я уже измеряю показатели поставки, провожу оценку систем поиска и извлечения информации (Retrieval Evaluation), следую рекомендациям по безопасности, а моя платформенная команда использует инструменты наблюдаемости. Нужен ли мне еще и этот фреймворк?
Ответ положительный, поскольку ни один из перечисленных инструментов не оценивает то, что оценивает CAFE(S). Они охватывают смежные аспекты системы, тогда как CAFE(S) описывает качество самого артефакта контекста.
Различия проще всего увидеть при непосредственном сравнении фреймворков:
- DORA охватывает скорость и стабильность системы поставки. CAFE(S) оценивает информационную среду, обеспечивающую работу этой системы, в которой все чаще возникают причины проблем с поставкой;
- SPACE, DX Core 4, EngThrive охватывают человеческие аспекты продуктивности, опыт разработчиков и результаты, к которым стремятся команды. CAFE(S) оценивает качество общей информационной среды, которая все сильнее влияет на эффективность как людей, так и агентов;
- RAG evaluation frameworks охватывают качество поиска, извлечения и генерации информации, преимущественно достоверность и частично эффективность. CAFE(S) объединяет эти характеристики с ясностью, применимостью на практике и безопасностью в единую модель качества, позволяя оценивать их совместно, а не рассматривать поиск и извлечение информации изолированно;
- OWASP LLM Top 10 охватывает углубленный анализ рисков безопасности LLM приложений. CAFE(S) включает безопасность в более широкую модель качества, позволяя оценивать безопасность наряду с практической полезностью;
- Context and Harness engineering guidance (Anthropic, Böckeler, others) охватывают способы формирования качественного контекста и сред выполнения агентов, предписывающие подходы к проектированию. CAFE(S) предоставляет критерии оценки качества полученного контекста независимо от способов его формирования;
- Triple Debt Framework охватывает состояние программной системы на протяжении времени через призму технического, когнитивного долга и долга намерений. CAFE(S) определяет, где долг намерений приобретает конкретные и непосредственные проявления;
- TRUCE охватывает как разработчики и руководители определяют качество по пяти измерениям. CAFE(S) применяет аналогичный подход к определению качества артефакта через несколько измерений, но к характеристикам качественного контекста, а не к качеству кода.