Обзор фреймворка CAFE(S)

В сентябре 2026 года был опубликован фреймворк CAFE(S) для описания качества контекста, разработанный совместно исследователями из DX, Capital One, GitHub, UVic и Google. Фреймворк CAFE(S) определяет пять характеристик качественного контекста и предоставляет общий язык для оценки того, создает ли сформированный контекст необходимые условия для эффективной работы AI агентов и инженеров.

Фреймворк CAFE(S) намеренно представляет собой определение качественного контекста, а не систему измерения. В следующих разделах объясняется, почему качество контекста стало важным вопросом, определяется понятие контекста и его место в AI, описывается каждая характеристика фреймворка CAFE(S), рассматриваются распространенные сценарии возникновения проблем и предлагаются практические рекомендации для инженеров, команд и организаций.

Почему качество контекста важно именно сейчас
Низкое качество контекста приводит к расходам, которые можно увидеть в счетах, юридической ответственности, которая может стать предметом судебного разбирательства, и ухудшению опыта разработчиков, последствия которого накапливаются с каждым днем.
  • Опыт разработчиков (Developer Experience). Разработчики всегда тратили время на компенсацию недостатков управления знаниями, документации и коммуникации. AI меняет масштаб и частоту таких взаимодействий, превращая контекст во входные данные практически для каждой задачи, выполняемой агентом. Предполагалось, что агент должен устранять рутинную работу (Toil), однако низкое качество контекста возвращает ее разработчику;
  • Затраты (Cost). Каждый токен, передаваемый агенту, имеет свою стоимость, и именно в контексте накапливаются эти токены. Релевантность контекста приносит экономическую выгоду наряду с его повторным использованием. Организации, которые регулярно передают агентам большие объемы избыточного или плохо структурированного контекста, несут более высокие затраты по сравнению с организациями, которые проектируют компактный, пригодный для повторного использования и адаптированный к конкретным задачам контекст;
  • Юридическая ответственность (Liability). Низкое качество контекста также создает организационные риски. Независимо от того, вызвана ли ошибка устаревшей информацией, неполным контекстом или галлюцинацией, организации продолжают нести ответственность за информацию, которую сообщают их агенты.

Что такое контекст?
Стремительное развитие AI Engineering привело к появлению большего количества терминов:
  • инженерия промптов (Prompt Engineering);
  • генерация с дополнением извлеченной информацией (Retrieval-Augmented Generation, RAG);
  • инженерия контекста (Context Engineering);
  • инженерия обвязки (Harness Engineering);
  • агентные фреймворки (Agent Frameworks);
  • системы памяти (Memory Systems);
  • оценка качества моделей (Model Evaluation).

Каждый из них относится к отдельному аспекту создания эффективных AI систем, однако все они предполагают наличие ответа на более фундаментальный вопрос, которому до сих пор уделялось сравнительно мало внимания. Чтобы ответить на вопрос о том, что делает контекст хорошим, сначала необходимо точно определить, что подразумевается под контекстом.

На самом базовом уровне контекст представляет собой набор информации, доступной агенту во время выполнения задачи. Для языковой модели это совокупность токенов, учитываемых при инференсе (Inference). Сюда входят полученные инструкции, описание задачи, код и документация, извлеченные знания, результаты работы инструментов, память о предыдущих взаимодействиях и любая другая информация, предоставленная перед генерацией ответа. Все, что создает агент, в конечном счете определяется этим контекстом.

Инженерия контекста (Context Engineering) представляет собой практику определения того, какая информация должна входить в этот набор. По мере развития этой области внимание сместилось с Prompt Engineering, то есть составления отдельных инструкций, на более широкую задачу формирования, поддержания и обновления необходимой информации на протяжении всего рабочего процесса агента. Инженерия контекста по своей сути является практикой. Она описывает, как формируется контекст, но не позволяет определить, насколько качественным он получился.

Прежде чем оценивать качество контекста, необходимо решить более фундаментальные задачи управления знаниями. Информация должна существовать, быть доступной, подключенной к агенту и доступной для обнаружения с помощью механизмов поиска и извлечения. Фреймворк CAFE(S) намеренно начинает с того момента, когда эти предварительные условия уже выполнены. Он предлагает оценивать качество информации после того, как релевантные сведения собраны в рабочий контекст агента.

Этот простой конвейер показывает, как намерение человека преобразуется в поведение машины:
Намерение (Intent) представляет собой то, чего человек в конечном счете хочет достичь. Затем это намерение необходимо преобразовать в контекст (Context), то есть информацию, которая описывает задачу, ее ограничения и связанные с ней знания. Обвязка агента (Harness) применяет этот контекст с помощью оркестрации, поиска и извлечения информации, инструментов, памяти и логики выполнения, прежде чем передать его модели (Model), которая обеспечивает базовые интеллектуальные возможности для получения результата.

Каждый из этих уровней стал предметом отдельной инженерной дисциплины. Достижения в машинном обучении улучшают модели. Разработка агентов и обвязок совершенствует оркестрацию этих моделей. Product и Software Engineering совершенствуют способы выявления, уточнения и передачи намерений человека. Однако сравнительно мало исследований посвящено преобразованию намерения в контекст, который должен его отражать и представлять, хотя именно это преобразование все чаще определяет успех или неудачу даже самых способных агентов.

Фреймворк CAFE(S) намеренно сосредоточен на одном уровне этого конвейера: преобразовании намерения в контекст. Это фреймворк, который не предназначен для оценки моделей или проектирования обвязок агентов. Он предоставляет способ анализа того, насколько точно передаваемый агенту контекст отражает то, чего человек действительно пытается достичь.

Что делает контекст качественным?
Прежде чем передавать что-либо агенту, можно задаться вопросом, что потребовалось бы компетентному инженеру для качественного выполнения той же задачи. Ему необходимо понимать цель, обладать релевантными исходными знаниями, знать применимые ограничения и иметь возможность определить, правильно ли выполнена работа. Агенту требуется практически та же информация, обычно представленная в аналогичной форме. Вместо того чтобы рассматривать качественный контекст как принципиально новый и необычный артефакт, можно представить его как информацию, необходимую компетентному коллеге для выполнения работы, если бы у этого коллеги не было возможности легко обратиться за дополнительными разъяснениями.

Качественный контекст определяется тем, какие возможности он обеспечивает. Контекст является качественным, когда позволяет системе, объединяющей человека и агента, выполнять поставленную задачу правильно, эффективно и безопасно. Он предоставляет агенту достаточно информации для обоснованных рассуждений вместо догадок, обеспечивает опору на актуальные и достоверные сведения, помогает сосредоточиться на существенном и предотвращает раскрытие информации, которую агент вообще не должен был получать. При низком качестве контекста агенты вынуждены компенсировать его недостатки догадками, рассуждениями на основе устаревшей или противоречивой информации, бесполезными усилиями по поиску среди информационного шума или действиями на основе сведений, которые им не следовало предоставлять.

Поскольку качественный контекст в конечном счете определяется результатами, которые он позволяет получить, CAFE(S) не заменяет это определение. Вместо этого он отвечает на более узкий и практически полезный вопрос: какими характеристиками обычно обладает контекст, который стабильно приводит к хорошим результатам? CAFE(S) не предписывает способы формирования контекста, а выделяет пять характеристик, отличающих качественный контекст от некачественного, то есть свойства, которые с наибольшей вероятностью способствуют получению хороших результатов. Он также предоставляет командам общий язык для оценки информации, на основе которой работают агенты.

Фреймворк CAFE(S)
Фреймворк CAFE(S) определяет пять характеристик качественного контекста:
  • Ясность (Clarity). Может ли агент интерпретировать запрос в соответствии с намерением автора?
  • Применимость на практике (Actionability). Может ли агент приступить к работе и определить момент ее завершения?
  • Достоверность (Fidelity). Может ли агент доверять истинности контекста?
  • Эффективность (Efficiency). Достаточно ли компактен контекст для удобного и экономичного использования?
  • Безопасность (Security). Безопасен ли контекст и соответствует ли он требованиям комплаенса?

Первые четыре описывают, позволяет ли контекст агенту качественно выполнять работу. Пятая, выделенная скобками, определяет, насколько безопасно вообще использовать этот контекст. Вместе они образуют чек-лист, по которому можно оценивать контекст. Они позволяют определить, достаточно ли качественен конкретный контекст, чтобы передать его агенту.

Предполагается, что эти характеристики в значительной степени независимы друг от друга, причем каждая характеристика описывает отдельный способ, которым контекст может обеспечивать успешную работу или приводить к ошибкам. Контекст может быть ясным, но недостоверным, описывая систему такой, какой она была раньше, вместо ее текущего состояния. Он может быть достоверным и безопасным, но неэффективным, скрывая единственную важную деталь среди большого объема информации. Он может быть эффективным и достоверным, но непригодным для практического применения, поскольку нигде не определено, что считается завершением работы.

Для каждой характеристики CAFE(S) даны основные определения и вопросы для оценки качества контекста при выполнении задач AI агентами:
Характеристики контекста намеренно отделены от механизмов их формирования и результатов, на которые они влияют. Это позволяет сохранять определения неизменными по мере развития инженерных практик, инструментов и моделей.

Ясность (Clarity): Может ли агент интерпретировать запрос в соответствии с намерением автора?
Ясность представляет собой характеристику контекста, обеспечивающую однозначную интерпретацию применительно к конкретной задаче и участнику, который должен ее выполнить. Ясный контекст одинаково интерпретируется автором и агентом. Неясный контекст допускает несколько интерпретаций, и у агента отсутствует надежный способ определить, какая из них подразумевалась. Контексту необязательно быть абсолютно однозначным во всех отношениях, достаточно устранить неоднозначность в аспектах, влияющих на выполнение работы. Термин, который никак не затрагивается задачей, может оставаться неопределенным. Ситуация меняется, когда от значения термина зависит выполнение задачи. Если контекст не определяет, какая именно система, окружение или политика имеется в виду, агент самостоятельно сделает выбор, причем правдоподобно и незаметно.

Практическим последствием недостаточной ясности становится вариативность результатов, которой можно было избежать. Когда контекст допускает различные интерпретации, разные выполнения одной задачи могут приводить к разным результатам. Причина заключается не в изменении самой задачи или естественной вариативности, присущей вероятностным моделям, а в том, что контекст оставил важные решения открытыми для интерпретации.

Проблемы с ясностью легко упустить, поскольку они незаметны для автора. Инженер, создавший контекст, обычно знает, что именно он имел в виду. Поэтому неоднозначность становится заметной только читателю или агенту, которые изначально не разделяют его намерения или принятые им соглашения. Команды формируют собственный словарь, и термин, имеющий точное значение внутри одной группы, может допускать несколько интерпретаций за ее пределами. Язык, предметная область и культурные соглашения определяют, какая интерпретация считается очевидной, и агент по умолчанию не разделяет ни одну из них. Когда контекст ясен, агенты тратят меньше времени на интерпретацию запросов и больше времени на решение поставленной задачи.

Применимость на практике (Actionability): Может ли агент приступить к работе и определить момент ее завершения?
Применимость на практике представляет собой характеристику контекста, обеспечивающую достаточные указания для выполнения действий. Это означает описание цели, влияющих на ее достижение ограничений и определения того, что считается завершенной работой. Контекст, пригодный для практического применения, позволяет агенту действовать без догадок и определять, когда задача выполнена. При недостаточной применимости на практике агент стремится к результату, который так и не был полностью определен.

Если ясность отвечает на вопрос, можно ли интерпретировать контекст однозначно, то применимость на практике определяет, достаточно ли информации было предоставлено. Эти две характеристики независимы. Запрос может быть совершенно однозначным, но при этом не содержать цели, предоставлять недостаточно информации об ограничениях или не определять критерии завершения работы.

Недостаточная применимость на практике приводит к трем последствиям:
  1. Агент может так и не приступить к выполнению задачи, расходуя усилия на восстановление цели, которая изначально не была сформулирована;
  2. Агент может продолжать работу бесконечно, поскольку контекст не определяет, что считается завершением;
  3. Агент может остановиться в неправильный момент, объявив об успехе на основании самостоятельно предполагаемой цели вместо той, которая была ему поставлена.

Третий вариант обходится дороже всего, поскольку выполненная работа выглядит как прогресс. Применимость на практике легко недооценить, поскольку автор непосредственно погружен в работу. Когда цель и критерии завершения уже определены в вашей голове, их явное описание кажется избыточным. В результате они остаются незаписанными, а агент лишается необходимых ориентиров.

Достоверность (Fidelity): Может ли агент доверять истинности контекста?
Достоверность представляет собой характеристику контекста, отражающую его точность. Насколько достоверно он представляет систему, организацию и задачу, которую должен выполнить агент? Контекст с низкой достоверностью может содержать устаревшую документацию, противоречивые инструкции, необоснованные предположения или информацию из ненадежных источников. Агент, рассуждающий на основе недостоверного контекста, может сформировать результат, который выглядит внутренне согласованным, но является принципиально ошибочным, поскольку основан на неправильном понимании действительности.

Достоверность также охватывает информацию, отсутствующую в контексте. Пробел редко остается просто пробелом. Часто он вынуждает агента строить предположения, которые впоследствии становятся неотличимыми от фактов. Поддерживать достоверность особенно сложно, поскольку системы, организации и цели, описываемые контекстом, постоянно развиваются. Код изменяется, API выводятся из эксплуатации, архитектурные решения пересматриваются, а организационные политики со временем меняются. Контекст, который когда-то точно отражал действительность, может незаметно устареть, направляя агентов к устаревшим реализациям или неверным предположениям.
Именно поэтому достоверность неразрывно связана с проверкой. Вопрос заключается не только в том, насколько точен контекст сегодня, но и в наличии механизма поддержания его точности по мере развития системы.

Документы, выступающие единым источником истины (Source of Truth), проверки актуальности, указание источников информации и регулярные ревью помогают сохранять достоверность контекста с течением времени.

Эффективность (Efficiency): Достаточно ли компактен контекст для удобного и экономичного использования?
Эффективность представляет собой характеристику контекста, обеспечивающую максимальное количество полезной информации при минимальном объеме нерелевантных сведений. Эффективный контекст предоставляет агенту все существенное, не перегружая его ненужной информацией.

Это важно по двум взаимосвязанным причинам:
  1. Нерелевантный контекст не просто занимает место, но и конкурирует с полезной информацией за внимание модели, затрудняя эффективные рассуждения;
  2. Каждый лишний токен требует оплаты, и эти затраты накапливаются в каждой сессии.

Вы задаете вопрос об одном небольшом компоненте системы, но при этом передаете агенту всю кодовую базу. Практически все так делают, и большинство понимает, что поступает именно так. Определение релевантной информации требует усилий. Включение всей информации не требует никаких усилий.

Эффективность предполагает дисциплину, позволяющую противостоять этому подходу. Важно подчеркнуть, что речь не идет о краткости ради краткости. Цель заключается не в минимально возможном объеме контекста, а в максимальном соотношении полезной информации к информационному шуму (Signal-to-Noise Ratio). Каждый токен, который конкурирует за внимание, не помогая выполнению задачи, следует исключить.

Безопасность (Security): Безопасен ли контекст и соответствует ли он требованиям комплаенса?
Первые четыре характеристики определяют, позволяет ли контекст агенту качественно выполнять работу. Безопасность отвечает на более фундаментальный вопрос: следовало ли вообще предоставлять агенту этот контекст?

Безопасность рассматривается наряду с остальными характеристиками, поскольку оценивает тот же артефакт, сформированный контекст, хотя и с другой точки зрения. Нарушения первых четырех характеристик снижают эффективность агентов. Нарушения безопасности делают их использование небезопасным. При проблемах с этим измерением может раскрываться конфиденциальная информация, нарушаться политики или возникать возможность манипулирования агентом со стороны злоумышленника через получаемый контекст.

Преобладают два основных класса проблем:
  1. Первый связан с недоверенным контекстом. Информация, извлеченная из источников, на которые может влиять злоумышленник, способна содержать инструкции или просто ложные утверждения, предназначенные для управления поведением агента. Защитные механизмы моделей против таких атак совершенствуются, однако способность конкретной модели противостоять атаке здесь не является главным вопросом. Главное заключается в том, оказался ли контент, контролируемый злоумышленником, в контексте агента. Именно этот механизм лежит в основе описанных ранее атак, направленных на утечку данных, и напоминает урок, который разработчики усвоили благодаря SQL инъекциям (SQL Injection). Информации нельзя доверять только потому, что она поступила через легитимный канал;
  2. Второй класс связан с избыточным предоставлением информации. Агенты могут получать секреты, персональные данные или регулируемую информацию, которая фактически не требуется им для выполнения задачи. После включения в рабочий контекст такая информация может записываться в журналы, кешироваться, передаваться или раскрываться способами, которые организация изначально не предусматривала.

Таким образом, безопасность предполагает как предотвращение попадания вредоносной информации в контекст агента, так и исключение из него ненужной конфиденциальной информации.

Почему именно эти пять характеристик?
Возникает закономерный вопрос: почему фреймворк ограничивается пятью характеристиками, хотя существуют и другие кандидаты, такие как своевременность (Timeliness), стоимость (Cost), происхождение информации (Provenance) и доступность (Accessibility)? Критерий авторов заключается в том, что характеристика заслуживает отдельного измерения только в том случае, если она:
  • не выводится из остальных;
  • допускает независимые действия по улучшению;
  • описывает проблему, которую другие характеристики не охватывают.

Большинство кандидатов естественным образом включаются в существующие измерения:
  • Устаревший контекст представляет собой контекст, который больше не соответствует действительности, поэтому своевременность является аспектом достоверности;
  • Стоимость представляет собой следствие эффективности, а не отдельную характеристику самого артефакта;
  • Происхождение информации связано со способами поддержания доверия к контексту и, следовательно, относится к достоверности.
  • Доступность намеренно исключена из области применения CAFE(S). Возможность обнаружения и извлечения информации является предварительным условием, которое обеспечивается управлением знаниями и системами информационного поиска. CAFE(S) предполагает, что релевантная информация уже собрана, и оценивает качество сформированного контекста.

Пять характеристик CAFE(S) не являются единственным обоснованным способом разделения, и авторы ожидают появления пограничных случаев. Однако выбранные измерения независимы, позволяют предпринимать конкретные действия и в совокупности достаточно полно охватывают способы, которыми контекст способствует успешной работе или приводит к ошибкам, без избыточного пересечения между характеристиками.

Когда возникают проблемы с контекстом
Один из полезных способов понять характеристики CAFE(S) заключается в рассмотрении последствий их нарушения. Низкое качество контекста приводит к закономерным ошибкам. Одни и те же сценарии повторяются в разных моделях, инструментах и организациях. Определение и именование этих сценариев дает командам конкретные проблемы для анализа и обсуждения, подобно тому как разработчики используют термин Code Smell для описания повторяющихся проблем проектирования. По аналогии такие сценарии ошибок можно назвать Context Smells.

Таблица ниже обобщает эти сценарии ошибок:
В совокупности эти примеры иллюстрируют важный вывод. Во многих случаях необходимая информация уже присутствовала в сформированном контексте. Проблема заключалась в том, что она была устаревшей, неоднозначной, противоречивой, скрытой среди информационного шума или смешанной с контентом, которому изначально не следовало доверять. Поэтому вопрос о том, есть ли у агента какой-либо контекст, сформулирован неверно. Более полезный вопрос заключается в том, насколько сформированный контекст действительно пригоден для выполнения конкретной задачи. Именно на этот вопрос призван помочь ответить фреймворк CAFE(S).

Как выглядит качественный контекст на практике
Прежде чем команда сможет оценивать, насколько ее контекст ясен, применим на практике, достоверен, эффективен и безопасен, ей необходимо преодолеть более фундаментальные препятствия:
  • Первое предварительное условие заключается в доступности. Сегодня наиболее распространенная проблема контекста связана не с его низким качеством, а с тем, что агент не может получить к нему доступ. Источники существуют, но они не подключены к агенту, часто из-за реальных ограничений безопасности или обычных сложностей проведения изменений в крупной организации. Контекст, который существует, но остается недоступным, никому не приносит пользы;
  • Второе предварительное условие заключается в преодолении информационного шума. После подключения источников агент должен найти релевантную часть информации. Если 100 каналов Slack имеют общий префикс, какой из них агент должен прочитать и какой объем информации он может обработать, прежде чем исчерпает контекстное окно или бюджет? В простых случаях может быть достаточно поиска по ключевым словам. Но что делать, если необходимый контекст распределен между множеством систем учета, а не сосредоточен в той системе, с которой ведется работа?;
  • Третье предварительное условие является самым сложным: необходимый контекст вообще должен существовать. Значительная часть организационных знаний никогда не была задокументирована. Она сохраняется в разговорах в коридорах, встречах без записей и личных сообщениях, к которым агент не имеет доступа и зачастую не должен его иметь. Никакая инженерия контекста не способна извлечь информацию, которая никогда не была зафиксирована.

Только после преодоления этих трех препятствий измерения CAFE(S) становятся определяющими ограничениями. Это важно подчеркнуть, поскольку такой подход меняет представление о том, с чего большинству команд следует начинать работу. Начинать нужно с повседневной, непримечательной работы по подключению источников, обеспечению возможности поиска по ним и документированию знаний, которые пока существуют только в головах людей, а не с разработки системы оценки. Авторы отмечают, что качественный не означает идеальный. Контекст должен быть достаточно качественным для выполнения конкретной задачи. Немного избыточный контекст обычно предпочтительнее контекста, в котором отсутствует критически важная информация или содержатся неточные инструкции. На практике командам следует сначала устранить проблемы отсутствующего, ошибочного и устаревшего контекста, прежде чем оптимизировать его структуру или краткость.

Качество контекста зависит от места его размещения
Один принцип объединяет все последующие рекомендации: качество конкретного фрагмента контекста зависит от того, где он находится и когда используется. Одна и та же инструкция может быть превосходной в одном месте и вредной в другом.

Например, файл AGENTS.md в корне репозитория, содержимое которого загружается в каждую сессию агента. Инструкция о том, как запускать набор тестов, может быть уместна в этом файле, поскольку она требуется практически в каждой сессии. Однако инструкция, относящаяся к одному редко изменяемому файлу, там неуместна. Она будет добавляться в тысячи сессий, никак не связанных с этим файлом, расходуя токены и внимание модели на информационный шум. Та же самая инструкция, размещенная в виде комментария непосредственно в описываемом файле, внезапно становится качественным контекстом: ясным, эффективным и доступным именно тогда, когда она релевантна. Сами слова остались неизменными, изменилось только их расположение. Место размещения контекста является одной из его важнейших характеристик, поэтому оценка контекста предполагает его рассмотрение в конкретных условиях использования, а не в отрыве от них.

Что могут сделать специалисты
Наиболее результативное действие специалистов заключается в строгом подходе к текстам, написанным человеком и передаваемым агентам, а также в признании того, что создание и поддержание качественного контекста само по себе является частью Software Engineering. Эта работа не выполняется после завершения настоящей работы. Промпт является контекстом. Но контекстом также являются комментарий в коде, архитектурный документ, README и спецификация, сохраненная в репозитории. Любой из этих артефактов агент может воспринимать как инструкцию или как факт. Если информация устарела или неоднозначна, любой из них может направить агента по ошибочному и дорогостоящему пути. Архитектурный документ, который больше не соответствует коду, не просто введет агента в заблуждение. Он приведет к расходованию токенов, пока агент будет искать файлы, которые больше не существуют. Поэтому необходима практика, предполагающая применение ко всему, что вы пишете и что потенциально может прочитать агент, тех же стандартов, которые применяются к самому контексту. Является ли информация ясной? Актуальна ли она? Соответствует ли ее область применения месту размещения? Не содержит ли она указаний доверять информации, которой агент не должен доверять?

Второе действие специалистов заключается в осознанном создании качественного контекста по аналогии с тем, как старший инженер ставит задачу младшему. Речь идет не о сложном и загадочном Prompt Engineering прошлых лет, а о простой практике явного описания того, чего вы пытаетесь достичь, как определить, что задача решена, какие действия запрещены и почему, где находится релевантный код (если вы уверены в этом), а также при каких обстоятельствах агент должен снова обратиться к вам. Примечательно, что для этого не требуются сложные шаблоны промптов или системы, заставляющие разработчиков придерживаться жесткого формата. Такие подходы обычно теряют свою ценность по мере совершенствования моделей. Долгосрочную ценность представляет обучение инженеров искусству создания ясного, достоверного и точно ограниченного по области применения контекста, подобно тому как их обучают писать читаемый код и качественные комментарии.

Что могут сделать команды
Строгий подход специалистов масштабируется до уровня командных практик благодаря общим и согласованным источникам контекста. Спецификации, хранящиеся в виде кода, файлы AGENTS.md, навыки (Skills) и примеры, сохраняемые в репозитории, архитектурные документы, общие глоссарии и другие артефакты, на которые опирается вся команда, являются важными практиками.
Поддержание этих артефактов следует рассматривать как обычное сопровождение и эксплуатацию. Подобно тестам, системам сборки или самому коду, общий контекст деградирует, если команды постоянно не вкладывают усилия в его поддержание.

Поскольку контекст используется совместно, последствия его дефектов многократно усиливаются. Устаревший архитектурный документ или неоднозначный файл AGENTS.md читает не один разработчик, а каждая сессия агента, которая использует этот контекст. Именно поэтому одной из наиболее результативных командных практик является практика ревью контекста (Context Review). Подобно тому как ревью кода помогает выявлять дефекты на ранних этапах и укрепляет общие стандарты, проверка важных артефактов контекста по измерениям CAFE(S) до начала их широкого повторного использования позволяет выявлять неоднозначность, устаревшую информацию, избыточную сложность и небезопасные инструкции до их распространения.

Однако не каждый артефакт требует одинаковой глубины проверки. Файл AGENTS.md, действующий на уровне всего репозитория и влияющий на тысячи сессий, заслуживает гораздо более тщательного ревью, чем рабочая заметка, которой обмениваются два инженера. Усилия на проведение ревью должны быть пропорциональны влиянию контекста при его повторном использовании.

Командам также следует установить соглашения о размещении различных типов контекста. Поскольку качество контекста зависит от того, где он используется, согласование мест хранения проектной документации, ранбуков (Runbooks), архитектурных решений, соглашений по написанию кода и инструкций, действующих на уровне всего репозитория, упрощает их обнаружение и сопровождение как людьми, так и агентами. Цель заключается в создании предсказуемых мест, где можно найти важные знания, а не в жесткой стандартизации ради самой стандартизации.

При этом необходимо соблюдать баланс. Не весь контекст следует подвергать публичному ревью или размещать в общих репозиториях. Значительная его часть носит действительно личный характер, например предпочтения человека в организации работы, его собственные приоритеты или личные заметки. Публикация всей такой информации снизит индивидуальную продуктивность и одновременно загрязнит контекст остальных участников нерелевантными сведениями.
Ответственность команды заключается в определении того контекста, который должен совместно использоваться, проходить ревью и поддерживаться как общее знание.

Что могут сделать организации
На уровне организации задача выходит за пределы отдельных репозиториев и охватывает инфраструктуру, обучение, политики и долгосрочное управление. Организациям необходима инфраструктура, позволяющая агентам безопасно извлекать информацию из корпоративных систем, механизмы управления (Governance), предотвращающие попадание конфиденциального или вредоносного контекста в рабочие процессы агентов, а также четкое распределение ответственности, чтобы важный контекст незаметно не устаревал по мере развития систем и команд.

Каждый значимый общий источник контекста, включая эксплуатационные инструкции, архитектурные документы, политики, глоссарии, схемы и рекомендации по использованию платформ, должен иметь четко определенного владельца и установленную периодичность ревью, чтобы достоверность контекста со временем незаметно не снижалась. По возможности ответственность за владение должна закрепляться за командами, а не за отдельными специалистами, обеспечивая сохранность важного контекста при реорганизациях и кадровых изменениях. Аналогичным образом инфраструктура поиска и извлечения информации должна обеспечивать обнаружение качественного контекста при сохранении надлежащей защиты информации с ограниченным доступом.

Организациям также следует инвестировать в обучение. Создание и поддержание качественного контекста является инженерным навыком, подобно написанию сопровождаемого кода или проведению эффективного ревью кода. Инженеры должны понимать не только то, как эффективно работать с агентами, но и почему качество контекста имеет значение и как применять измерения CAFE(S) при создании или ревью общего контекста.

Наконец, организациям следует признать контекст инженерным активом, а не побочным продуктом поставки функциональности. Фиксация обоснований архитектурных решений, документирование важных решений и поддержание общего понимания требуют времени, однако их ценность накапливается по мере того, как люди и агенты все больше на них полагаются. Организации, которые поощряют исключительно краткосрочную поставку функциональности, будут наблюдать постепенную деградацию общего контекста. Организации, инвестирующие в поддержание качественного общего контекста, создадут более здоровую среду как для разработчиков, так и для AI агентов.

Качественный контекст создает условия для автономности, но не гарантирует ее
Фреймворк CAFE(S) легко воспринять как контрольный список, выполнение которого автоматически позволяет предоставить агенту автономность. Однако это не так. Качественный контекст является предварительным условием для доверия агенту большей автономности, но сам по себе ее не гарантирует. Ясный, применимый на практике, достоверный, эффективный и безопасный контекст создает условия, при которых повышение автономности становится обоснованным. Однако решение о предоставлении такой автономности по-прежнему зависит от значимости задачи, допустимого для организации уровня риска и распределения ответственности в случае возникновения проблем.

Фреймворк CAFE(S) описывает, что представляет собой качественный контекст. Фреймворк не утверждает, что одного качественного контекста достаточно, чтобы передать агенту полный контроль. Он лишь указывает, что без качественного контекста этого делать не следует.

Как CAFE(S) соотносится с инструментами и практиками, которые вы уже используете
У инженерного руководителя, читающего эту статью, может возникнуть закономерный вопрос: я уже измеряю показатели поставки, провожу оценку систем поиска и извлечения информации (Retrieval Evaluation), следую рекомендациям по безопасности, а моя платформенная команда использует инструменты наблюдаемости. Нужен ли мне еще и этот фреймворк?

Ответ положительный, поскольку ни один из перечисленных инструментов не оценивает то, что оценивает CAFE(S). Они охватывают смежные аспекты системы, тогда как CAFE(S) описывает качество самого артефакта контекста.

Различия проще всего увидеть при непосредственном сравнении фреймворков:
  • DORA охватывает скорость и стабильность системы поставки. CAFE(S) оценивает информационную среду, обеспечивающую работу этой системы, в которой все чаще возникают причины проблем с поставкой;
  • SPACE, DX Core 4, EngThrive охватывают человеческие аспекты продуктивности, опыт разработчиков и результаты, к которым стремятся команды. CAFE(S) оценивает качество общей информационной среды, которая все сильнее влияет на эффективность как людей, так и агентов;
  • RAG evaluation frameworks охватывают качество поиска, извлечения и генерации информации, преимущественно достоверность и частично эффективность. CAFE(S) объединяет эти характеристики с ясностью, применимостью на практике и безопасностью в единую модель качества, позволяя оценивать их совместно, а не рассматривать поиск и извлечение информации изолированно;
  • OWASP LLM Top 10 охватывает углубленный анализ рисков безопасности LLM приложений. CAFE(S) включает безопасность в более широкую модель качества, позволяя оценивать безопасность наряду с практической полезностью;
  • Context and Harness engineering guidance (Anthropic, Böckeler, others) охватывают способы формирования качественного контекста и сред выполнения агентов, предписывающие подходы к проектированию. CAFE(S) предоставляет критерии оценки качества полученного контекста независимо от способов его формирования;
  • Triple Debt Framework охватывает состояние программной системы на протяжении времени через призму технического, когнитивного долга и долга намерений. CAFE(S) определяет, где долг намерений приобретает конкретные и непосредственные проявления;
  • TRUCE охватывает как разработчики и руководители определяют качество по пяти измерениям. CAFE(S) применяет аналогичный подход к определению качества артефакта через несколько измерений, но к характеристикам качественного контекста, а не к качеству кода.
Общая закономерность заключается в том, что CAFE(S) является независимым и дополняющим подходом. Он не заменяет ни один из перечисленных инструментов. Это система оценки качества артефакта контекста, предназначенная для использования поверх уже существующего технологического стека.

Фреймворк CAFE(S) использует существующие инструменты наблюдаемости, а не конкурирует с ними. Он оценивает контекст, который помогают формировать такие стандарты, как протокол контекста модели (Model Context Protocol, MCP). MCP стандартизирует способы сбора контекста, а CAFE(S) позволяет определить, насколько качественным оказался собранный контекст.

Отдельного рассмотрения заслуживает связь с работой Margaret-Anne Storey, поскольку она наиболее близка по своей концепции. Модель тройного долга (Triple Debt Model) описывает долг намерений (Intent Debt) как постепенную утрату целей и обоснований, необходимых для безопасного развития системы. Она также описывает когнитивный долг (Cognitive Debt) как постепенную утрату командой понимания проекта, его структуры и истории. CAFE(S) сосредоточен на моменте, когда эти долгосрочные формы долга могут проявиться на операционном уровне. Когда задача делегируется агенту, он может использовать только предоставленный ему контекст.

Поэтому намерения, которые никогда не были явно зафиксированы либо со временем устарели, оказались фрагментированы или утратили согласованность, могут отсутствовать в контексте или быть представлены некорректно. При этом когнитивный долг может ограничивать способность команды обнаруживать и исправлять такие недостатки. В этом смысле CAFE(S) предоставляет способ оценки непосредственного контекста, в котором когнитивный долг и долг намерений могут приводить к практическим последствиям, без непосредственного измерения любой из этих форм долга.

Заключение
Фреймворк CAFE(S) дополняет устоявшиеся практики, такие как управление знаниями, поиск и инженерия контекста. Эти практики определяют, можно ли найти и собрать необходимую информацию. CAFE(S) рассматривает более узкий вопрос: достаточно ли качественен сформированный контекст, чтобы агент мог выполнить работу наилучшим образом?

Тезис авторов намеренно ограничен. Они утверждают, что качество контекста можно описать через пять устойчивых характеристик. Определение этих характеристик предоставляет командам общий язык для анализа контекста как полноценного инженерного артефакта (First-Class Engineering Artifact).
Подобно коду, контекст может проходить ревью, иметь владельцев, совершенствоваться и постепенно деградировать. Однако, в отличие от кода, контекст до сих пор практически не подвергался систематической оценке, несмотря на то что он все сильнее определяет эффективность совместной работы людей и агентов.

Авторы также намеренно ограничили область рассмотрения. Эта статья определяет фреймворк, но не предлагает систему измерения. В дальнейшем потребуется разработать надежные способы эмпирической оценки этих характеристик и понять, как улучшение качества контекста влияет на взаимодействие, поставку и организационные результаты. Для содержательного измерения необходимо общее определение того, что именно измеряется. Прежде чем команды смогут улучшать качество контекста, им необходим общий словарь для его обсуждения. Более широкий вывод выходит за пределы конкретной модели, фреймворка или поколения AI систем.

Модели продолжат совершенствоваться. Среды выполнения агентов станут более сложными. Инструменты и методы инженерии контекста продолжат развиваться. Потребность в ясном, применимом на практике, достоверном, эффективном и безопасном контексте сохранится. Эти характеристики являются свойствами эффективной коммуникации, а не какой-либо конкретной технологии.

По мере того как разработка все больше становится совместной деятельностью людей и AI агентов, качество этого взаимодействия будет зависеть не только от интеллектуальных возможностей наших моделей, но и от качества информационной среды. Поэтому улучшение взаимодействия людей и агентов требует большего, чем создание более агентов. Оно требует формирования более качественного контекста.

Признание контекста полноценным инженерным артефактом и предоставление командам общего языка для анализа его качества является важным шагом на пути к этому будущему.