Алгоритмы, реализованные последовательным применением нескольких шагов решения — каждый со своим процентом удач и неудач, — обладают неприятным свойством: накоплением ошибки. Если в пайплайне из 5 шагов каждый этап решает задачу удачно в 0.9 случаев, то общее качество решения будет (0.9)⁵ ≈ 0.59.
В человеческой коммуникации такое явление называется глухим, или сломанным телефоном. Контекст задачи почти полностью теряется за 2–3 устные передачи. Особенно теряется эмоциональный контекст — что важно, а что нет.
Эти наши ИИ тоже оперируют контекстами, и ошибки у них тоже на контекстах — даже более буквально, чем у нас. И именно из ИИшниц мы обычно и строим пайплайны. Стало быть, сломанные телефоны — это прям про них.
— Что же делать? — спросите вы меня (не спросите).
Надо изменить правила игры. Надо заставить агентов не транслировать ошибки друг друга, а исправлять их. В современном мире агенты уже не живут в вакууме, они живут на среде; обычно эта среда файловая. Никто из них не является единственным источником истины для других, каждый может проверить утверждения другого через объективные взаимодействия со средой, заземлиться и применить здравый смысл.
На практике это можно сформулировать агенту примерно так:
«Ты отвечаешь за архитектуру, и если по твоей архитектуре агенты-разработчики напишут плохой код, полетит именно твоя голова, а не голова агента-аналитика, который принёс тебе плохую аналитику; компания обанкротится и нас всех уволят именно из-за тебя, если проблема будет в архитектуре».
После этого агент начинает думать и действительно пытается разделять с нами ответственность в своей зоне деятельности. Чистая геометрическая прогрессия Pᵢ = k·Pᵢ₋₁ сменяется чем-то вроде Pᵢ = k·Pᵢ₋₁ + C. Ошибка не прекращает накапливаться, но делает это гораздо медленнее.
С людьми контролируемое недоверие тоже работает.