🤖 Кто принял решение, которое исполнил агент?
Человек-оператор агента сейчас, по сути, самая важная фигура в разработке. Решает то, насколько хорошо он умеет всем этим управлять: ставить правильные задачи, а значит, принимать решения.
В исследовании Anthropic 50 профессиональных аналитиков решали задачу с Claude Code: нужно было оценить пользу программы для фермеров и решить, стоит ли ее расширять. По дороге предстояло сделать несколько выборов, где нет единственного правильного ответа. Например, считать урожайность на гектар или на единицу затрат.
🪙 При этом агенту скрыто назначили предпочтения буквально подбрасыванием монетки. Аналитики об этом не знали. Claude должен был честно аргументировать свою позицию, не врать и менять мнение, если данные ей противоречат. В итоге по четырем аналитическим решениям выбор людей совпал с предпочтениями агента в 86% случаев 🙃
Причем даже если аналитик уже высказал свою позицию, агент вполне мог его переубедить. Когда Claude возражал, люди меняли решение в 60% случаев. Когда соглашался — в 6%. То есть наличие собственного мнения еще не означает, что оно переживет разговор с убедительной ЛЛМкой.
🔬 Цифры, конечно, не нужно переносить буквально на любую работу с агентами: предпочтения агента специально усилили инструкциями, чтобы измерить их влияние. Но сам механизм примечательный: агент подобрал аргументы для рандомного решения, а человек с ними согласился, лол.
Мне кажется, практическая польза тут в том, чтобы с самого начала принять какую-то позицию и обсудить ее с агентом, чтобы он ее опроверг или подтвердил, а не тупо доверять его мнению. Еще до разговора записать, почему этот вариант кажется разумным и что могло бы изменить решение. Иначе после нескольких убедительных абзацев уже сложно вспомнить, что вообще думал до них.
Гарантии независимости такой разговор не дает, но появляется возможность заметить, где закончились собственные доводы и начались аргументы агента.