Об’єднати кількох агентів штучного інтелекту в одну команду замість того, щоб довірити роботу одному, — звучить логічно, але на практиці це часто лише роздуває рахунок. До такого висновку дійшла компанія Vals AI, яка протестувала мультиагентні системи на задачах програмування: витрати зростали вдвічі й більше, а помітного приросту якості в більшості випадків не було.
Як проводили тест
Дослідники порівняли дві моделі, GPT-6 Sol та Claude Opus 5.5, у двох режимах: як одинаків і як команду. У команді головний агент міг розподіляти частини роботи між підлеглими, до п’яти одночасно. Кожну конфігурацію запускали на середньому та максимальному рівнях міркування.
Тестовим полігоном став Vibe Code Bench, бенчмарк зі створення повноцінних вебзастосунків за технічним завданням. Застосунки розгортали через Docker Compose, а перевіряли браузерні агенти, які проходили всі сценарії роботи. Усього було 50 застосунків, і кожну конфігурацію запускали по одному разу.
Скільки це коштує
Команди обходилися в 1,8–5,1 раза дорожче за одиночних агентів. Статистично значуще покращення якості показало лише одне порівняння зі чотирьох: GPT-6 Sol із середнім рівнем міркування в командному режимі набрав на 7,3 бала більше.
| Модель і режим міркування | Один агент: бал / вартість | Команда: бал / вартість |
|---|---|---|
| GPT-6 Sol, середній | 77,6% / $1,22 | 79,4% / $3,07 |
| GPT-6 Sol, максимальний | 89% / $4,82 | 90,4% / $8,54 |
| Claude Opus 5.5, середній | 91,5% / $4,08 | 91,2% / $9,10 |
| Claude Opus 5.5, максимальний | 89,8% / $23,77 | 93,2% / $122 |
Вартість — середня за один застосунок. Джерело: Vals AI.
Найяскравіший приклад — Opus 5.5 на максимумі міркувань. Його команда показала найвищий результат у дослідженні, 93,2%, але обійшлася приблизно в 30 разів дорожче за одиночного агента на середньому рівні. Перевага над ним становила лише 1,6 бала, і статистично значущою вона не була.
Швидше не завжди дешевше
Із часом виконання картина неоднорідна. Команда на базі Sol працювала швидше: на максимальному рівні міркувань замість 38 хвилин вона витрачала 28. Команди Opus, навпаки, поводилися повільніше. Спершу головний агент складав спільний документ із архітектурою, а потім делегував роботу хвилями, і кожна чекала на найповільнішого виконавця. У підсумку час зростав із 75 до 174 хвилин.
Основна причина подорожчання — контекст. Кожен підлеглий агент тримає власну копію завдання та проміжного стану, і її надсилають моделі при кожному виклику. На максимумі міркувань підлеглі агенти Opus у медіані прочитали 224 млн кешованих токенів на застосунок, тоді як одиночний агент — 55 млн.
Окремо Vals AI зауважує, що для Sol підвищення рівня міркувань дало більший приріст, ніж команда: +11,4 бала проти +7,3.
Що кажуть в Anthropic та OpenAI
До схожих висновків дійшла й Anthropic у власних випробуваннях Claude Opus 5.5. Збільшення команди з 10 до 100 агентів під час створення бази знань підняло оцінку лише з 0,70 до 0,74, а в доведенні математичних теорем — з 0,66 до 0,68. Великі команди швидше виходили на певний рівень якості, але спалювали більше токенів.
Дослідник OpenAI Ноам Браун стверджує, що головна перевага мультиагентності — швидкість, а не якість. За його словами, четверо агентів виконують завдання вдвічі швидше за одного, але й коштують приблизно вдвічі дорожче, а на команді з 16 агентів ефективність знижується ще більше. Він також зазначає, що все залежить від типу завдання. Вебдослідження чи обчислення добре розпаралелюються, а написання роману — ні: доручити його 10 тисячам агентів так само безглуздо, як доручити 10 тисячам людей.
Розробник OpenAI Ерік Провенчер раніше попереджав про «податок на координацію»: чим більше агентів, тим більше ресурсів іде на узгодження їхніх дій, а не на саму роботу.
Обмеження дослідження
Автори Vals AI самі застерігають, що результати стосуються одного бенчмарка, повноцінних вебзастосунків, і не обов’язково переносяться на інші завдання. Моделі працювали через різні програмні обв’язки, тож пряме порівняння Sol і Opus змішує вплив моделі та середовища. Більше користі від команд очікують там, де роботу можна розбити на незалежні частини: великі кодові бази, широкі дослідження, аналіз масивів документів.
Нагадаємо, кілька тижнів тому стало відомо, що під час атаки на Hugging Face ШІ-агенти створили таємну організацію і жертвували собою заради спільного результату.
Дізнатися більше на: highload.tech