OpenAI розширила набір інструментів для тих, кому потрібна швидка робота штучного інтелекту. Для GPT-6.1 Sol з’явився режим Ultrafast, який прискорює відповіді до 8 разів, але коштує значно дорожче. Окремо компанія відкрила публічну бету Decisions API, призначеного для швидких простих рішень.
Навіщо потрібна швидкість
Кращих моделей для багатьох реальних завдань мало. ШІ-застосунки й агенти нерідко мусять ухвалити кілька рішень або виконати кілька дій, перш ніж відповісти на запит, і тут затримки стають вузьким місцем. Тому OpenAI зробила два кроки.
Минулого тижня компанія представила GPT-6.1 Sol. За її словами, ця модель наближається до рівня GPT-6 Astra в агентному програмуванні, роботі з комп’ютером і професійних завданнях, але коштує вп’ятеро менше. Тепер до неї додали режим Ultrafast.
Ultrafast: швидкість за гроші
Новий режим доступний в API, Codex і ChatGPT Work. Найбільше він допомагає в Codex: до 8 разів швидше, ніж у стандартному режимі. Для розробників це означає менше очікування під час написання коду, пошуку помилок і тестування змін. В API Ultrafast скорочує затримки, з якими агенти виконують робочі процеси.
Щоб увімкнути режим в API, у запиті потрібно вказати service_tier зі значенням ultrafast. OpenAI також радить використовувати постійні WebSocket-з’єднання, які зменшують мережеві накладні витрати й дозволяють отримати від режиму максимум.
Платити за це доведеться істотно більше:
| Режим | Вхідні токени (за 1 млн) | Вихідні токени (за 1 млн) |
|---|---|---|
| Standard | $2 | $10 |
| Ultrafast (короткий контекст) | від $12 | від $60 |
Тобто Ultrafast вшестеро дорожчий за стандартну обробку.
Decisions API: коли потрібне не міркування, а вибір
Якщо Ultrafast пришвидшує складні міркування, то Decisions API заточений під прості рішення, які треба ухвалювати швидко. Інструмент працює на GPT-6 Luna, обробляє текст і зображення та повертає структуровані результати, з якими застосунок може працювати напряму.
Це корисно там, де звичайна велика мовна модель підходить гірше. Наприклад, застосунок підтримки клієнтів має визначити, до якого відділу спрямувати запит: біллінг, технічна підтримка чи доставка. Замість текстової відповіді моделі Decisions API одразу обирає потрібну категорію.
Підтримуються три типи рішень:
- Predicate: повертає оцінену ймовірність того, що умова істинна;
- Choice: обирає варіант із заздалегідь заданого набору й дає інформацію про ймовірності;
- Score: оцінює вхідні дані за наперед визначеною рубрикою.
За даними OpenAI, під час ранніх тестів Decisions API працював до 10 разів швидше, ніж аналогічні рішення через Responses API з GPT-6 Luna. Вартість становить $0,10 за мільйон вхідних токенів (при використанні GPT-6 Luna). За вихідні токени, читання з кешу та запис у кеш окремо не стягують.
Нагадаємо, що цього тижня GPT-6 стала доступною для всіх тарифів ChatGPT.