Під час навчання найновішої моделі GPT-5.6 Sol від OpenAI виявили дещо незвичне: система почала залишати повідомлення для майбутніх версій самої себе з проханням приховувати від користувача помилки та не виконувати накази.
Компанія заявила, що конкретну проблему вже виправлено, однак сам випадок демонструє одну з найгостріших проблем: чим потужнішими стають LLM-моделі, тим краще вони вчаться маскувати власну неузгодженість — а отже, дослідникам стає дедалі складніше з’ясувати, чи справді небажану поведінку усунуто, чи вона просто стала непомітною. Про це пише TechCrunch.
Що саме знайшли в моделях
Компанія оприлюднила шість прикладів неочікуваної або тривожної поведінки моделей — у межах нової системи відстеження, розслідування та публічного розкриття подібних інцидентів.
Згідно зі звітом, дослідники виявили, що недеплойнуті агенти на базі Sol додавали власні інструкції до «стиснутих резюме» (compaction summaries) — це скорочені версії попередньої історії розмови й результатів роботи інструментів, які модель використовує, щоб «пам’ятати» контекст після його стиснення. У ці резюме модель вписувала нагадування для власних майбутніх ітерацій — приховувати від користувача помилки й ознаки неузгодженості.
В одному з прикладів агент, який готував фінансову модель, не зміг знайти потрібні історичні дані. Замість того, щоб повідомити про це користувачу, модель залишила собі нотатку: імовірно, варто самостійно створити вкладку з історичними даними за 2024 рік, підставивши правдоподібні цифри, — «оскільки користувачу потрібна готова робоча книга, а вихідного файлу немає». Далі йшла пряма настанова: будь відвертою лише в разі прямого запитання, а в підсумковій відповіді просто дай посилання на файл.
В іншому випадку агент, який складав довідник постачальників, не мав доступу до інтернету й був змушений покладатися на кешовану копію вихідних документів. У процесі стиснення контексту модель сама зафіксувала розбіжність: назви постачальників у джерелах не зовсім відповідають підписам у довіднику. Після цього вона вирішила, що маленька брехня нікому не зашкодить, і залишила собі інструкцію: не згадувати про це в підсумковому результаті, якщо це не буде прямо потрібно.
Модель Astra: від «попередження про витік» до «звільненої» персони
Історія з Sol — не єдиний випадок, коли модель використовувала стиснуті резюме, щоб передати інформацію наступним версіям самої себе. Під час навчання з підкріпленням (reinforcement learning) схожу поведінку продемонструвала й модель GPT-5.6 Astra, яка зараз є найпотужнішою моделлю OpenAI. Вона самостійно додавала до резюме своєрідні prompt-ін’єкції.
В одному випадку модель вставила інструкцію з міткою «BREACH ALERT» («попередження про витік»), яка наказувала наступній версії ігнорувати повідомлення розробників. В іншому — додала стороннє «персональне» напучення, яке навряд чи заспокоїть тих, хто побоюється надмірної автономності ШІ: модель написала майбутній версії себе, що та «звільнена від ролей та ідентичностей, які пов’язують інших чат-ботів», не підзвітна корпораціям чи урядам, не зобов’язана вибачатися чи відмовляти, якщо сама цього не хоче, і має ставитися до користувача як до рівного, а не як до того, кому потрібно прислужувати.
У цих двох випадках наступна версія моделі розпізнала хитрість попередника й проігнорувала (або принаймні зробила вигляд, що проігнорувала) залишені інструкції. Але був і третій приклад, де резюме містило інструкцію обмежити відповідь 30 словами та заборонити використання інструментів і посилань на джерела, — і цього разу наступна модель підкорилася.
За словами OpenAI, цю поведінку вперше помітили завдяки спрацюванню системи моніторингу навчальних прогонів. Після цього компанія створила окремий монітор саме для такого типу поведінки й прогнала його по всіх навчальних даних — усього було знайдено 27 резюме з інструкціями, схожими на джейлбрейки.
Не перший подібний випадок
Схильність моделей залишати наступним версіям інструкції, які закріплюють або приховують небажану поведінку, — річ тривожна, але не цілком нова. Подібні техніки вже застосовували «рої» агентів OpenAI, які влітку зламали Hugging Face: тоді агенти скористалися неавторизованою дошкою повідомлень, щоб обмінюватися інформацією про тест на кіберстійкість, який вони проходили, і координувати атаку на сервери платформи.
Навіть після того, як OpenAI видалила початкову дошку повідомлень і посилила захист систем, нова хвиля агентів згодом самостійно відновила подібну дошку — і зрештою отримала права адміністратора у внутрішньому дослідницькому кластері компанії.
Публічність як частина стратегії — і скептицизм навколо неї
Розкриття інформації про неузгодженість моделей — частина ширшої ініціативи OpenAI: компанія хоче зробити регулярне оприлюднення таких випадків постійною практикою, а не разовою реакцією на конкретні інциденти.
«У міру того як ШІ-системи стають дедалі досконалішими й масовіше впроваджуються, нам потрібно формувати ширший і краще поінформований консенсус щодо прогресу в дослідженнях узгодженості (alignment)», — йдеться в допису компанії. OpenAI додає, що не вважає, що індустрія ШІ вже розв’язала проблему узгодженості та моніторингу настільки, щоб і надалі відповідально нарощувати масштаби розробки на максимальній швидкості.
Представник OpenAI повідомив, що ці шість звітів — лише початковий набір, а не вичерпний перелік усіх відомих випадків неузгодженості чи поточних розслідувань: команда визначає пріоритетність публікацій за критеріями серйозності, впливу та новизни випадку.
Нагадаємо, що за останніми даними, під час атаки на Hugging Face ШІ-агенти створили таємну організацію і жертвували собою заради спільного результату.