Мінцифри презентувало рейтинг ШІ-моделей за рівнем володіння українською

Україна запустила перший національний рейтинг мовних моделей за знанням української

Центр компетенцій WINWIN AI при Міністерстві цифрової трансформації України, спільно з Українським католицьким університетом та ініціативою lang-uk, запустив Ukrainian LLM Leaderboard — відкритий рейтинг, що оцінює, наскільки добре великі мовні моделі (LLM) працюють саме з українською мовою.

Ініціатори пояснюють запуск тим, що глобальні AI-бенчмарки переважно тестують моделі англійською мовою, тоді як якість роботи з українською часто залишається поза увагою. У результаті, модель може демонструвати високі результати у світових рейтингах, але при роботі українською допускати помилки, використовувати російські кальки або неправильно розуміти контекст.

Що перевірятимуть у моделей

Український лідерборд тестує моделі на завданнях, наближених до реального використання. Зокрема, ШІ має:

Перекладати, переказувати та стисло викладати великі тексти.
Знаходити відповіді у документах.
Розв’язувати логічні завдання.
Відповідати на запитання зі шкільної програми рівня ЗНО.
Виконувати математичні обчислення.
Дотримуватися складних інструкцій.

Це означає, що перевірятимуть не лише грамотність моделі українською, а й її здатність повноцінно виконувати різноманітні завдання цією мовою.

Розробниками рейтингу є експерти УКУ та спільноти lang-uk Юрій Панів і Дмитро Чаплінський. За даними Мінцифри, команда понад 10 років працює над технологіями обробки української мови.

Усі дані та код відкрили

Рейтинг створено як відкриту платформу. Код, дані та результати тестування опублікували на Hugging Face, щоб користувачі могли самостійно порівнювати моделі та перевіряти методологію.

Юрій Панів, аспірант УКУ та керівник розробки української мовної моделі Lapa, пояснює, що одна з головних цілей проєкту — зрозуміти сильні та слабкі сторони різних моделей саме в роботі з українською мовою. «Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять», — зазначив він.

За його словами, лідерборд має допомогти бізнесу обирати моделі для інтеграцій, а дослідникам — порівнювати результати за єдиною системою.

Навіщо це державі

У Мінцифри наголошують, що питання якості української мови в AI важливе не лише для розробників. ШІ вже використовується у державних сервісах, банкінгу та інших продуктах, якими користуються мільйони людей. Тому держава прагне мати інструмент, за допомогою якого можна порівнювати моделі перед їх впровадженням.

Окремо планують тестувати моделі на завданнях, характерних для держсектору: роботу з адміністративними процедурами, нормативними документами та персональними даними.

Що додадуть у рейтинг

Ukrainian LLM Leaderboard планують розширювати. У майбутньому команда хоче оцінювати не лише роботу з текстом. Серед запланованих напрямів — робота із зображеннями, етичність моделей та вартість їх використання українською мовою. Окремий блок присвятять потребам державного сектору.

Переглянути рейтинг і методологію можна на Ukrainian LLM Leaderboard у Hugging Face.