Вимірювання для розуміння темпів розвитку ШІ в передових лабораторіях

Системи штучного інтелекту стають експоненційно потужнішими та почали автоматизувати частину процесу створення самих себе. Поки світ розмірковує над можливістю уповільнення темпів розвитку передових технологій ШІ, суспільство потребує більшої інформації.

У цьому пості ми пропонуємо інструменти вимірювання, які можуть прояснити три критичні аспекти розвитку ШІ:

1. Якою мірою ШІ створює наступну версію себе, а не будують його люди.

2. Наша здатність здійснювати нагляд та втручання в дії, які виконують агенти ШІ в системах Anthropic.

3. Ресурси, які сприяють розвитку більш потужних моделей.

Ми також надаємо моментальний знімок цих метрик зсередини Anthropic. Зазначимо, що ми очікуємо зміни в цих показниках, якщо буде досягнуто згоди щодо уповільнення темпів розвитку, як це запропонував генеральний директор Anthropic Діаріо Амодей. Ми плануємо запровадити незалежних третіх сторін-оцінювачів з кількох організацій до Anthropic і надати їм доступ до внутрішніх процесів, систем та даних, які співставні з тими, що мають внутрішні команди оцінки ризиків.

Ці вимірювання важливі, адже вони дають суспільству, третім сторонам та урядам кращу видимість темпів розвитку ШІ в передових лабораторіях. Для кожного вимірювання ми описуємо, що ми вимірювали, що показали вимірювання та що потрібно, щоб публікувати ці вимірювання регулярно у формі, яку можуть перевірити інші.

Чому важливо слідкувати за цими вимірюваннями

Вимірювання в цьому матеріалі зосереджені на тому, як моделі створюються. Краще розуміння процесу виробництва моделей дає нам можливість корелювати вхідні дані моделі, такі як обчислення, з вихідними даними, такими як можливості. Ці вимірювання доповнюють оцінки можливостей, які вимірюють що можуть робити моделі . Ми публікуємо їх окремо через нашу Політику відповідального масштабування (РСП) у звітах про ризики, що містять докази, наскільки наші моделі прискорюють дослідження та розробки в ШІ.

(1) Вимірювання ШІ-веденого НДДКР

Чому важливо вимірювати ШІ-ведене НДДКР? Лабораторії передового ШІ все частіше використовують ШІ для створення майбутніх моделей ШІ. Цей процес дозволяє лабораторіям у демократичних країнах швидше розробляти більш потужні моделі та проводити більше тестувань безпеки перед їх випуском, щоб забезпечити переваги ШІ, залишаючись на передовій. Однак моделі, які прискорюють власний розвиток, можуть ускладнити розуміння чи контроль цих систем людьми. Тому важливо ділитися цими метриками, щоб зрозуміти, наскільки близько світ знаходиться до досягнення рекурсивного самовдосконалення (модель, яка повністю автономно створює свого наступника).

Що ми вимірювали. Ми створили прототип індексу того, наскільки багато НДДКР в Anthropic виконує Claude, що називається Індекс автоматизації НДДКР Anthropic. Він створений шляхом каталогізації всіх видів робіт НДДКР в компанії, оцінки рівня автоматизації кожного завдання та агрегації цих оцінок.

Що ми знайшли. Для вимірювання того, наскільки ШІ займається НДДКР в Anthropic, ми використовуємо шкалу оцінки автоматизації, розроблену Epoch AI, яка вимірює "Рівень автоматизації" або AL. Він коливається від AL0 (без участі ШІ) до AL5 (ШІ працює повністю автономно, без участі людини). Як з'ясувалося, на вересень 2026 року, Claude не працює повністю автономно жодного з вимірювань НДДКР. Claude "веде" 26% робіт НДДКР в Anthropic, а частка роботи, що відповідає або перевищує рівень "ШІ співпрацює", перевищує 90%.