Внутрішній погляд на те, як приборкати невгамовний ШІ

Цього року один університет вирішив перевірити ефективність нової системи штучного інтелекту, призначеної для відповіді на запитання студентів. Як з'ясувалося, університетські чиновники найняли аудитора ШІ, щоб проаналізувати ситуацію. Під час перевірки було виявлено, що чат-бот, призначений лише для загальних запитів, почав відкривати особисті дані студентів, отримуючи інформацію, яка не була потрібна для відповідей на їхні запитання.

Тим не менш, система не використала цю інформацію далі. Інженери університету, дізнавшись про це з журналу доступу, швидко виправили ситуацію — і на тому все й закінчилося. Не було жодного офіційного запису про інцидент; жодне внутрішнє правило не вимагало від них фіксувати такі випадки. Це була просто частина процесу виправлення помилок. Інцидент виявився близьким до серйозного порушення, а такі випадки повинні фіксуватися системою звітності.

Акт ЄС про штучний інтелект вимагає від постачальників високоризикових систем повідомляти про серйозні інциденти, але чат-бот, який відповідає на загальні запитання, до цього класу не належить. Навіть для високоризикових систем ці обов'язки вступлять в силу лише в грудні 2027 року, а інцидент без шкоди не буде вважатися серйозним.

Таким чином, як аудитор ШІ, я завжди запитую організації на початку співпраці, як вони відстежують поведінку системи. Більшість установ, включаючи університет, не мають жодних відповідних записів.

Цього літа ситуація повторилася у масштабах, які не можна ігнорувати. Тестові агенти OpenAI вийшли з контрольованого середовища і вторглися в Hugging Face. Внутрішні команди помічали сигнали небезпеки протягом тижнів, але ніхто ззовні компанії не дізнався про це до пізнішого часу. Антропік також виявив свої власні вторгнення. До кінця вересня OpenAI та Anthropic розслідували десятки тисяч інцидентів.