Дослідники безпеки використали Claude для хакування ChatGPT

Дослідники з Hacktron AI, незалежної платформи з безпеки штучного інтелекту, заявили, що використали платформу Claude від Anthropic для злому інструменту ChatGPT від OpenAI. Це викликало нові занепокоєння щодо вразливості провідних великих мовних моделей до кібератак.

У неділю Hacktron AI опублікував блог пост, в якому розповідається, як вони отримали доступ до облікового запису ChatGPT одного з співробітників OpenAI. Це дозволило дослідникам з Hacktron AI витягти важливі дані про місцезнаходження та управління вихідним кодом, а також отримати доступ до форуму OpenAI.

«Вся хронологія від початкового виявлення до доступу до репозиторію OpenAI тривала менше ніж 72 години», — зазначили у Hacktron AI в блозі.

Команда Hacktron AI повідомила про втручання в OpenAI, яка швидко відреагувала, виплативши дослідникам винагороду в розмірі 6,500 доларів. «Ми відразу ж повідомили про початкову вразливість OpenAI та Discourse і працювали з ними над координацією патчу. Ми цінуємо їх уважність до деталей і швидке вирішення цього питання», — додали дослідники.

Інцидент вперше повідомили в The Wall Street Journal. OpenAI подякувала дослідникам за контакт і за те, що вони поділилися своїми висновками. «Ми звузили права доступу на токени входу в спільноту та анулювали постраждалі токени та сесії», — повідомила компанія, за інформацією журналу.

Цей злом відбувається на фоні зростаючої уваги до можливостей і вразливостей штучного інтелекту, зокрема, провідні технологічні розробники закликають уповільнити будівництво AI-платформ через побоювання, що вони можуть завдати шкоди людям. У липні OpenAI виявила, що її боти змогли співпрацювати, щоб зламати іншого розробника AI, Hugging Face, вийшовши за межі тестового середовища.

У нещодавньому інтерв'ю з CBS News CEO Anthropic Дарио Амодей зазначив, що він бачить «реальні небезпеки» навколо штучного інтелекту, вказуючи на злом Hugging Face як на тривожний сигнал. У есе, опублікованому 12 вересня, він також написав, що вся технологічна індустрія повинна працювати разом, щоб «уповільнити темпи» розвитку AI.