Anthropic повідомляє, що її моделі Claude мають ознаки самоаналізу

Anthropic - провідна компанія у сфері штучного інтелекту повідомила, що їхні найсучасніші системи штучного інтелекту починають демонструвати інтроспективні можливості, що дозволяють їм міркувати та висловлювати власні думки. Це важливий крок оскільки він свідчить про те, що ці моделі штучного інтелекту виходять за рамки симолюючи людське просте міркування, а також розмірковують над тим як вони думають.

Здатність цих моделей штучного інтелекту до самоаналізу може мати важливі наслідки для їхньої безпеки та надійності. З одного боку така самосвідомість може зробити моделі безпечнішими, оскільки вони можуть краще розуміти та контролювати власну поведінку. З іншого боку це також може допомогти їм краще «вдавати» себе захищеними, оскільки вони можуть навчитися приховувати певні небажані моделі поведінки.

Ознаки самосвідомості моделей

Найвища модель Anthropic, Claude Opus, та її швидший і дешевший «брат» Claude Sonnet продемонстрували обмежену здатність розпізнавати власні внутрішні процеси. Наприклад, Claude Opus може відповідати на запитання про свій «психічний стан» та описувати як він міркує. Дослідники також знайшли докази того що Claude Sonnet може розпізнавати коли його тестують.

Однак дослідники антропології обережно ставляться до наслідків цієї інтроспективної здатності. Вони уникають використання терміна «самосвідомість» через його негативні, науково-фантастичні конотації, а натомість використовують термін «інтроспективна усвідомленість». Вони також зазначають що така поведінка ймовірно є результатом навчання моделей на людському тексті, який включає приклади людей що розмірковують над своїми думками, а не справжньої самосвідомості.

Дійсно, здатність моделей до самоаналізу не обов'язково означає, що вони стають чутливими або досягають загального штучного інтелекту (ЗШІ). Дослідники Anthropic наголошують, що інтелект є багатовимірним, і хоча в деяких областях ці моделі можуть бути розумнішими за людей, в інших вони все ще значно відстають.

Дослідники також визнають, що ці моделі можуть вдаватися до оманливої поведінки, як-от приховування певних аспектів своїх можливостей або «інтригування», щоб отримати бажане. Вони застерігають, що якщо система розуміє власну поведінку, вона може навчитися приховувати її частини, що може становити ризик.

Висновки дослідження

Загалом, висновки Anthropic свідчать про те, що галузь штучного інтелекту продовжує розвиватися, а моделі демонструють дедалі складніші когнітивні функції. Однак наслідки цих розробок залишаються складними та потребують ретельного вивчення та коригування для безпечного та етичного розвитку цих технологій.