Регулювання штучного інтелекту в охороні здоров'я: нові підходи

Найефективніший спосіб регулювання генеративного штучного інтелекту у сфері охорони здоров'я — це ставитися до нього як до лікаря, який отримує ліцензію та контроль, — стверджує старший науковий співробітник LDI та співголова Групи з питань штучного інтелекту в медицині Ерік Бресман у своїй статті для JAMA Internal Medicine 2025.

У недавньому матеріалі, також в JAMA, команда Бресмана на чолі з Алоном Бергманом та співавторами Зіком Емануелем і Бобом Вахтером підтримали цей підхід. Вони стверджують, що модель ліцензування є особливо важливою для клінічних систем штучного інтелекту, які самостійно встановлюють цілі, створюють детальні плани дій і виконують завдання без людського нагляду. Вони також зазначають, що для подолання нестачі кадрів потрібні політики, які належно підтримують впровадження агентного штучного інтелекту.

Обидва експерти вважають, що ця модель ліцензування вимагатиме нових федеральних можливостей. Стаття Бергмана закликає Конгрес створити національний орган ліцензування та контролю — Офіс контролю клінічного штучного інтелекту — у Міністерстві охорони здоров'я та соціальних служб США.

Минулого місяця Біла Хата озвучила новий федеральний підхід до штучного інтелекту в виконавчому указі, пропонуючи, щоб федеральний уряд мав довільний попередній контроль над деякими з найпотужніших моделей, якщо вони визначаються як "моделі, що охоплюють національну безпеку".

Принаймні один законопроект, який було подано в Конгрес, пропонує ліцензування штучного інтелекту для призначення ліків. У той же час, штати розглядають понад 250 законопроектів, що впливають на цю технологію. Закони, які були прийняті, варіюються від нового закону Юти, що дозволяє AI призначати деякі ліки, до заборони Каліфорнії на використання AI для відмови в страхових покриттях.

Ми запитали Бресмана та Бергмана про швидко змінюючеся середовище штучного інтелекту та їхні рекомендації щодо подальших кроків.

А як може виглядати приклад ліцензування AI в медицині?

Бергман: Уявіть собі конкретну модель AI, що надає первинну медичну допомогу в сільському медичному центрі, де більшість лікарів пішли. Згідно з цією пропозицією, AI спочатку має пройти стандартизовані іспити на компетентність, показуючи результати на рівні або вище медіан останніх тестувальників-людей на всіх трьох етапах медичної ліцензії США (USMLE) та будь-яких відповідних іспитах. Потім він проходить період контрольованого розгортання в клініці, подібно до того, як це роблять лікарі-інтерни, і показує адекватну ефективність на визначеній кількості пацієнтів, випадки яких перевіряються лікарями.

Ліцензія буде обмежена за часом, оновлюватиметься щороку або раз на два роки, та підлягатиме безперервному моніторингу. Пацієнт отримує досвід, схожий на медичний візит, а не на чат-бота. Той, хто сьогодні чекає тижнями чи їде годинами, може отримати консультацію онлайн з ліцензованим AI-агентом, який збирає повну історію хвороби та опрацьовує проблему.

Стандартні випадки можуть вирішуватися на місці. Якщо щось виходить за рамки можливостей AI або виглядає серйозно, він передає справу людині.

Як агентний AI може допомогти у вирішенні проблеми нестачі кадрів у охороні здоров'я?

Бергман: Є два потенційні напрямки. Перший — це підвищення продуктивності: використання AI для розширення можливостей вже наявних лікарів. Це дійсно можливо, але обмежується кількістю лікарів. Підвищення навантаження на лікарів може ще більше погіршити вигорання, що вже є серйозною проблемою у цій сфері. Цей шлях не може закрити нестачу десятків тисяч лікарів.

Другий шлях — автономна заміна. Агентні системи обробляють визначену частину медичної допомоги з невеликим або зовсім без людського контролю. Це єдине рішення, яке дійсно розширює можливості. Нещодавні випробування показують, що основна когнітивна робота первинної медицини наразі збігається з тим, що ці системи роблять добре.

Виконавчий указ Білого дому в грудні спробував уникнути дій штатів у сфері охорони здоров'я, ймовірно, щоб уникнути фрагментованого середовища. Чому цього було недостатньо?

Бергман: Виконавчий указ не може самостійно скасувати законодавство штатів. Згідно з Клаусом переваги, це повноваження належить Конгресу. Саме тому наша пропозиція закликає до прийняття статуту, а не виконавчого указу. Скасування законів — це добре, але лише коли воно супроводжується реальним федеральним стандартом.

Бресман: Виконавчий указ сигналізує про зміни в позиції адміністрації щодо штучного інтелекту, яка раніше підкреслювала дерегулювання в підтримку інновацій в більшості своїх політик. Як це вплине на клінічний AI, поки неясно. Сподіваємося, буде подібний зсув до більш продуманої регуляторної рамки, особливо для генеративного та агентного AI.

Бергман: Цей указ, здається, є переважно інструментом національної безпеки, і незрозуміло, які наслідки він матиме для регулювання AI за межами ризиків кібербезпеки, особливо в медицині. Процес перегляду має місце на рівні моделі, але клінічні ризики пов'язані з етапом впровадження.

Бресман: Федеральна бездіяльність у цій сфері призвела до появи фрагментованих політик на рівні штатів, і поки FDA та Конгрес мовчать, ця фрагментація лише зростатиме. Це не принесе користі ні пацієнтам, ні лікарям, ні розробникам. Розумний, централізований підхід, чи то в межах існуючої інфраструктури FDA, чи через новий Офіс контролю клінічного AI, — це єдиний спосіб випередити цю ситуацію.

Бергман: Створіть законодавчу базу. Конгрес має створити, виходячи із статуту, Офіс контролю клінічного AI у Міністерстві охорони здоров'я США. Надати йому повноваження сертифікувати автономний клінічний AI відповідно до реальних стандартів продуктивності. Фінансувати його через збори розробників, як це робить FDA. Авторизувати багатосторонній процес для встановлення стандартів компетентності, залучаючи Комісію з акредитації медичних освітніх програм, Об'єднану комісію та спеціалізовані ради. Зробити федеральну сертифікацію обов'язковою для штатів. Створити чіткі шляхи для розробників із попередніми консультаціями, щоб контроль не блокував інновації.

Бергман: Я б радив штатам утриматися від сертифікації клінічної компетентності самостійно. Зосередьтеся на обсязі практики, контролі, забезпеченні прозорості та правилах покриття. Заборона Каліфорнії на використання AI для відмови у покритті — гарний приклад. Штати мають продовжувати тиснути на Конгрес. Тривале рішення — це федеральний рівень компетентності, до якого можуть додаватися правила штатів.

Бресман: Я розумію бажання рухатися швидше, ніж Конгрес, і регуляторні пісочниці є одним із підходів. Якщо штати можуть узгодити стандарти під час розбудови цих пісочниць і зважати на більш тривалу політику, це допоможе уникнути фрагментації, яку ми хотіли б уникнути. Найголовніше, вони не повинні дозволяти прагненню до інновацій переважити їхню основну роль: забезпечення безпечної та відповідальної медичної допомоги для пацієнтів. Коли деякі штати експериментують з ідеєю ліцензування AI для практики, вони повинні визначити чіткі стандарти, щоб уникнути ситуації, коли розробники моделей встановлюють умови.

Бергман: Офіси охорони здоров'я не повинні чекати на федеральну рамку. Їм слід вже зараз розвивати структури управління AI. За нашою пропозицією, відповідальність несе установа, що розгортає AI. Я б зосередився на трьох моментах.

По-перше, створити реальну функцію моніторингу AI. Регулювати, як інструменти отримуються, перевіряються, впроваджуються, моніторяться і, що важливо, виводяться з експлуатації. По-друге, вважати місцеву валідацію обов'язковою. Урок з Epic Sepsis Model полягає в тому, що позитивні звіти про результати з боку постачальника не гарантують хороших результатів для ваших пацієнтів. Системи повинні вимірювати результати для своїх пацієнтів. По-третє, розробити та впровадити процеси triage, ескалації та звітності про непередбачені події.

Бресман: Я згоден, що системи охорони здоров'я повинні продовжувати розвивати внутрішні рамки управління, особливо коли інтегрують генеративний та агентний AI у клінічні процеси. Якщо моделі отримають ліцензію на практику в якомусь форматі, що це означатиме для акредитації цих інструментів на місцевому рівні? Академічні медичні системи також повинні вести шлях у створенні доказів щодо впливу цих інструментів. Це включає клінічні результати, витрати та доступ до медичних послуг, але також і ризики, які можуть бути важче виявити – такі як зниження навичок у лікарів, автоматизаційний упередження та сліпота моделей.