Думка | Штучний інтелект у медицині має бути допоміжним, а не автономним

Лікар підписує прогрес-ноту, створену за допомогою амбієнтного запису. Інший лікар приймає прогнозований ризик, закладений в електронну медичну картку. Третій подає апеляцію на відмову страхової компанії, написану штучним інтелектом, від свого імені. В усіх цих випадках технологію називають «допоміжною». Але хто ухвалив рішення? Це питання визначить наступний етап розвитку медичного AI, і ми не ставимо його чітко.

Найгучніші страхи щодо AI у медицині уявляють собі драматичну передачу: лікарня оголошує, що алгоритми тепер ставлять діагнози, а лікарі стали застарілими. Але це не те, що мене найбільше турбує. Набагато більш ймовірно, що клініцисти поступово втратять час, інформацію, повноваження та дискрецію, необхідні для ухвалення рішень, при цьому залишаючи на собі юридичну та етичну відповідальність.

Ми повинні припинити розглядати «використання AI» як єдину категорію. Амбієнтні інструменти документації формують клінічну картину. Прогнозні системи акцентують увагу на деяких ризиках та відвертають від інших. Генеративні інструменти складають апеляції на попереднє авторизацію, інструкції для пацієнтів та звіти про виписку. Системи тріажу повідомлень вирішують, що лікар бачить першим. Кожна з цих змін по-різному впливає на взаємодію та піднімає особливі питання щодо згоди, перегляду та відповідальності.

Загальна проблема полягає в розширенні розриву між тим, де знаходиться відповідальність, і де живе контроль. У медицині давно пов'язують відповідальність з конкретними професіоналами: лікарі підписують записи, вводять накази і відповідають за наслідки. AI ускладнює цю домовленість певним тривожним чином. Лікар може підписати запис, який був значною мірою згенерований машиною, технічно точний, але позбавлений невизначеності, зволікання чи соціального контексту, що робить цю взаємодію клінічно важливою.

Формальна відповідальність залишається людською, тоді як практичний контроль стає технологічним та організаційним. Це нестабільна та етично сумнівна угода. Людина не може бути усвідомлено відповідальною за рішення, якщо вона не має повноважень, інформації та можливості ухвалити його.

Саме тут упередженість до автоматизації стає небезпечним. Проблема не в тому, що лікарі сліпо підкоряються алгоритмам. Це організаційні умови — тиск часу, нестача персоналу, фрагментовані записи — які роблять незалежний перегляд неефективним і врешті-решт необов'язковим. Коли документація, створена AI, зазвичай точна, читання кожного речення починає здаватися витратою часу. Рекомендація, вбудована в запис, отримує авторитет, якого вона не заслуговує. З часом лікарі ризикують стати рецензентами машинного виходу, а не творцями професійного судження.

Це не є аргументом проти технології. Амбієнтні технології можуть зменшити документацію, що викликає вигорання, і дозволити лікарям більше зосереджуватися на пацієнтах, а не на екранах. Прогнозні інструменти можуть виявляти погіршення стану, небажані ліки або пацієнтів, які потребують подальшого нагляду. AI-допоміжні апеляції можуть допомогти лікарям протистояти системі страхування, яка часто виснажує їх. Ці переваги реальні. Але ефективність сама по собі не може вказати нам, чи добре керується інструмент.

Одвічні правила вимагають особливої уваги до двох моментів.

По-перше, згода має бути конкретною. Пацієнти не можуть осмислено погоджуватися на «AI» в абстракції. Вони повинні знати, чи відвідини записуються, чи зберігається запис, що виробляє система, хто його переглядає, чи вплине вихід на діагноз, лікування, виписку або авторизацію страховки, та чи вплине відмова на їхнє лікування.

По-друге, лікарі повинні звертати увагу на те, що інструмент не може бачити. Тон, суперечність, динаміка родини і тихе відчуття, що щось не так, рідко зберігаються в чистому автоматизованому резюме, але саме вони часто є найважливішими.

Що потрібно медичним організаціям, так це чіткий стандарт: допоміжний, а не автономний. По суті, це означає, що кожен важливий процес, підтримуваний AI, має конкретну відповідальну особу та визначений обсяг дій. Це означає, що людський перегляд має включати більше, ніж простий клік «схвалити», з достатньою кількістю часу та інформації, щоб змінити або відхилити вихід. Це також вимагає прозорого інформування пацієнтів та лікарів, практичних способів виправлення помилок перед їх поширенням та захищених повноважень переваги, щоб лікар міг відхилити рекомендацію без наслідків.

Громадська дискусія про медичний AI зазвичай розділяється на ентузіазм і тривогу. Корисна позиція розташована десь по середній лінії. AI може допомогти лікарям більше бачити, більше пам'ятати і більш ефективно міркувати. Його не слід використовувати лише для створення видимості людського судження. Підпис лікаря не може стати ритуальною дією під машиною, що ухвалює рішення. Якщо лікарі та інші клініцисти мають залишатися відповідальними, вони також повинні залишатися єдиними, хто контролює.