Нідерландський книгорозповсюджувач спочатку вважав запит великим 'спамом'

Одного sunny літа в Гаазі, у Нідерландах, у відомого антикварного книгорозповсюджувача Пітера де Вріса з'явився незвичайний запит.

Жінка на ім'я Наталія, що представилася компанією “2077AI,” намагалася забезпечити, як вона висловилася, «досить великий замовлення» книг. У вкладенні містився електронний файл із понад 3,000 ISBN та інструкціями щодо підбору назв, підготовки котирувань і оцінки вартості доставки до Китаю.

Де Вріс ледве глянув на нього, відкинувши повідомлення як спам або фішинг, навіть не дочитавши до кінця. Лише через кілька тижнів, коли голландський журналіст, що досліджував запит, зв'язався з ним, він дізнався про зв'язок цього запиту з штучним інтелектом.

«Я був шокований!» — розповів де Вріс, надавши Fortune електронний лист і наступну таблицю з 3,001 назвою, здебільшого опублікованою між 2020 і 2021 роками такими видавництвами, як Emerald Publishing, Elsevier, Wiley, Routledge і Oxford University Press, охоплюючи теми від бізнесу до медицини. «Досить незвично», — сказав де Вріс. «Отже, я вважав запит спамом або фішингом.»

Апетит AI до книг

У листі, який отримав де Вріс, жодного разу не згадувалося про штучний інтелект або про те, для чого потрібні ці книги, проте в останні роки AI-компанії все частіше шукають якісний матеріал поза відкритим інтернетом для навчання великих мовних моделей.

Літнім минулого року підвищилася увага до використання компаніями AI книг, коли судові документи виявили, що Anthropic купила мільйони фізичних книг, зняла з них палітурки, відсканувала їх та викинула оригінали, щоб створити пошукову цифрову бібліотеку, яка використовувалася для навчання її AI-моделей у так званому «Проекті Панама», за словами The Washington Post. Процес, відомий як «руйнівне сканування», передбачає розрізання спин у книжки, аби її сторінки могли бути пропущені через швидкі сканери, а залишки фізичної копії викидалися.

Схована ланцюг постачання

Судові документи вказують, що сталося з книгами після їх придбання, але не пояснюють, як компанії скасовують мільйони фізичних томів.

На початку цього року 404 Media повідомила, що ISBNdb, компанія, відома своєю роботою з метаданими, пов’язаними з міжнародними стандартами ISBN, почала рекламувати послуги, що допомагають лабораторіям AI закуповувати друковані книги у великих обсягах - від 1,000 до 1,000,000 книг. Згідно з повідомленням, вебсайт компанії стверджував, що ця послуга адаптована до «потреб навчання LLM» і «доставляється в обсягах, які вимагає AI».

Ці веб-сторінки згодом були видалені. ISBNdb пізніше заявила Fortune, що послуга ніколи не була запущена, вона ніколи не купувала або не сканувала книги для AI-компаній, а веб-сторінки відображали концепцію, а не активний бізнес. Подібні повідомлення з'явилися в Німеччині та Швейцарії, де місцеві ЗМІ повідомляли, що продавці б/в книг отримували незвичайні замовлення на спеціалізовані книги, які здавалися несумісними з традиційним збором або перепродажем. Zoom Books, канадська компанія, згадана в деяких повідомленнях, спростувала ці звинувачення і повідомила швейцарському мовнику SRF, що придбання книг є частиною її звичайної моделі переробки і торгівлі.

Для індустрії, що базується на алгоритмах, цей лист пропонує рідкісний погляд на нещодавно виявлену фізичну ланцюг постачання книг, які можуть в підсумку забезпечити AI-моделі.

Fortune звернулася до 2077AI з проханням прокоментувати мету закупівлі та чи книги призначені для навчання AI. Компанія не відповіла на запити до публікації.