Управління витратами на AI-кодування в масштабах

Інструменти кодування на основі AI приносять величезну цінність. Зокрема, в компанії Databricks ми спостерігаємо суттєве покращення всіх показників швидкості, які ми відстежуємо, а в деяких командах — значне збільшення продуктивності. Проте майже кожна компанія, яка впроваджує AI інструменти в масштабах, стикається з однією й тією ж проблемою: експоненційно зростаючі витрати. Ця ситуація загрожує переважити доходи, якщо не вжити заходів. Компанії опинилися в парадоксальному становищі: з одного боку, прагнуть максимально просунути AI-трансформацію, а з іншого — змушені управляти витратами, що можуть підірвати вигоди від впровадження AI.

На щастя, кілька ранніх великих компаній-впроваджувачів AI вже виробили методи, що допомагають вирішити цю задачу. Вони досягли "подвійної мети": (а) забезпечити широкий доступ до AI-інструментів з мінімальними перешкодами, та (б) утримувати загальні витрати в межах певного обсягу на користувача. У цій статті ми розглянемо перевірені методи управління витратами, засновані на нашому досвіді в Databricks та спілкуванні з кількома іншими цифровими компаніями, такими як Stripe, Coinbase, Uber і Ramp.

Ефективність кодування

Найбільшим важелем для зниження витрат є перехід на більш ефективні моделі кодування, які з'являються на ринку. Це питання варто обговорити детальніше, адже просте пояснення "дешевші моделі" насправді приховує складну взаємозалежність між вартістю моделі та її якістю.

Відомо, що термін фронтирна модель означає "найбільш інтелектуальну модель", а фронтирні лабораторії в основному зосереджені на підвищенні пікової інтелектуальності. Такі моделі здатні розв’язувати нові проблеми в математиці або кібербезпеці. Однак, коли AI використовується в масштабах, важливішим стає інший тип фронтиру: фронтир ефективності. Ефективність визначається набором моделей, які мають найкращу ціну для заданого рівня інтелекту.

Кроки для зниження витрат

По-перше, швидке впровадження нових, більш ефективних моделей забезпечить найбільші вигоди у витратах. Однак для цього компанії потрібно знати, які моделі перевершують існуючі. Визначити це може бути важко, оскільки публічні еталони не завжди адекватно оцінюють реальну продуктивність у задачах кодування. Багато компаній вже розробили автоматизовані оцінки для моделей, які вважають більш репрезентативними для своєї внутрішньої розробки.

Зокрема, Databricks нещодавно опублікувала приклад такого еталону, в якому ми спостерігали високу конкурентоспроможність моделей GLM. Це дозволило нам запровадити GLM для внутрішніх розробників. Часто нові моделі не покращують ефективність, і результати оцінок можуть бути негативними.

Зокрема, в Databricks ми з’ясували, що просте налаштування наших налаштувань дозволило зменшити кількість згенерованих токенів на 50%. Це стало можливим завдяки усуненню зайвих викликів та зменшенню написання кешу. Отже, можна досягти значних покращень витрат, спостерігаючи за структурою викликів інструментів.

В результаті, зростання витрат на AI-кодування — це не невідворотна проблема, а вирішуване завдання інженерії та управління. Компанії, які справилися з цим, мають спільний підхід: постійно прагнуть до ефективності, замість того, щоб зосереджуватись тільки на інтелектуальності, використовують інструменти, які забезпечують гнучкість моделей, і зменшують витрати на безпосередній доступ до AI. Разом ці методи дозволяють організаціям забезпечити доступ до AI без втрати продуктивності.