Він хоче, щоб бенчмаркінг AI став наукою, а не темним мистецтвом

Моріц Харт, автор нової книги про бенчмарки, вважає, що ці "стандартизовані тести" для штучного інтелекту fundamentally broken — але не безнадійні.

Бенчмарки виконують функцію вимірювальних стержнів AI, проте їх реалізація часто викликає серйозні питання. Наприклад, у 1987 році перший бенчмарк по автоматичному розпізнаванню мови показав, що найсучасніші AI не можуть перевершити так звані «тупі» статистичні підходи. Цей невдалий результат призвів до зниження інтересу до AI-досліджень.

У 2012 році інший бенчмарк під назвою ImageNet знову підняв популярність AI, коли восьмирівнева нейронна мережа перевершила всі інші алгоритми в класифікації зображень, започаткувавши еру глибокого навчання. Сьогодні нові бенчмарки, націлені на великі мовні моделі, такі як GPT-6 Astra, з'являються з завидною регулярністю, нібито вимірюючи все — від спеціалізованої експертизи до загального інтелекту.

Однак, багато фахівців вважають, що сам процес бенчмаркінгу став фатально недосконалим. Харт, комп'ютерний науковець з Макс Планк Інституту, підтримує цю думку і стверджує, що бенчмарки стали "помилкою, що спричинила машинне навчання". У своїй книзі він закликає дослідників звернути увагу на те, як бенчмарки можуть відновити свою репутацію в епоху великих мовних моделей.