Оценщик ИИ стоит $3,1 млрд: что сломалось в тестах моделей

Восьмого октября компания, которая говорит отрасли, какая модель искусственного интеллекта лучше, подняла $200 млн при оценке $3,1 млрд. Десятью месяцами раньше та же цифра была $1,7 млрд. Компания называется Arena — раньше LMArena, ещё раньше Chatbot Arena, а до того исследовательский проект лаборатории Sky Computing Калифорнийского университета в Беркли.

Arena не производит моделей. Она их измеряет. И измеряет лучше всех: 62 млн голосов, 350 млн сессий, пользователи более чем в 150 странах. Тот же раунд принёс новый индекс — 27 моделей, 90 000 реальных агентских сессий и три способа, которыми агент срывает задачу, ни разу об этом не сообщив.

Оценка привратника выросла на 82% за десять месяцев. Сами модели за это время стали лучше сдавать чужие тесты.