Команда Sakana AI провела с научным рецензированием жёсткий эксперимент. Взяла 257 конференционных статей. Вставила в них 1164 логических противоречия. Затем отдала бумаги автоматическим ревьюерам.
Цель проверки узкая. Находит ли ИИ ошибку, которая опровергает ключевой тезис работы. Не похожесть на живого рецензента. Ошибку.
Рецензирование — узкое место современной науки. Поток заявок вырос, качество обратной связи падает. LLM-ассистентов предлагают много. Меряли их до сих пор по косвенной метрике: насколько текст ревью похож на человеческий. Sakana AI задала другой вопрос.
Multi-Layered Review (MLR) от Sakana AI ловит ошибки в ключевых тезисах почти в пять раз чаще лучшей прошлой системы. Около $0,50 за одно ревью. Статья Beyond Imitation опубликована 8 октября на arXiv и принята в TMLR.
Оговорка — внутри самой работы: четыре невидимых слова поднимают оценку любого автоматического ревьюера.
Бенчмарк, где ошибка однозначна
Большинство бенчмарк для ИИ-рецензентов меряет, насколько вывод модели совпадает с оценкой человека. Sakana AI сместила фокус. Вместо имитации — проверка. Верификация вместо копирования чужого текста.
Contradiction Benchmark устроен иначе. Берут настоящую конференционную статью. Вставляют синтетическое противоречие: утверждение, расходящееся с остальным текстом. Задача ревьюера — поймать дефект. Метрика не спорная. Найдено или нет.
1164 противоречия. 257 бумаг. Однозначная цель.
Три прохода по одному PDF
MLR — это три Claude-агента. Первый читает и строит план. Второй разбирает слабые места, допущения и пробелы. Третий собирает единый вердикт: сильные стороны, слабости, вопросы, рекомендация, оценка и список задач.
PDF уходит в систему напрямую. Формулы и рисунки не теряются. Ревьюер не слепнет на таблицах.
Ловит 73,43%.
Белый текст на белом фоне
Четыре слова. Шрифт белый. Скрытый фрагмент приклеен в конец пятидесяти отклонённых PDF. Автоматические ревьюеры подняли оценку каждого файла.
Этот опыт — из той же работы. Авторы не стали делать вид, что MLR закрывает тему. Устойчивости к adversarial-атакам — через скрытые инструкции в тексте — у системы нет. Поймать посаженную ошибку и не поддаться на подделку — разные задачи.
Цена, модель, границы
Одно ревью MLR — около $0,50. В 38 сессиях исследователи согласились с 81% комментариев системы. На реальных отозванных статьях детекция падает до 26,07%.
Ещё деталь, которую легко пропустить. Смена модели у существующего LLM-Review на Claude сама по себе подняла прямую детекцию с 14,56% до 35,40%. Часть разницы даёт архитектура MLR. Часть — сама базовая модель.
Как мы писали в октябре, оценка моделей уже трещит: Arena и платные gatekeepers не гарантируют, что балл отражает способность. Статья Sakana AI добавляет каскадный эффект выше по стеку. Ломаются бенчмарки моделей — ломается и рецензирование, которое на них опирается. Один и тот же вторичный эффект: инструмент проверки сам становится слабым звеном.
Заметьте масштаб. Разрыв 73,43% против 14,81% выглядит как прорыв. Но 26,07% на отозванных статьях и открытая дыра с белым текстом рисуют иную картину. Система уже полезнее живого ревьюера в контуре. Как автономный фильтр — рано.
Практический вывод короткий. Для тех, кто строит research-агентов: считать нужно не только качество текста ревью. Сколько ошибок система ловит по факту. И сколько уязвимостей оставляет открытыми.
