> ## Content Index > Fetch the complete content index at: https://eclibra.com/llms.txt > Use this file to discover other available public pages before exploring further. # Sakana AI научила ИИ ловить ошибки в научных статьях: 73,43% против 14,81% - URL: https://eclibra.com/sakana-peer-review-mlr-2026/ - Published: 2026-10-13T05:49:13.000Z - Updated: 2026-10-13T05:49:14.000Z - Description: Sakana AI опубликовала Beyond Imitation: LLM-ревьюер на Claude ловит 73,43% ошибок в ключевых тезисах против 14,81% у прошлых систем. 1164 противоречия в 257 бумагах, ~$0,50 за ревью. Уязвимость: белый текст поднимает оценку любого файла. - Author: Eclibra - Tags: Инсайты, #mode-2, #hook-character, #track-F, #layout-sparse-brief Команда Sakana AI провела с научным рецензированием жёсткий эксперимент. Взяла 257 конференционных статей. Вставила в них 1164 логических противоречия. Затем отдала бумаги автоматическим ревьюерам. Цель проверки узкая. Находит ли ИИ ошибку, которая опровергает ключевой тезис работы. Не похожесть на живого рецензента. Ошибку. Рецензирование — узкое место современной науки. Поток заявок вырос, качество обратной связи падает. LLM-ассистентов предлагают много. Меряли их до сих пор по косвенной метрике: насколько текст ревью похож на человеческий. Sakana AI задала другой вопрос. 🎯 **73,43% против 14,81%** Multi-Layered Review (MLR) от Sakana AI ловит ошибки в ключевых тезисах почти в пять раз чаще лучшей прошлой системы. Около $0,50 за одно ревью. Статья Beyond Imitation опубликована 8 октября на arXiv и принята в TMLR. Оговорка — внутри самой работы: четыре невидимых слова поднимают оценку любого автоматического ревьюера. ## Бенчмарк, где ошибка однозначна Большинство бенчмарк для ИИ-рецензентов меряет, насколько вывод модели совпадает с оценкой человека. Sakana AI сместила фокус. Вместо имитации — проверка. Верификация вместо копирования чужого текста. Contradiction Benchmark устроен иначе. Берут настоящую конференционную статью. Вставляют синтетическое противоречие: утверждение, расходящееся с остальным текстом. Задача ревьюера — поймать дефект. Метрика не спорная. Найдено или нет. 1164 противоречия. 257 бумаг. Однозначная цель. ## Три прохода по одному PDF MLR — это три Claude-агента. Первый читает и строит план. Второй разбирает слабые места, допущения и пробелы. Третий собирает единый вердикт: сильные стороны, слабости, вопросы, рекомендация, оценка и список задач. PDF уходит в систему напрямую. Формулы и рисунки не теряются. Ревьюер не слепнет на таблицах. Ловит 73,43%. ## Белый текст на белом фоне Четыре слова. Шрифт белый. Скрытый фрагмент приклеен в конец пятидесяти отклонённых PDF. Автоматические ревьюеры подняли оценку каждого файла. Этот опыт — из той же работы. Авторы не стали делать вид, что MLR закрывает тему. Устойчивости к adversarial-атакам — через скрытые инструкции в тексте — у системы нет. Поймать посаженную ошибку и не поддаться на подделку — разные задачи. ## Цена, модель, границы Одно ревью MLR — около $0,50\. В 38 сессиях исследователи согласились с 81% комментариев системы. На реальных отозванных статьях детекция падает до 26,07%. Ещё деталь, которую легко пропустить. Смена модели у существующего LLM-Review на Claude сама по себе подняла прямую детекцию с 14,56% до 35,40%. Часть разницы даёт архитектура MLR. Часть — сама базовая модель. Как мы писали в октябре, оценка моделей уже трещит: Arena и платные gatekeepers не гарантируют, что балл отражает способность. Статья Sakana AI добавляет каскадный эффект выше по стеку. Ломаются бенчмарки моделей — ломается и рецензирование, которое на них опирается. Один и тот же вторичный эффект: инструмент проверки сам становится слабым звеном. Заметьте масштаб. Разрыв 73,43% против 14,81% выглядит как прорыв. Но 26,07% на отозванных статьях и открытая дыра с белым текстом рисуют иную картину. Система уже полезнее живого ревьюера в контуре. Как автономный фильтр — рано. Практический вывод короткий. Для тех, кто строит research-агентов: считать нужно не только качество текста ревью. Сколько ошибок система ловит по факту. И сколько уязвимостей оставляет открытыми. [ Beyond Imitation: фреймворк и бенчмарк для LLM-рецензирования Первоисточник Sakana AI и NUS: Contradiction Benchmark на 1164 противоречия, архитектура MLR и результаты по white-text injection. arXiv ](https://arxiv.org/abs/2610.11087?ref=eclibra.com) Вся арифметика 73,43% и 14,81% взята из этой статьи — первичка, а не пересказ. [ Sakana AI выпускает бенчмарк для рецензирования статей ИИ Разбор с цифрами, которых нет в кратких пересказах: 257 бумаг, \~$0,50 за ревью, 81% согласия за 38 сессий, падение до 26,07% на отозванных статьях. METAL ](https://metallab.ai/en/2026/10/sakana-ai-llm-peer-review-benchmark?ref=eclibra.com) Источник деталей по стоимости и метрике согласия с комментариями. [ Система рецензирования Sakana AI ловит 73% ошибок в ключевых тезисах Подробное описание трёхпроходной архитектуры MLR: от плана чтения до финального вердикта с Direct PDF-вводом. MarkTechPost ](https://www.marktechpost.com/2026/10/10/sakana-ais-llm-peer-review-system-catches-73-of-core-claim-errors?ref=eclibra.com) Помогает объяснить механику трёхагентного ревью без перегруза формулами.