В июне 2026 года Ahrefs проанализировал 137 000 доменов и нашёл файл llms.txt у 28% из них. Mintlify, Wix, GitBook и Yoast теперь генерируют такой файл автоматически. Скорость удивляет: формат официально родился в сентябре 2024-го — и меньше чем через два года стал стандартом де-факто для «карты сайта для ИИ».
Суть: 28% сайтов уже публикуют llms.txt, 0 из 4 крупных ИИ-краулеров подтвердили, что читают его. Издательская сторона стека атрибуции опережает потребительскую — и это нормально, пока рынок доверия достраивается.
Рассматриваем этот стек третий раз за год. В августе мы писали, что меньше 1% новостных фото подписаны C2PA — а в сентябре — как рынок контентных лицензий вырос с нуля до сотен миллионов долларов за четыре года. Сегодняшний сюжет о том, что издатели кладут между своими текстами и весами моделей.
Стек атрибуции 2026 года — это три слоя, которые решают разные задачи. robots.txt говорит ИИ, куда можно приходить. llms.txt — что здесь стоит читать. C2PA и SynthID — что контент был создан человеком, а не машиной. Соберём картину по каждому слою, а затем посмотрим, где находятся его пределы.
Уровень 1. Robots.txt: кто вообще может «приходить»
robots.txt — старейший инструмент в этом наборе, ему тридцать лет. Он описывает краулерам зоны, которые им запрещены. Появление крупных ИИ-ботов сделало файл снова важным: GPTBot, Google-Extended, ClaudeBot и PerplexityBot приходят на сайты массово, и вебмастера реагируют.
При этом данные Ahrefs показали противоречивую картину. Лишь несколько процентов сайтов запрещают сканирование GPTBot. Google-Extended — инструмент, который позволяет исключить контент из обучения Gemini, — поддерживают не больше 5% сайтов. То есть издатели почти не закрывают ИИ от данных. Вопрос лишь в том, что ИИ делает с этими данными дальше.
Парадокс: издатели куда охотнее публикуют «карту» вроде llms.txt, чем запрещают доступ через robots.txt. Эндрю Кун, веб-разработчик, публично комментирующий внедрение формата, говорит об этом прямо: «Почему кто-то тратит время на карту для ИИ, а потом сам же ограничивает им доступ?»
Файл запретов решает вопрос доступа, но не вопрос атрибуции. Даже когда краулер приходит, он должен понять, что на этом сайте есть ценного. Для этого придумали второй слой.
Уровень 2. LLMS.txt: карта, которую не обязаны читать
Формат предложил в сентябре 2024 года Джереми Ховард, один из создателей Fast.ai. Идея простая: текстовый файл в корне сайта, который сводит все страницы к коротким аннотированным строкам — название, описание, ссылка, ссылка на HTML-версию. Контекстное окно (context window — объём памяти модели) ограничено, а ссылок в файле может быть тысяча. llms.txt экономит токены и помогает ИИ точнее выбирать страницы.
Принятие формата оказалось быстрым и почти бесконфликтным. Mintlify генерирует llms.txt автоматически для всех клиентов и уже обслуживает более миллиарда запросов к нему в месяц. GitBook поставляет файл как часть своей системы администрирования. Wix добавил поддержку в 2025 году. Ситуация напоминает 2000-е, когда генераторы sitemap.xml появились в CMS раньше, чем поисковики официально объявили о поддержке формата.
Одна проблема. Спецификация llms.txt была открыта в 2024 году, но до сих пор ни один крупный поставщик ИИ — ни OpenAI, ни Anthropic, ни Google — публично не подтвердил, что читает сторонние llms.txt-файлы. Заявления ограничиваются фразами вроде «можем использовать» или «планируем изучить». Это ровно то, что констатирует Адам Мейер из Ahrefs: причина, по которой компания опубликовала своё исследование — отсутствие официальной позиции провайдеров.
Что известно о поддержке LLMS.txt на практике
- Chrome Lighthouse в 2025 году добавил аудит «агентного поиска» сайта и теперь проверяет наличие llms.txt наравне с robots.txt, hreflang и метаописаниями.
- Есть отдельные эксперименты разработчиков, отправляющих llms.txt через ChatGPT с инструкцией «прочитай этот файл первым» — и модель действительно использует карту для навигации по сайту.
- Google оставляет формат без официального признания: Джон Мюллер называл llms.txt «удобством для экономии токенов», а не поисковой директивой.
Действительно, llms.txt обходит поисковые системы. Файл говорит о пользовательском опыте агентов, а не о ранжировании. При этом даже упоминание формата в аудитах Chrome — сигнал, что экосистема инструментов медленно признаёт его реальность.
Уровень 3. C2PA и SynthID: метка, переживающая скриншот
Третий слой решает другую половину задачи — доказать происхождение контента. Консорциум C2PA — Coalition for Content Provenance and Trust (коалиция за прозрачность происхождения контента) — подписывает метаданные: когда, кем и чем создан файл. А водяные знаки SynthID от Google DeepMind встраиваются в пиксели, аудио и текст незаметно для глаза.
Первый подход переживает глубокое принятие. В macOS, iOS и Chrome появились индикаторы происхождения изображений, которые показывают подпись C2PA. Внутри консорциума более 6 000 организаций, включая OpenAI, Microsoft и Adobe. Второй подход — SynthID — Google встроила не только в свой режактор Gemini, но и в текстовые версии моделей, заявив, что разметка охватила более 100 миллиардов изображений и видео и 60 тысяч лет аудио.
Отдельная история — присоединение OpenAI к этому стеку в мае 2026 года. Сначала компания стала членом руководящего комитета C2PA, затем интегрировала SynthID во все изображения и видео, создаваемые ChatGPT, API и Codex, и открыла публичный инструмент проверки происхождения. Это был разворот: ещё в 2024 году OpenAI сомневалась в жизнеспособности централизованной маркировки.
Лидером внедрения остаются вещатели. Участники инициативы C2PA Accelerator — BBC, ITV, RTE и ITN — применяют подпись происхождения в новостном производстве. Именно новостной контент сталкивается с максимальной проблемой: скриншоты, репосты и редактирование обрывают метаданные — поэтому для новостей переход к «подписи прямо на изображении» критичен.
Здесь атрибуция наконец встречается с экономикой. В августе мы описывали проблему: меньше одного процента новостных фото подписаны C2PA. Теперь вопрос в скорости инфраструктуры: верификатор от OpenAI, аудиты Chrome — сервисы подтягиваются быстрее, чем сами издатели.
Предел стека: атрибуция не всегда восстанавливается
У всего стека есть фундаментальная граница. Метки C2PA, привязанные к файлу, работают, пока жив файл. Но что происходит, когда модель уже выучила текст или изображение? След отдельного автора может не восстанавливаться.
Учёные из MIT CSAIL, Чжэн Дай и Дэвид Гиффорд, опубликовали в августе этого года в Nature Communications исследование, которое показывает механику этого разрыва. Они взяли публичные произведения 744 художников, обучили изображенческую модель и попытались затем «удалить» отдельного автора из датасета. Вывод: в большинстве случаев удаление не меняет поведение модели — след сотен картин не стирается одним фильтром.
Название эффекта — ослабление атрибуции (attribution decay, «распад следа»): след одного автора в весах модели не восстанавливается. Существующие методы — агрегирование признаков, масштабирование весов, ограничения на зависимых нейронах — не дают переобучения под конкретного автора.
Сравнение: как ориентируются поисковые боты и ИИ
Понять место llms.txt помогают таблицы. Три главных файла сайта решают три близкие, но разные задачи.
| sitemap.xml | robots.txt | llms.txt | |
|---|---|---|---|
| Для кого | поисковые боты | все краулеры | ИИ-агенты, языковые модели |
| Функция | индекс всех страниц | запреты на обход | краткая карта + аннотации |
| Формат | XML | текст с правилами | Markdown-текст |
| Официальные поддержки | Google, Bing, Yandex | практически все боты | ни один крупный провайдер |
| Цель | индексация | доступ | атрибуция и экономия токенов |
Хотите полную картину? Добавьте к таблице поведение: поисковые боты читают sitemap и robots.txt всегда, а llms.txt в обязательном порядке не читает никто из крупных игроков. Отсюда два сценария будущего: либо формат останется инструментом для агентов, развивающих собственные платформы, либо авторитетные издатели сделают llms.txt условием для своих дистрибуционных пакетов.
Кто внедряет уже сегодня
Пока провайдеры молчат, инструменты голосуют ногами. Платформы документации — GitBook, Mintlify и другие — включили llms.txt в свои продукты. GitBook подключает его автоматически, Wix добавил поддержку формата, а WordPress-плагины класса SEO — Yoast и AIOSEO — генерируют файл по кнопке.
Tech-документация стала первой фишкой. Компании, которые и так лидировали в поиске, — разработчики ядра, инфраструктурные сервисы — публикуют llms.txt на своих официальных порталах. Их мотивация логична: разработчики и их ИИ-ассистенты заряжаются именно на этих страницах, и «карта» сокращает путь к ответу до одного запроса.
Список разнообразия — четыре примера, куда движется рынок:
- Документационные платформы продают llms.txt как встроенную опцию, а не как дорогостоящий плагин.
- SEO-инструменты причесали: проверка наличия файла стала частью регулярных аудитов сайта.
- Стартапы ставят чтение llms.txt в конфигурацию своих агентов — как «обязательный первый шаг».
- WordPress и генераторы сайтов предлагают файл по умолчанию в базовых шаблонах.
Издательский сектор при этом отстаёт от технического. Медиаред фокусируется на поисковом трафике и рекламе, а llms.txt пока остаётся делом технической тёрки. Примеров новостных изданий, которые системно подписывают C2PA и публикуют llms.txt, по-прежнему немного — британские и ирландские вещатели из Accelerator Programme впереди, но и они ограничены пилотными командными соглашениями.
Правильное же действие для издателя — не ждать официального признания формата. Файл стоит публиковать уже сейчас: он не мешает поиску, сокращает путь агента к вашему контенту и приучает индустрию к тому, что у издания есть «карта». Хотя оптимисты ждут заявлений провайдеров, поведение экосистемы уже показывает: инерция индустрии догонит формат сама.
Что делать издателю в 2026 году
Опора на существующие механизмы — самый надёжный сценарий. Во-первых, не отключайте sitemap.xml и robots.txt — это по-прежнему самые рабочие интерфейсы с машинами. Во-вторых, добавьте llms.txt с описанием ваших ключевых страниц: вы сразу увеличите шансы, что агент выберет именно вашу статью, а не чужой рерайт. Mintlify сделают это за вас бесплатно.
В-третьих, подписывайте происхождение. Если издательство работает с пресс-релизами или визуальными материалами, подпись C2PA на исходных файлах снизит риск того, что ваш креатив припишут модели. Европа подталкивает в ту же сторону: AI Act требует от провайдеров генеративных моделей помечать синтетический контент.
Наконец, не воспринимайте атрибуцию как юридическую гарантию. Как показал MIT, след автора в весах модели в принципе не всегда восстанавливается. Атрибуция — это сигнал доверия, а не контракт.
Итог: стек атрибуции 2026 года оказался асимметричным. Издатели быстрее принимают новые форматы, чем производители моделей — их официально подтверждают. Позитивная часть: индустрия впервые строит мосты между контентом и моделями в обе стороны. Ограничение: доказать происхождение каждого байта в весах сети невозможно, и это требует честной настройки ожиданий.
За стеком — старая дилемма. Нейробиологи назвали бы это когнитивной атрибуцией; издатели сводят всё к привычной формуле: «если вы не видите автора, вы не можете ему заплатить». Именно поэтому журналисты и контентные платформы продолжают подписывать лицензионные соглашения даже тогда, когда технически след не восстанавливается.
Верхняя граница доверия и лицензий
Наш постскриптум о деньгах. Рынок лицензий для ИИ, по нашим сентябрьским оценкам, уже достиг сотен миллионов долларов: издатели подписывают договоры с моделирующими лабораториями на доступ к своим архивам и потокам. Атрибуция — не юридическая гарантия для этих контрактов, но именно она делает такие соглашения измеримыми: цена зависит от того, какой контент реально попадает в обучение.
Поэтому настраиваемся на долгий переход. Пока половина индустрии строит «карты для ИИ», а вторая половина спорит, кто их читает, — экономика доверия уже сформировалась: публикация + подпись + лицензия. И мы, скорее всего, увидим в 2027 году закрепление этого стека в стандартах и аудитах, а не исчезновение.
Автор: технический отдел Eclibra · Главный редактор: редакция «Медиа»
