До сих пор автору или издателю приходилось разбираться с правилами каждой компании отдельно: один поисковый робот, другой AI-краулер, третья инструкция. Теперь идея гораздо проще.
В robots.txt, техническом файле, который сайт использует для общения с автоматическими системами, появляется общий сигнал AI Training. Одной настройкой владелец сможет сообщить участвующим AI-провайдерам, разрешает ли он использовать материалы сайта для обучения будущих генеративных моделей.
При этом самое важное — интернет начинает разделять разные способы использования контента. «Можно найти в поиске» больше не обязательно означает «можно использовать для обучения ИИ».
Microsoft идёт ещё дальше и отдельно вводит понятие AI Grounding — использование материала не для обучения модели, а для подготовки конкретного ответа пользователю со ссылкой на источник.
То есть издатель сможет, например, сказать: мои материалы можно находить, можно использовать как актуальный источник при ответе человеку, но нельзя превращать их в обучающие данные для следующего поколения моделей. Для автора это принципиально разные действия.
Общий механизм вырос из работы группы AI Preferences в Internet Engineering Task Force — организации, где разрабатываются технические стандарты интернета. Окончательным стандартом он пока не стал, а участие компаний остаётся добровольным.
OpenAI обещает внедрить поддержку в ближайшие месяцы. Google также заявил о переходе на общий механизм, сохраняя собственный Google-Extended. Microsoft начнёт учитывать новые настройки с февраля 2027 года.
Сам по себе robots.txt, конечно, не превращается в юридический договор и не решает автоматически вопросы авторского права, лицензирования или оплаты. Но меняется сама архитектура отношений.
До сих пор интернет в основном умел отвечать на вопрос: «может ли машина сюда зайти?» Теперь постепенно появляется другой: «Что именно машине разрешено сделать с тем, что она здесь нашла?»
