Все
Истории
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино
Музыка
Проектная фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Глоссарий
Спецпроекты
Профориентация
OpenAI запускает поискового робота для анализа контента на веб-сайтах
И рассказывает о том, как не пускать его на свой сайт или блог.
Зачем OpenAI нужен поисковый робот
GPTBot — новый поисковый робот компании OpenAI, который будет просматривать и анализировать веб-страницы в поисках контента для обучения ИИ-моделей. При этом он умеет отфильтровывать ресурсы, которые требуют платного доступа, содержат персональную информацию пользователей или нарушают внутренние правила компании. По мнению экспертов, его запуск связан с разработкой и обучением ChatGPT-5.
Если вы не хотите, чтобы данные вашего сайта или блога использовались бесплатно для обучения ИИ-моделей, то вы можете заблокировать доступ GPTBot. Информация об этом появилась в документации к API Open AI.
Как ограничить GPTBot для своего сайта
Для запрета доступа GPTBot к сайту в файл robots.txt добавьте текст:
User-agent: GPTBot
Disallow: /
Теперь поисковый робот не сможет использовать информацию с вашего сайта. Если вы хотите запретить доступ только к определённым разделам сайта и папкам, то их можно явно указать в тексте:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Больше интересного про код — в нашем телеграм-канале. Подписывайтесь!
