Блокировка доступа к сайту для AI-ботов
Чтобы заблокировать доступ AI-боту к своему сайту, нужно в файле .htaccess прописать следующую инструкцию:
|
1 2 |
RewriteCond %{HTTP_USER_AGENT} ^.*(ChatGPT-User|ClaudeBot|PerplexityBot).*$ [NC] RewriteRule .* - [F,L] |
Теперь каждый бот, который указан в инструкции в скобках, при попытке просканировать страницу вашего сайта, будет получать отлуп 403 — Forbidden.
В скобках, через | нужно перечислить названия ботов, которые нужно заблокировать.
Названия ботов можно подсмотреть в лог-фале: /var/log/apache2/other_vhosts_access.log
Например, для ChatGPT там будет строчки, примерно такого вида:
your_site.ru … «GET … HTTP/1.1» 304 2798 «-» «Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot»
где «ChatGPT-User» — это и есть название бота.