AI-краулеры и GEO: почему robots.txt разрешает обход, а сайт остаётся недоступным
Хабр · 08.11.2026 · 10:50
Открытый robots.txt ещё не означает, что робот получил страницу. Между ним и приложением стоят CDN, WAF, ограничения частоты и кеш. Ошибка на этом участке превращает обсуждение цитируемости…