Jak sprawdzić, czy boty AI mogą wejść na moją stronę?

Boty AI, czyli programy, przez które ChatGPT, Perplexity, Claude czy Google czytają strony, wchodzą na stronę, jeśli nic ich po drodze nie zatrzyma. Zatrzymać je mogą trzy rzeczy: plik robots.txt, Cloudflare albo zabezpieczenia serwera i strona, która odpowiada za wolno albo bez tekstu. Każdą sprawdzisz w kilka minut. Czy boty naprawdę wchodzą, pokażą logi serwera.

Poniżej: które boty AI odwiedzają strony i co się stanie, gdy któryś zablokujesz, 4 kroki sprawdzania i co zrobić z wynikiem. Stan na październik 2026.

W tym artykule (11)

Które boty AI odwiedzają strony i do czego służą

Boty AI dzielą się na trzy rodzaje. Bot wyszukujący zbiera strony, żeby asystent mógł je później pokazać w odpowiedzi. Bot użytkownika otwiera stronę wtedy, gdy ktoś w rozmowie poprosi o konkretny adres. Bot treningowy zbiera teksty do uczenia modeli. Od rodzaju zależy, co tracisz, kiedy bota zablokujesz. Blokada bota wyszukującego zabiera stronę z odpowiedzi AI. Blokada bota treningowego jej nie zabiera.

Firma i asystent Bot wyszukujący Bot użytkownika Trening modeli
OpenAI (ChatGPT) OAI-SearchBot ChatGPT-User GPTBot
Perplexity PerplexityBot Perplexity-User brak (PerplexityBot nie zbiera do treningu)
Anthropic (Claude) Claude-SearchBot Claude-User ClaudeBot
Google (AI Overviews, tryb AI, Gemini) Googlebot – Google-Extended (bez osobnego bota)
Apple (Siri, Spotlight, Safari) Applebot – Applebot-Extended (bez osobnego bota)
Microsoft (Bing, Copilot) Bingbot – –

Źródła: dokumentacja OpenAI, Perplexity, Anthropic, Google, Apple, stan na październik 2026. Bingbot jest w tabeli, bo ChatGPT szuka m.in. w Bingu. Jeśli Bing nie zna strony, ChatGPT jej nie znajdzie, nawet gdy boty OpenAI mogą na nią wejść. Opisałem to w tekście dlaczego ChatGPT nie widzi strony, choć Google ją widzi.

Cześć, tu Michał.

Jeśli nie wiesz, czy boty AI wchodzą na Twoją stronę, sprawdzę to w logach i ustawieniach serwera.

Przejdź do kalendarza
„[…] potrafi precyzyjnie zdiagnozować problem i wskazać konkretne, możliwe do wdrożenia rozwiązania, w przystępny komunikacyjnie sposób dla nawet najmniej zorientowanego odbiorcy w realiach performance marketingu.”
Krystian Rogowski

Trzy nazwy botów AI, które najczęściej wprowadzają w błąd

ClaudeBot nie decyduje o obecności strony w Claude. ClaudeBot zbiera teksty do treningu. O tym, czy Claude znajdzie stronę w wyszukiwaniu, decydują Claude-SearchBot i Claude-User. Anthropic pisze, że ich blokada może zmniejszyć widoczność strony w odpowiedziach.

Google-Extended nie wyłącza AI Overviews. Google pisze wprost, że Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym. Ogranicza tylko trening i odpowiedzi w Gemini oraz w części innych usług Google. AI Overviews i tryb AI korzystają ze zwykłego Googlebota. Wyłączysz je tylko ustawieniami nosnippet, max-snippet albo noindex, czyli kosztem zwykłych wyników (Google, funkcje AI w wyszukiwarce).

Boty użytkownika mogą nie słuchać robots.txt. Wizytę ChatGPT-User czy Perplexity-User zleca człowiek, więc te boty traktują ją jak wejście z przeglądarki. Perplexity podaje, że Perplexity-User zwykle ignoruje robots.txt, a OpenAI, że reguły mogą nie dotyczyć ChatGPT-User.

Krok 1: co mówi plik robots.txt o botach AI

Plik robots.txt to kartka na drzwiach, a nie zamek. Uczciwy bot ją czyta i słucha, nieuczciwy przechodzi obok. Do diagnozy kartka wystarczy, bo boty wyszukujące OpenAI, Perplexity, Anthropic, Google i Apple deklarują, że jej przestrzegają.

Jak sprawdzić: wpisz w przeglądarce twojadomena.pl/robots.txt. Plik składa się z grup. Każda grupa zaczyna się od linii User-agent: z nazwą bota, a pod nią stoją reguły Disallow (nie wchodź) i Allow (wejdź).

Bot słucha tylko grupy ze swoją nazwą. Grupę z gwiazdką (User-agent: *) czyta wtedy, gdy swojej nazwy nie znajdzie (standard RFC 9309). Z tej zasady biorą się dwie pułapki:

  • Disallow: / pod gwiazdką zamyka stronę przed wszystkimi botami, które nie mają własnej grupy, w tym przed botami wyszukującymi AI;
  • Disallow: / w grupie OAI-SearchBot, PerplexityBot albo Claude-SearchBot zabiera stronę z wyszukiwania w danym asystencie, nawet jeśli reszta pliku wszystko otwiera.

Jeśli chcesz zablokować trening, a zostawić wyszukiwanie, grupa może wyglądać tak:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Czy oddawać teksty do treningu, decyduje właściciel strony. Gdy decyzja zapadnie, trzeba ją wpisać tam, skąd plik naprawdę pochodzi. W WordPressie robots.txt tworzy sam WordPress, a wtyczka SEO albo hosting mogą go zmieniać, więc po każdej zmianie sprawdź plik jeszcze raz w przeglądarce. OpenAI podaje, że jego systemy wyszukiwania uwzględniają zmianę po ok. 24 godzinach.

Krok 2: czy Cloudflare albo firewall nie zatrzymują botów AI

Firewall decyduje, zanim bot przeczyta robots.txt. Jeśli zatrzyma bota na wejściu, kartka na drzwiach nie ma znaczenia.

Cloudflare. Od 1 lipca 2026 Cloudflare dzieli boty AI na trzy zachowania: Search (wyszukiwanie), Agent (działanie na prośbę człowieka) i Training (trening). Każde można zablokować na całej stronie, zablokować tylko na stronach z reklamami albo przepuścić. Domeny dodane od 15 września 2026 mają domyślnie zablokowane Training i Agent na stronach z reklamami. Search jest przepuszczony, ale boty, które przy okazji zbierają do treningu, łapią się na blokadę treningu (Cloudflare, lipiec 2026). Ustawienie jest w ustawieniach bezpieczeństwa domeny, na ekranie „Configure AI bot traffic policies”.

Hosting. Część hostingów ma własną ochronę przed botami. Zapytaj w pomocy technicznej, czy blokują ruch po nazwie bota albo po liczbie zapytań.

Szybki test. Wyślij do strony zapytanie podpisane nazwą bota. Na macOS i w Linuksie wpisz w terminalu polecenie niżej. W Windows wpisz je w PowerShellu, ale zamiast curl napisz curl.exe, bo samo curl uruchamia tam inne polecenie.

curl -I -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" https://twojadomena.pl/

Kod 200 w pierwszej linii odpowiedzi znaczy, że serwer przepuszcza tę nazwę. Kod 403 albo 503 znaczy, że coś ją blokuje. Test ma granicę: sprawdza tylko blokadę po nazwie. Firewall, który wpuszcza tylko prawdziwe adresy IP botów, odrzuci Twoje polecenie, a prawdziwego bota wpuści. Bywa też odwrotnie: test przechodzi, a firewall blokuje prawdziwego bota po adresie IP albo po liczbie zapytań. Ostatnie słowo mają więc logi (krok 4).

Krok 3: co bot AI dostaje, kiedy już wejdzie na stronę

Bot, który wszedł, musi szybko dostać tekst. Najczęstszy problem, czyli treść doklejaną JavaScriptem, której bot nie widzi, opisałem w przyczynie 4 we wpisie o ChatGPT. Test to „Wyświetl źródło strony”. Poza treścią w kodzie liczą się trzy rzeczy: jak szybko serwer odpowiada, ile waży strona i co stoi w kodzie przed nagłówkiem.

Czas odpowiedzi serwera (TTFB). TTFB to czas od wysłania pytania do pierwszego bajtu odpowiedzi. OpenAI, Anthropic ani Perplexity nie publikują, ile ich boty czekają, więc punktem odniesienia jest Google: według web.dev dobry czas to 0,8 s albo mniej, a słaby to ponad 1,8 s. Zmierzysz go w PageSpeed Insights albo poleceniem curl -s -o /dev/null -w "%{time_starttransfer}\n" https://twojadomena.pl/ (w Windows: curl.exe i NUL zamiast /dev/null).

Waga strony. Bot płaci za każdy pobrany znak, bo tekst zamienia się w tokeny. Strona HTML wpisu „ChatGPT nie widzi strony” waży 55,4 kB, a jej wersja Markdown 11,1 kB (pomiar 14.10.2026). To jak menu w restauracji: te same dania, tylko bez zdjęć, ramek i reklamy deseru. Cloudflare podaje, że ta sama strona w Markdown to 80–84% mniej tokenów. To dane o tokenach, a nie o tym, czy AI częściej cytuje.

Co stoi w kodzie przed nagłówkiem. Część botów zamienia stronę na tekst i czyta go po kolei, od góry kodu. Jeśli na górze stoi menu, bot najpierw czyta menu, a dopiero potem odpowiedź. Na webmountain.pl przed nagłówkiem H1 stało w kodzie 38 słów menu. Po zmianie kolejności w kodzie stoi 0, a wygląd strony się nie zmienił. Czy to pomaga w cytowaniach, nie wiadomo: to moja hipoteza, a nie zmierzony efekt.

Krok 4: logi serwera pokazują, czy bot AI naprawdę wchodzi

Logi serwera to zapis każdej wizyty na stronie: adres IP, data, adres podstrony, kod odpowiedzi i nazwa programu, który pytał. Tylko w logach widać, czy prawdziwy bot przyszedł i co dostał. Log dostępu (access log) pobierzesz zwykle z panelu hostingu.

Jak czytać log krok po kroku:

  1. Pobierz log dostępu z ostatnich 7–30 dni.
  2. Wyszukaj w pliku nazwy botów z tabeli wyżej, np. OAI-SearchBot, PerplexityBot, Claude-SearchBot.
  3. Sprawdź kod odpowiedzi przy każdej wizycie: 200 oznacza, że bot dostał stronę, 301 przekierowanie, 403 blokadę, 404 brak strony, 429 za dużo zapytań naraz, a 5xx, że serwer nie dał rady.
  4. Sprawdź, czy adres IP należy do firmy, której nazwą podpisał się bot (następna sekcja).
  5. Zobacz, które adresy bot pobiera: artykuły, stronę główną, robots.txt, wersje .md, llms.txt.

Tak wygląda jedna linijka logu z wizytą bota:

203.0.113.25 - - [14/Oct/2026:09:12:44 +0200] "GET /pozycjonowanie/chatgpt-nie-widzi-strony/ HTTP/1.1" 200 55445 "-" "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)"

To przykład formatu. Adres 203.0.113.25 pochodzi z puli zarezerwowanej do przykładów i nie należy do żadnego bota.

Jak odróżnić prawdziwego bota AI od podszywającego się

Nazwa bota w logu niczego nie dowodzi, bo każdy może się nią podpisać. Sprawdziłem to na własnej stronie. 14 października 2026 wysłałem na webmountain.pl zapytania podpisane jako OAI-SearchBot, GPTBot, PerplexityBot i ClaudeBot. Wszystkie wyszły z mojego komputera. Serwer każdemu oddał stronę z kodem 200, więc przez kilka sekund byłem w logach czterema botami AI naraz.

Prawdziwego bota poznasz po adresie IP. Jedne firmy publikują listy swoich adresów, inne każą sprawdzić adres odwrotnym zapytaniem DNS. Takie zapytanie zamienia adres IP na nazwę serwera. Potem trzeba zrobić odwrotnie: nazwę zamienić na adres i sprawdzić, czy wyszedł ten sam adres IP. Dopiero zgodność w obie strony coś potwierdza. Sposoby poszczególnych firm:

Co zrobić, gdy coś blokuje boty AI: wynik i poprawka

Co widzisz Co to znaczy Co zrobić
Disallow: / w grupie bota wyszukującego albo pod gwiazdką robots.txt zamyka drzwi usuń blokadę; w ChatGPT zmiana działa po ok. 24 h
test curl z nazwą bota daje 403 lub 503 firewall albo Cloudflare blokuje po nazwie w Cloudflare przepuść Search; w hostingu poproś o wyjątek
w logach 403 lub 429 przy adresach IP z oficjalnych list firewall albo limit zapytań zatrzymuje prawdziwego bota wyjątek dla zakresów IP z list firm
bot dostaje 200, ale w źródle strony nie ma tekstu treść dokleja JavaScript renderowanie po stronie serwera (krok 3)
w logach dużo 5xx albo długi czas odpowiedzi serwer nie nadąża cache strony, mocniejszy hosting
wszystko otwarte, a botów AI w logach brak bot nie wie, że strona istnieje indeks Binga, mapa strony, linki wewnętrzne

Gdy bot wchodzi i dostaje treść, technika jest w porządku. Dalej decyduje tekst. Punkty, które sprawdzam w tekście, zebrałem w checkliście pisania tekstów pod odpowiedzi AI.

Jak wygląda diagnoza botów AI na webmountain.pl

Kroki 1–3 przeszedłem na własnej stronie, krok 4 czeka na przegląd logów. Stan na 14 października 2026:

  • robots.txt nie wymienia żadnego bota AI, więc każdy bot słucha grupy z gwiazdką. Ta grupa zamyka tylko panel WordPressa i wyszukiwarkę wewnętrzną;
  • test z nazwą bota: OAI-SearchBot, GPTBot, PerplexityBot i ClaudeBot dostały stronę z kodem 200, po 3 zapytania na każdego;
  • czas odpowiedzi (TTFB): od 0,19 do 0,31 s w tych 12 zapytaniach. Mierzyłem z mojego komputera w Polsce, a boty łączą się ze swoich serwerów, więc ich czas może być inny;
  • waga: wpis HTML 55,4 kB, wersja .md 11,1 kB, do tego plik /llms.txt ze spisem treści strony;
  • kod przed nagłówkiem: 0 słów przed H1 (wcześniej 38).

Co na tak przygotowanej stronie stało się z checklistą pisania pod AI tydzień po publikacji, opisuję w case study: 1. miejsce w Google i w AI Overview.

Czego jeszcze nie wiem: czy prawdziwe boty pobierają wersje .md i llms.txt. To pokażą logi. Jeśli przez 2–3 miesiące żaden bot nie sięgnie po .md, zrezygnuję z tych wersji i dopiszę to tutaj.

Kiedy warto poprosić kogoś o pomoc

Kroki 1–3 zrobisz sam w kilkanaście minut: przeczytasz robots.txt, sprawdzisz Cloudflare i wyślesz testowe zapytanie. Krok 4 wymaga dostępu do logów i cierpliwości, bo log ze zwykłej strony ma tysiące linijek dziennie. Weryfikacja adresów IP i wyjątki w firewallu to praca dla kogoś technicznego.

Jeśli chcesz, żebym sprawdził to na Twojej stronie, od robots.txt i Cloudflare po logi i testy w ChatGPT, tutaj opisuję, jak to wygląda: pozycjonowanie strony w Google i AI.

FAQ

Najczęstsze pytania

Czy blokada ClaudeBot usuwa stronę z Claude?
Nie. ClaudeBot zbiera teksty do treningu modeli Anthropic. O tym, czy Claude znajdzie stronę w wyszukiwaniu, decydują Claude-SearchBot i Claude-User. Blokada ClaudeBot w robots.txt oznacza tylko, że przyszłe teksty ze strony nie trafią do treningu.
Czy Google-Extended wyłącza AI Overviews?
Nie. Google podaje, że Google-Extended nie wpływa na obecność w wyszukiwarce. AI Overviews korzystają ze zwykłego Googlebota, więc ograniczysz je tylko ustawieniami nosnippet, max-snippet albo noindex, które działają też na zwykłe wyniki.
Czy Perplexity słucha robots.txt?
PerplexityBot, czyli bot wyszukujący, słucha robots.txt. Perplexity-User, który otwiera stronę na prośbę użytkownika, według Perplexity zwykle robots.txt ignoruje, bo wizytę zleca człowiek.
Jak sprawdzić, czy GPTBot w logach to naprawdę OpenAI?
Porównaj adres IP z wizyty z listą adresów, którą OpenAI publikuje dla danego bota (gptbot.json, searchbot.json, chatgpt-user.json). Sama nazwa w logu niczego nie dowodzi, bo każdy może się nią podpisać.
Czy strona potrzebuje wersji Markdown dla botów AI?
Nie wiadomo. Wersja Markdown waży kilka razy mniej, więc bot zużywa na nią mniej tokenów, ale nie ma publicznych danych, że AI częściej ją cytuje. Na webmountain.pl testuję to w logach serwera.

Autor - Michał Wojciechowski

Pozycjonowanie i widoczność w Google i w odpowiedziach AI

Teksty na stronę piszę i sprawdzam pod Google i pod odpowiedzi AI: ChatGPT, AI Overviews i Perplexity. Artykuł o pisaniu pod AI był na 1. miejscu w Google i w AI Overview tydzień po publikacji.

Konta Google Ads prowadzę sam od 2019 roku. Kampanie prowadziłem na 9 rynkach, a przy projektach współpracowałem na kolejnych ośmiu. Pozycjonowanie łączę z kampaniami, bo ten sam klient szuka w Google, pyta AI i widzi reklamę.

Tutaj skupiam się na jednym: żeby strona dała się znaleźć w Google i zacytować w odpowiedziach AI.

Coś nie działa w kampanii?

Godzina rozmowy zwykle wystarcza, żeby wiedzieć, dlaczego nie ma sprzedaży.