---
type: "Artykuł"
title: "Jak sprawdzić, czy boty AI mogą wejść na moją stronę?"
description: "Robots.txt, Cloudflare, czas odpowiedzi i logi: 4 kroki, żeby sprawdzić, czy GPTBot i ClaudeBot wchodzą na stronę. Plus test na podszytego bota."
resource: "https://webmountain.pl/pozycjonowanie/czy-boty-ai-wchodza-na-strone/"
tags: ["Wsparcie pozycjonowania strony"]
author: "Michał Wojciechowski"
published: 2026-10-24
timestamp: 2026-10-24
---

# Jak sprawdzić, czy boty AI mogą wejść na moją stronę?

> Boty AI, czyli programy, przez które ChatGPT, Perplexity, Claude czy Google czytają strony, wchodzą na stronę, jeśli nic ich po drodze nie zatrzyma. Zatrzymać je mogą trzy rzeczy: plik robots.txt, Cloudflare albo zabezpieczenia serwera i strona, która odpowiada za wolno albo bez tekstu. Każdą sprawdzisz w kilka minut. Czy boty naprawdę wchodzą, pokażą logi serwera.

Poniżej: które boty AI odwiedzają strony i co się stanie, gdy któryś zablokujesz, 4 kroki sprawdzania i co zrobić z wynikiem. Stan na październik 2026.

## Które boty AI odwiedzają strony i do czego służą

Boty AI dzielą się na trzy rodzaje. Bot wyszukujący zbiera strony, żeby asystent mógł je później pokazać w odpowiedzi. Bot użytkownika otwiera stronę wtedy, gdy ktoś w rozmowie poprosi o konkretny adres. Bot treningowy zbiera teksty do uczenia modeli. Od rodzaju zależy, co tracisz, kiedy bota zablokujesz. Blokada bota wyszukującego zabiera stronę z odpowiedzi AI. Blokada bota treningowego jej nie zabiera.

| Firma i asystent | Bot wyszukujący | Bot użytkownika | Trening modeli |
| --- | --- | --- | --- |
| OpenAI (ChatGPT) | OAI-SearchBot | ChatGPT-User | GPTBot |
| Perplexity | PerplexityBot | Perplexity-User | brak (PerplexityBot nie zbiera do treningu) |
| Anthropic (Claude) | Claude-SearchBot | Claude-User | ClaudeBot |
| Google (AI Overviews, tryb AI, Gemini) | Googlebot | – | Google-Extended (bez osobnego bota) |
| Apple (Siri, Spotlight, Safari) | Applebot | – | Applebot-Extended (bez osobnego bota) |
| Microsoft (Bing, Copilot) | Bingbot | – | – |

Źródła: dokumentacja [OpenAI](https://developers.openai.com/api/docs/bots), [Perplexity](https://docs.perplexity.ai/guides/bots), [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web), [Google](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers), [Apple](https://support.apple.com/en-us/119829), stan na październik 2026. Bingbot jest w tabeli, bo ChatGPT szuka m.in. w Bingu. Jeśli Bing nie zna strony, ChatGPT jej nie znajdzie, nawet gdy boty OpenAI mogą na nią wejść. Opisałem to w tekście [dlaczego ChatGPT nie widzi strony, choć Google ją widzi](https://webmountain.pl/pozycjonowanie/chatgpt-nie-widzi-strony/).

## Trzy nazwy botów AI, które najczęściej wprowadzają w błąd

**ClaudeBot nie decyduje o obecności strony w Claude.** ClaudeBot zbiera teksty do treningu. O tym, czy Claude znajdzie stronę w wyszukiwaniu, decydują Claude-SearchBot i Claude-User. Anthropic pisze, że ich blokada może zmniejszyć widoczność strony w odpowiedziach.

**Google-Extended nie wyłącza AI Overviews.** Google pisze wprost, że Google-Extended nie wpływa na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym. Ogranicza tylko trening i odpowiedzi w Gemini oraz w części innych usług Google. AI Overviews i tryb AI korzystają ze zwykłego Googlebota. Wyłączysz je tylko ustawieniami `nosnippet`, `max-snippet` albo `noindex`, czyli kosztem zwykłych wyników ([Google, funkcje AI w wyszukiwarce](https://developers.google.com/search/docs/appearance/ai-features)).

**Boty użytkownika mogą nie słuchać robots.txt.** Wizytę ChatGPT-User czy Perplexity-User zleca człowiek, więc te boty traktują ją jak wejście z przeglądarki. Perplexity podaje, że Perplexity-User zwykle ignoruje robots.txt, a OpenAI, że reguły mogą nie dotyczyć ChatGPT-User.

## Krok 1: co mówi plik robots.txt o botach AI

Plik robots.txt to kartka na drzwiach, a nie zamek. Uczciwy bot ją czyta i słucha, nieuczciwy przechodzi obok. Do diagnozy kartka wystarczy, bo boty wyszukujące OpenAI, Perplexity, Anthropic, Google i Apple deklarują, że jej przestrzegają.

**Jak sprawdzić:** wpisz w przeglądarce `twojadomena.pl/robots.txt`. Plik składa się z grup. Każda grupa zaczyna się od linii `User-agent:` z nazwą bota, a pod nią stoją reguły `Disallow` (nie wchodź) i `Allow` (wejdź).

Bot słucha tylko grupy ze swoją nazwą. Grupę z gwiazdką (`User-agent: *`) czyta wtedy, gdy swojej nazwy nie znajdzie (standard [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)). Z tej zasady biorą się dwie pułapki:

- `Disallow: /` pod gwiazdką zamyka stronę przed wszystkimi botami, które nie mają własnej grupy, w tym przed botami wyszukującymi AI;
- `Disallow: /` w grupie OAI-SearchBot, PerplexityBot albo Claude-SearchBot zabiera stronę z wyszukiwania w danym asystencie, nawet jeśli reszta pliku wszystko otwiera.

Jeśli chcesz zablokować trening, a zostawić wyszukiwanie, grupa może wyglądać tak:

```
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
```

Czy oddawać teksty do treningu, decyduje właściciel strony. Gdy decyzja zapadnie, trzeba ją wpisać tam, skąd plik naprawdę pochodzi. W WordPressie robots.txt tworzy sam WordPress, a wtyczka SEO albo hosting mogą go zmieniać, więc po każdej zmianie sprawdź plik jeszcze raz w przeglądarce. OpenAI podaje, że jego systemy wyszukiwania uwzględniają zmianę po ok. 24 godzinach.

## Krok 2: czy Cloudflare albo firewall nie zatrzymują botów AI

Firewall decyduje, zanim bot przeczyta robots.txt. Jeśli zatrzyma bota na wejściu, kartka na drzwiach nie ma znaczenia.

**Cloudflare.** Od 1 lipca 2026 Cloudflare dzieli boty AI na trzy zachowania: Search (wyszukiwanie), Agent (działanie na prośbę człowieka) i Training (trening). Każde można zablokować na całej stronie, zablokować tylko na stronach z reklamami albo przepuścić. Domeny dodane od 15 września 2026 mają domyślnie zablokowane Training i Agent na stronach z reklamami. Search jest przepuszczony, ale boty, które przy okazji zbierają do treningu, łapią się na blokadę treningu ([Cloudflare, lipiec 2026](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/)). Ustawienie jest w ustawieniach bezpieczeństwa domeny, na ekranie „Configure AI bot traffic policies”.

**Hosting.** Część hostingów ma własną ochronę przed botami. Zapytaj w pomocy technicznej, czy blokują ruch po nazwie bota albo po liczbie zapytań.

**Szybki test.** Wyślij do strony zapytanie podpisane nazwą bota. Na macOS i w Linuksie wpisz w terminalu polecenie niżej. W Windows wpisz je w PowerShellu, ale zamiast `curl` napisz `curl.exe`, bo samo `curl` uruchamia tam inne polecenie.

```
curl -I -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" https://twojadomena.pl/
```

Kod `200` w pierwszej linii odpowiedzi znaczy, że serwer przepuszcza tę nazwę. Kod `403` albo `503` znaczy, że coś ją blokuje. Test ma granicę: sprawdza tylko blokadę po nazwie. Firewall, który wpuszcza tylko prawdziwe adresy IP botów, odrzuci Twoje polecenie, a prawdziwego bota wpuści. Bywa też odwrotnie: test przechodzi, a firewall blokuje prawdziwego bota po adresie IP albo po liczbie zapytań. Ostatnie słowo mają więc logi (krok 4).

## Krok 3: co bot AI dostaje, kiedy już wejdzie na stronę

Bot, który wszedł, musi szybko dostać tekst. Najczęstszy problem, czyli treść doklejaną JavaScriptem, której bot nie widzi, opisałem w [przyczynie 4 we wpisie o ChatGPT](https://webmountain.pl/pozycjonowanie/chatgpt-nie-widzi-strony/). Test to „Wyświetl źródło strony”. Poza treścią w kodzie liczą się trzy rzeczy: jak szybko serwer odpowiada, ile waży strona i co stoi w kodzie przed nagłówkiem.

**Czas odpowiedzi serwera (TTFB).** TTFB to czas od wysłania pytania do pierwszego bajtu odpowiedzi. OpenAI, Anthropic ani Perplexity nie publikują, ile ich boty czekają, więc punktem odniesienia jest Google: [według web.dev](https://web.dev/articles/ttfb) dobry czas to 0,8 s albo mniej, a słaby to ponad 1,8 s. Zmierzysz go w PageSpeed Insights albo poleceniem `curl -s -o /dev/null -w "%{time_starttransfer}\n" https://twojadomena.pl/` (w Windows: `curl.exe` i `NUL` zamiast `/dev/null`).

**Waga strony.** Bot płaci za każdy pobrany znak, bo tekst zamienia się w tokeny. Strona HTML wpisu „ChatGPT nie widzi strony” waży 55,4 kB, a jej wersja Markdown 11,1 kB (pomiar 14.10.2026). To jak menu w restauracji: te same dania, tylko bez zdjęć, ramek i reklamy deseru. Cloudflare podaje, że ta sama strona w Markdown to 80–84% mniej tokenów. To dane o tokenach, a nie o tym, czy AI częściej cytuje.

**Co stoi w kodzie przed nagłówkiem.** Część botów zamienia stronę na tekst i czyta go po kolei, od góry kodu. Jeśli na górze stoi menu, bot najpierw czyta menu, a dopiero potem odpowiedź. Na webmountain.pl przed nagłówkiem H1 stało w kodzie 38 słów menu. Po zmianie kolejności w kodzie stoi 0, a wygląd strony się nie zmienił. Czy to pomaga w cytowaniach, nie wiadomo: to moja hipoteza, a nie zmierzony efekt.

## Krok 4: logi serwera pokazują, czy bot AI naprawdę wchodzi

Logi serwera to zapis każdej wizyty na stronie: adres IP, data, adres podstrony, kod odpowiedzi i nazwa programu, który pytał. Tylko w logach widać, czy prawdziwy bot przyszedł i co dostał. Log dostępu (access log) pobierzesz zwykle z panelu hostingu.

**Jak czytać log krok po kroku:**

1. Pobierz log dostępu z ostatnich 7–30 dni.
2. Wyszukaj w pliku nazwy botów z tabeli wyżej, np. `OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`.
3. Sprawdź kod odpowiedzi przy każdej wizycie: `200` oznacza, że bot dostał stronę, `301` przekierowanie, `403` blokadę, `404` brak strony, `429` za dużo zapytań naraz, a `5xx`, że serwer nie dał rady.
4. Sprawdź, czy adres IP należy do firmy, której nazwą podpisał się bot (następna sekcja).
5. Zobacz, które adresy bot pobiera: artykuły, stronę główną, robots.txt, wersje `.md`, `llms.txt`.

Tak wygląda jedna linijka logu z wizytą bota:

```
203.0.113.25 - - [14/Oct/2026:09:12:44 +0200] "GET /pozycjonowanie/chatgpt-nie-widzi-strony/ HTTP/1.1" 200 55445 "-" "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)"
```

To przykład formatu. Adres 203.0.113.25 pochodzi z puli zarezerwowanej do przykładów i nie należy do żadnego bota.

## Jak odróżnić prawdziwego bota AI od podszywającego się

Nazwa bota w logu niczego nie dowodzi, bo każdy może się nią podpisać. Sprawdziłem to na własnej stronie. 14 października 2026 wysłałem na webmountain.pl zapytania podpisane jako OAI-SearchBot, GPTBot, PerplexityBot i ClaudeBot. Wszystkie wyszły z mojego komputera. Serwer każdemu oddał stronę z kodem 200, więc przez kilka sekund byłem w logach czterema botami AI naraz.

Prawdziwego bota poznasz po adresie IP. Jedne firmy publikują listy swoich adresów, inne każą sprawdzić adres odwrotnym zapytaniem DNS. Takie zapytanie zamienia adres IP na nazwę serwera. Potem trzeba zrobić odwrotnie: nazwę zamienić na adres i sprawdzić, czy wyszedł ten sam adres IP. Dopiero zgodność w obie strony coś potwierdza. Sposoby poszczególnych firm:

- **OpenAI:** listy adresów [searchbot.json](https://openai.com/searchbot.json), [chatgpt-user.json](https://openai.com/chatgpt-user.json), [gptbot.json](https://openai.com/gptbot.json);
- **Perplexity:** [perplexitybot.json](https://www.perplexity.com/perplexitybot.json) i [perplexity-user.json](https://www.perplexity.com/perplexity-user.json);
- **Anthropic:** lista [bots.json na claude.com](https://claude.com/crawling/bots.json). Anthropic zastrzega, że blokowanie po adresach IP może nie działać trwale;
- **Apple:** odwrotne zapytanie DNS musi dać nazwę kończącą się na `applebot.apple.com`, albo lista [applebot.json](https://search.developer.apple.com/applebot.json);
- **Google:** odwrotne zapytanie DNS musi dać nazwę w domenie `googlebot.com` albo `google.com` ([Google: weryfikacja Googlebota](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot));
- **Bing:** odwrotne zapytanie DNS musi dać nazwę kończącą się na `search.msn.com`. Bing Webmaster Tools ma też narzędzie „Verify Bingbot”.

## Co zrobić, gdy coś blokuje boty AI: wynik i poprawka

| Co widzisz | Co to znaczy | Co zrobić |
| --- | --- | --- |
| `Disallow: /` w grupie bota wyszukującego albo pod gwiazdką | robots.txt zamyka drzwi | usuń blokadę; w ChatGPT zmiana działa po ok. 24 h |
| test `curl` z nazwą bota daje `403` lub `503` | firewall albo Cloudflare blokuje po nazwie | w Cloudflare przepuść Search; w hostingu poproś o wyjątek |
| w logach `403` lub `429` przy adresach IP z oficjalnych list | firewall albo limit zapytań zatrzymuje prawdziwego bota | wyjątek dla zakresów IP z list firm |
| bot dostaje `200`, ale w źródle strony nie ma tekstu | treść dokleja JavaScript | renderowanie po stronie serwera (krok 3) |
| w logach dużo `5xx` albo długi czas odpowiedzi | serwer nie nadąża | cache strony, mocniejszy hosting |
| wszystko otwarte, a botów AI w logach brak | bot nie wie, że strona istnieje | indeks Binga, mapa strony, linki wewnętrzne |

Gdy bot wchodzi i dostaje treść, technika jest w porządku. Dalej decyduje tekst. Punkty, które sprawdzam w tekście, zebrałem w [checkliście pisania tekstów pod odpowiedzi AI](https://webmountain.pl/strategia/jak-pojawic-sie-w-odpowiedziach-ai/).

## Jak wygląda diagnoza botów AI na webmountain.pl

Kroki 1–3 przeszedłem na własnej stronie, krok 4 czeka na przegląd logów. Stan na 14 października 2026:

- **robots.txt** nie wymienia żadnego bota AI, więc każdy bot słucha grupy z gwiazdką. Ta grupa zamyka tylko panel WordPressa i wyszukiwarkę wewnętrzną;
- **test z nazwą bota:** OAI-SearchBot, GPTBot, PerplexityBot i ClaudeBot dostały stronę z kodem 200, po 3 zapytania na każdego;
- **czas odpowiedzi (TTFB):** od 0,19 do 0,31 s w tych 12 zapytaniach. Mierzyłem z mojego komputera w Polsce, a boty łączą się ze swoich serwerów, więc ich czas może być inny;
- **waga:** wpis HTML 55,4 kB, wersja `.md` 11,1 kB, do tego plik `/llms.txt` ze spisem treści strony;
- **kod przed nagłówkiem:** 0 słów przed H1 (wcześniej 38).

Co na tak przygotowanej stronie stało się z checklistą pisania pod AI tydzień po publikacji, opisuję w [case study: 1. miejsce w Google i w AI Overview](https://webmountain.pl/case-study/pozycjonowanie-w-ai-checklista-pierwsze-miejsce-google/).

Czego jeszcze nie wiem: czy prawdziwe boty pobierają wersje `.md` i `llms.txt`. To pokażą logi. Jeśli przez 2–3 miesiące żaden bot nie sięgnie po `.md`, zrezygnuję z tych wersji i dopiszę to tutaj.

## Kiedy warto poprosić kogoś o pomoc

Kroki 1–3 zrobisz sam w kilkanaście minut: przeczytasz robots.txt, sprawdzisz Cloudflare i wyślesz testowe zapytanie. Krok 4 wymaga dostępu do logów i cierpliwości, bo log ze zwykłej strony ma tysiące linijek dziennie. Weryfikacja adresów IP i wyjątki w firewallu to praca dla kogoś technicznego.

Jeśli chcesz, żebym sprawdził to na Twojej stronie, od robots.txt i Cloudflare po logi i testy w ChatGPT, tutaj opisuję, jak to wygląda: [pozycjonowanie strony w Google i AI](https://webmountain.pl/wsparcie-pozycjonowanie-strony/).

## Najczęstsze pytania

### Czy blokada ClaudeBot usuwa stronę z Claude?

Nie. ClaudeBot zbiera teksty do treningu modeli Anthropic. O tym, czy Claude znajdzie stronę w wyszukiwaniu, decydują Claude-SearchBot i Claude-User. Blokada ClaudeBot w robots.txt oznacza tylko, że przyszłe teksty ze strony nie trafią do treningu.

### Czy Google-Extended wyłącza AI Overviews?

Nie. Google podaje, że Google-Extended nie wpływa na obecność w wyszukiwarce. AI Overviews korzystają ze zwykłego Googlebota, więc ograniczysz je tylko ustawieniami nosnippet, max-snippet albo noindex, które działają też na zwykłe wyniki.

### Czy Perplexity słucha robots.txt?

PerplexityBot, czyli bot wyszukujący, słucha robots.txt. Perplexity-User, który otwiera stronę na prośbę użytkownika, według Perplexity zwykle robots.txt ignoruje, bo wizytę zleca człowiek.

### Jak sprawdzić, czy GPTBot w logach to naprawdę OpenAI?

Porównaj adres IP z wizyty z listą adresów, którą OpenAI publikuje dla danego bota (gptbot.json, searchbot.json, chatgpt-user.json). Sama nazwa w logu niczego nie dowodzi, bo każdy może się nią podpisać.

### Czy strona potrzebuje wersji Markdown dla botów AI?

Nie wiadomo. Wersja Markdown waży kilka razy mniej, więc bot zużywa na nią mniej tokenów, ale nie ma publicznych danych, że AI częściej ją cytuje. Na webmountain.pl testuję to w logach serwera.
