Logfile-Analyse: Welche Crawler waren wirklich da?

Ihre Statistik zeigt nur Menschen. Ob ChatGPT, Perplexity und Google wirklich kommen, steht im Logfile. Die Auswertung läuft in Ihrem Browser.

Die Logfile-Analyse zeigt, welche Suchmaschinen und KI-Crawler Ihre Website wirklich besuchen. Sie sehen, wie oft sie kommen, welche Seiten sie abrufen und wo sie auf Fehler stoßen. Die Auswertung läuft vollständig in Ihrem Browser, die Datei wird nicht hochgeladen.

Kostenloses Werkzeug

Logfile-Analyse für Google und KI-Crawler

Ihre Besucherstatistik zeigt nur Menschen. Ob ChatGPT, Perplexity und Google Ihre Website wirklich besuchen, wie oft und wo sie auf Fehler stoßen, steht nur im Logfile Ihres Servers. Wählen Sie die Datei aus und sehen Sie in Sekunden, welche KI-Crawler bei Ihnen waren und welche nie kommen.

Die Datei verlässt Ihren Rechner nicht. Die Auswertung läuft vollständig in Ihrem Browser, es wird nichts hochgeladen und nichts gespeichert. Unterstützt wird das übliche Format von Apache und nginx (Combined Log Format).

Wo Sie Ihr Logfile finden

Jeder Webserver schreibt mit, wer welche Seite abgerufen hat. Die Datei heißt meist access.log und liegt im Kundenbereich Ihres Hosters, oft unter „Statistik“, „Logs“ oder „Zugriffsprotokolle“. Bei manchen Tarifen müssen Sie die Protokolle erst einschalten. Gepackte Dateien mit der Endung .gz können Sie direkt auswählen.

Was die Auswertung zeigt

  • Wer war da: Google, Bing und die KI-Crawler von OpenAI, Anthropic, Perplexity und anderen, getrennt nach Suche, Abruf auf Nutzerwunsch und Training.
  • Wer fehlt: Crawler der KI-Suche, die im Zeitraum nie vorbeigekommen sind.
  • Was gelesen wird: die meistbesuchten Adressen, getrennt für Suchmaschinen und KI-Crawler.
  • Wo es hakt: Adressen, bei denen Crawler einen Fehler bekommen haben, zum Beispiel 404, 403 oder 500.
  • Verlauf: Abrufe pro Tag.

Warum die Datei auf Ihrem Rechner bleibt

Logfiles enthalten die IP-Adressen Ihrer Besucher. Das sind personenbezogene Daten, die nicht auf fremde Server gehören. Das Werkzeug liest die Datei deshalb direkt in Ihrem Browser. Es wird nichts übertragen und nichts gespeichert, auch keine E-Mail-Adresse.

Was die Auswertung nicht kann

Sie ordnet die Zugriffe nach der Kennung zu, die im Logfile steht. Kennungen lassen sich fälschen. Ob wirklich Google oder OpenAI dahintersteckt, zeigt erst der Abgleich mit den veröffentlichten IP-Adressen der Anbieter. Das gehört zum SEO-Audit, genauso wie die Frage, welche wichtigen Seiten gar nicht gecrawlt werden.

Häufige Fragen zur Logfile-Analyse

Welches Format wird unterstützt?

Das übliche Format von Apache und nginx, das Combined Log Format. Die meisten Hoster liefern genau das.

Wie groß darf die Datei sein?

Das hängt von Ihrem Rechner ab. Dateien mit mehreren hunderttausend Zeilen sind in wenigen Sekunden ausgewertet. Bei fünf Millionen Zeilen bricht das Werkzeug ab.

In meinem Logfile fehlen die Kennungen der Besucher. Was nun?

Manche Hoster kürzen die Protokolle. Fragen Sie nach dem vollständigen Zugriffsprotokoll mit User-Agent.

Die KI-Crawler tauchen gar nicht auf. Ist das schlimm?

Bei den Abrufen auf Nutzerwunsch ist das normal, solange niemand eine KI nach Ihrer Seite fragt. Fehlen die Crawler der KI-Suche über Wochen, prüfen Sie mit dem KI-Crawler-Check, ob sie ausgesperrt werden.

Lieber gleich mit einem Menschen sprechen?

Im kostenlosen Erstgespräch klären wir in 30 Minuten, wo Ihre Website steht und was sich lohnt.

Erstgespräch vereinbaren
Beratung anfragen