Was ist ein Crawler?
Ein Crawler ist ein Programm, das regelmäßig das Internet durchsucht. Dabei analysiert er die gefundenen Inhalte wie Texte, Videos und Bilder und indexiert sie.
Hauptsächlich nutzen Suchmaschinenanbieter solche Crawler, auch Search Bots genannt, zur Indexierung von Websites. Dieser Indexierung liegen Algorithmen der jeweiligen Suchmaschine zugrunde.
Webcrawler folgen prinzipiell jedem Link, den sie auf einer Webseite finden. Eine Ausnahme sind jene Inhalte, die im HTML-Code mit dem Linkattribut nofollow gekennzeichnet sind. Ist ein Inhalt mit noIndex gekennzeichnet, wird dieser von der Indexierung ausgenommen.
Crawler sind das Instrument von Suchmaschinen, mit dem Inhalte gefunden und indexiert werden können.Je nach eingetipptem Keyword werden dann bei der Nutzung von Suchmaschinen passende indexierte Daten in den Suchergebnissen angezeigt.
Crawler und die Suchmaschinenoptimierung
Damit alle Inhalte einer Webseite auch in den Suchmaschinenindex aufgenommen werden können, muss ein Crawler die eigene Webseite auch gut durchsuchen können. Dafür ist eine klare URL-Struktur wichtig. Je mehr eine Seite zusätzlich verlinkt ist, desto häufiger und länger durchsucht ein Bot die Webseite. Das heißt sowohl eine übersichtliche interne Verlinkung als auch viele Backlinks sind ausschlaggebend für den häufigen Besuch eines Crawlers. Auch das Anlegen einer leistungsstarken robots.txt-Datei ist ratsam, um die Tätigkeit des Crawlers zu steuern.