Wie oft besuchen Bots eine Website ?
Jeden Tag crawlen Bots Millionen von Websites. Sie besuchen bereits bekannte Seiten erneut, um die auf ihren Servern gespeicherten Daten zu aktualisieren, und versuchen neue Seiten zu entdecken.
Bots sind Programme, die kontinuierlich auf Hunderttausenden von Computern ausgeführt werden.
Die großen Suchmaschinen verfügen daher über eine außergewöhnliche Rechenleistung.
Um aktuelle und relevante Ergebnisse zu liefern und gleichzeitig ihre technischen Ressourcen so weit wie möglich zu schonen, bestimmen die Algorithmen der Suchmaschinen, wie die Zeit am besten genutzt werden kann.
So werden die beliebtesten Websites und Seiten viel häufiger besucht als weniger beliebte Websites und Seiten.
Darüber hinaus identifizieren Suchmaschinen die Häufigkeit von Inhaltsaktualisierungen. So können sie ihre Besuchsfrequenz entsprechend ihren Erkenntnissen anpassen. Warum jeden Tag eine Seite besuchen, die seit fünf Jahren nicht mehr aktualisiert wurde?
Hingegen wird eine Seite, die sehr populär ist und sehr oft neue Inhalte anbietet, mehrmals täglich besucht.
Aktuell ist Google die Suchmaschine, die neue Seiten am schnellsten indexieren kann. Man nennt das Verfahren auch Echtzeit-Referenzierung.
So ist es nicht ungewöhnlich, dass selbst kleine Blogs ihre neu veröffentlichten Artikel innerhalb weniger Minuten indiziert und bei Google positioniert sehen.
Um aber genau zu wissen, wie oft Bots eine Website besuchen, gibt es nur eine Lösung: die Log-Analyse.
