Was verhindert die Indexierung einer Website ?
Die Liste der Faktoren, die eine Indexierung verhindern oder eine verbotene Manipulation bestrafen, ist ziemlich lang. Mit der Verbesserung der Entwicklungspraktiken, der immer höheren Qualität von gängigen CMS und dem zunehmenden technischen Fortschritt der Suchmaschinen ist es jedoch eher schwierig, nicht indiziert zu werden.
Einige Technologien sind aber echte Katastrophen, wenn man eine exzellente Indizierung erreichen will.
So bereiten Websites oder Navigationspfade von Websites, die voll und ganz in Javascript erstellt sind, oft Interpretationsprobleme für Bots.
Eine Website, auf die keine externen Links verweisen, braucht deutlich länger um indiziert zu werden, insbesondere dann, wenn sie zudem keine Besucher hat. Auch ist es komplizierter für die Bots, Seiten mit Frames oder iFrames zu indizieren.
Eine massive Duplizierung von Inhalten kann zum Problem werden, um die Bots anzulocken. Denn wenn der Großteil der Inhalte, die die Crawler vorfinden, bereits vorhandene Inhalte sind, ziehen Suchmaschinen es vor, andere Websites zu besuchen, um ihre Ressourcen besser zu nutzen.
Wirklich exotische URLs sind ebenfalls schwer zu indizieren, obwohl die meisten Suchmaschinen weniger restriktiv agieren als früher. Wussten Sie, dass vor einigen Jahren die Indizierung einer URL mit mehr als 3 Strichen in der Microsoft-Suchmaschine fast gar unmöglich war?
Websites mit einer großen Seitentiefe und einer geringen internen Vernetzung halten Suchmaschinen eher davon ab, sie schnell zu indizieren oder zumindest regelmäßig zu durchsuchen.
