Fachbegriffe Suchmaschinenoptimierung

Crawler / Spider / Robot

Die Crawler, auch Spider oder Robots genannt, sind im Grunde genommen "nur" Computerprogramme. Diese Computerprogramme durchforsten das Internet und durchsuchen Seite für Seite nach neuen Inhalten.

Jede Suchmaschine besitzt einen eigenen Crawler. Dieser Crawler speichert jegliche Inhalte, die er auf einer Inernetseite findet, auf einem der riesigen suchmaschineneigenen Server ab.