Een Crawler (ook wel bot of spider genoemd) is een soort scanner van een zoekmachine die continu het internet afspeurt om webpagina’s te indexeren. Dit om nieuwe pagina’s te vinden of om wijzigingen van bestaande pagina’s te ontdekken. Al deze informatie wordt vervolgens opgeslagen in de database of index van de zoekmachine.