Crawler
Ett program som besöker och läser webbsidor åt en sökmotor eller en AI-tjänst.
En crawler fungerar som en inventerare som går från hylla till hylla och antecknar vad som finns. Det den inte kommer åt, eller inte kan läsa, finns inte med i anteckningarna.
Ordet kommer från engelskans crawl, krypa. Varje tjänst har egna crawlers med olika uppgifter. Googlebot läser sidor åt Google Sök, och reglerna för den i robots.txt styr också Googles AI-funktioner, enligt Google Search Central. Hos OpenAI avgör OAI-SearchBot om sajten visas i ChatGPT:s sökning, medan GPTBot samlar in material till träning. Perplexity skriver att PerplexityBot används för sökresultaten och inte för att träna grundmodeller. Google påpekar i sin genomgång av JavaScript att alla crawlers inte kan köra JavaScript.