En crawler (også kaldet spider eller bot) er et program, der automatisk gennemgår internettet ved at følge links fra side til side og hente indholdet. Googles crawler hedder Googlebot.
Crawlere er første led i søgemaskinens arbejde: Uden crawl ingen indeksering, og uden indeksering ingen placeringer. Man kan styre crawleres adgang med robots.txt og meta robots – og SEO-værktøjer bruger egne crawlere til at analysere websites.