Définition SEO
Crawl
Processus par lequel un robot de recherche explore les pages d'un site web.
Définition complète
Le crawl (ou exploration) est le processus par lequel les robots des moteurs de recherche (Googlebot, Bingbot...) parcourent le web en suivant les liens hypertextes pour découvrir et analyser les pages web. Googlebot commence par une liste d'URLs connues, visite ces pages, en extrait le contenu et suit les liens vers de nouvelles pages. Pour optimiser le crawl de votre site : créez un sitemap XML, optimisez votre robots.txt, améliorez le maillage interne, réduisez les pages orphelines et évitez les pages de faible qualité qui "gaspillent" le crawl budget.
