Screaming Frog SEO Spider a la réputation d’être un outil « de technicien » : interface dense, colonnes par dizaines, vocabulaire d’ingénieur. C’est pourtant l’un des outils les plus simples à rentabiliser, même sans écrire une ligne de code. Ce guide du crawl Screaming Frog s’adresse aux responsables marketing, e-commerçants et rédacteurs qui veulent comprendre ce que les robots voient de leur site — sans dépendre d’un développeur.
Un crawler, concrètement, ça fait quoi ?
Screaming Frog se comporte comme Googlebot : il part de votre page d’accueil, suit chaque lien, et enregistre tout ce qu’il rencontre — URL, balises, codes de réponse, temps de chargement, liens internes. Le résultat est une photographie exhaustive de votre site tel qu’un robot le perçoit. Et c’est précisément là que se cachent les problèmes SEO invisibles depuis un navigateur.
Configurer son premier crawl en 3 réglages
Ne touchez pas aux 90 % d’options que vous ne comprenez pas : trois réglages suffisent pour démarrer proprement.
1. La vitesse de crawl
Dans Configuration > Speed, limitez à 2-3 URL par seconde. Votre site vous remerciera : un crawl trop rapide peut le ralentir pour les vrais visiteurs.
2. Le respect du robots.txt
Laissez le réglage par défaut (respect des directives) : vous verrez le site comme Google est autorisé à le voir.
3. Le rendu JavaScript si nécessaire
Si votre site repose sur React, Vue ou un thème très dynamique, activez Configuration > Spider > Rendering > JavaScript. Sinon, le mode par défaut (HTML) est plus rapide et suffit.
Entrez ensuite votre URL, cliquez sur Start, et laissez la grenouille travailler.
Les 5 onglets à regarder en priorité (et ce qu’ils révèlent)
| Onglet | Ce que vous y cherchez | Signal d’alerte |
|---|---|---|
| Response Codes | Erreurs 404, 500, redirections | Des 404 liées en interne, des chaînes de 301 |
| Page Titles | Balises title manquantes ou dupliquées | Plusieurs pages avec le même title |
| Meta Description | Descriptions absentes ou dupliquées | Pages stratégiques sans description |
| H1 | Structure des titres | H1 manquants, multiples ou dupliqués |
| Directives | Balises noindex, canonical | Un noindex oublié sur une page importante |
Ce dernier point mérite une insistance : après chaque refonte, nous trouvons régulièrement des balises noindex oubliées depuis la préproduction. Deux minutes dans l’onglet Directives peuvent littéralement sauver un lancement.
Trois analyses simples qui font gagner des positions
Les pages orphelines et la profondeur de clic
Dans l’onglet Crawl Depth (ou via la colonne éponyme), repérez les pages à plus de 3 clics de l’accueil : plus une page est profonde, moins elle reçoit d’autorité interne et moins Google la visite. Vos pages business doivent rester à 3 clics maximum.
Les liens internes cassés
Bulk Export > Response Codes > Client Error (4xx) Inlinks : vous obtenez la liste exacte des pages qui contiennent des liens morts, avec l’emplacement de chaque lien. C’est un fichier à donner tel quel à votre intégrateur — ou à corriger vous-même dans WordPress.
Les images trop lourdes
L’onglet Images filtre celles qui dépassent 100 Ko. Sur la plupart des sites que nous auditons, c’est le correctif de performance au meilleur ratio effort/gain : compresser dix images pèse souvent plus que des semaines d’optimisation technique.
Brancher Search Console pour passer au niveau supérieur
Via Configuration > API Access, connectez Google Search Console et GA4. Chaque URL crawlée s’enrichit alors de ses clics, impressions et sessions réelles. L’intérêt est immédiat : croiser « pages techniquement faibles » et « pages qui génèrent du trafic » vous donne l’ordre de priorité des correctifs. Une 404 qui recevait 500 visites par mois se répare aujourd’hui ; une 404 sans trafic ni lien peut attendre.
Dernier conseil de praticien : sauvegardez votre crawl (File > Save) après chaque audit. Au prochain crawl, la comparaison avant/après vous dira en un coup d’œil si les correctifs ont bien été déployés — et si rien d’autre ne s’est cassé entre-temps.
FAQ — vos questions fréquentes
Q. Screaming Frog est-il gratuit ?
R. La version gratuite crawle jusqu’à 500 URL, ce qui suffit pour un petit site vitrine. Au-delà, la licence payante (annuelle) débloque le crawl illimité, la sauvegarde des configurations, les connexions API (GA4, Search Console) et le crawl JavaScript.
Q. Mon site est en JavaScript (React, Vue), Screaming Frog peut-il le crawler ?
R. Oui : dans Configuration > Spider > Rendering, choisissez « JavaScript ». Le crawl devient plus lent car l’outil exécute chaque page dans un navigateur headless, mais vous voyez enfin ce que Google voit réellement après rendu.
Q. Quelle vitesse de crawl configurer pour ne pas surcharger mon site ?
R. Par défaut, limitez-vous à 2-3 URL par seconde (Configuration > Speed). Sur un serveur mutualisé ou un site fragile, descendez à 1 URL/seconde et lancez le crawl en heures creuses. Un crawl trop agressif peut ralentir le site pour vos visiteurs.
Q. Quelle différence entre Screaming Frog et le Site Audit de Semrush ?
R. Screaming Frog est un crawler de bureau : données brutes, contrôle total, aucune limite de fréquence. Semrush est un audit cloud : interprétation automatique, scoring et suivi dans le temps. En agence, nous utilisons les deux — Semrush pour le suivi, Screaming Frog pour l’investigation.
Q. Comment crawler un site en préproduction protégé par mot de passe ?
R. Screaming Frog gère l’authentification basique (popup) nativement et l’authentification par formulaire dans Configuration > Authentication. C’est l’usage classique pour auditer une refonte avant mise en ligne, sans attendre la production.
Conclusion : le crawl est un examen médical, pas une punition technique
Screaming Frog n’est intimidant que les dix premières minutes. Une fois les cinq onglets essentiels apprivoisés, c’est l’outil qui vous donne la vision la plus honnête de votre site : ce que voit un robot, ni plus ni moins. Pour aller plus loin sur l’outil, parcourez notre fiche outil Screaming Frog. Et si vous préférez qu’un praticien interprète le crawl pour vous, notre SEO audit inclut systématiquement un crawl complet analysé et priorisé.