Aller au contenu

Vous cherchez l’agence web Beriox (site, SEO, publicité) ? beriox.ca Ici, c’est BerioxHUB : rapports GA4 et Search Console.

Sites crawlés

Sites crawlés

Le module Sites crawlés vous permet de gérer les sites web qui sont automatiquement crawlés pour analyse et indexation.

Vue d’ensemble

Le module Sites crawlés vous permet de :

  • Ajouter des sites à crawler : Configurer des sites pour le crawl automatique
  • Déclencher des crawls : Lancer des crawls manuels
  • Associer des utilisateurs : Lier des sites à des utilisateurs
  • Gérer les tokens : Configurer les tokens d’accès
  • Consulter les résultats : Voir les données crawlées

⚠️ Attention : Ce module est réservé aux superadministrateurs.

Accéder au module

  1. Allez dans Admin > Sites crawlés
  2. La liste des sites crawlés s’affiche

Ajouter un site à crawler

  1. Cliquez sur Ajouter un site
  2. Remplissez les informations :
    • Nom : Nom descriptif du site
    • URL : URL complète du site
    • Type : Type de site (blog, e-commerce, etc.)
    • Fréquence : Fréquence de crawl souhaitée
    • Actif : Activer ou désactiver le crawl
  3. Cliquez sur Ajouter

Déclencher un crawl

Pour crawler un site immédiatement :

  1. Trouvez le site dans la liste
  2. Cliquez sur Déclencher le crawl
  3. Le crawl est lancé en arrière-plan
  4. Les résultats sont disponibles une fois terminé

Associer un utilisateur

Pour associer un site à un utilisateur :

  1. Ouvrez un site crawlé
  2. Cliquez sur Associer un utilisateur
  3. Sélectionnez l’utilisateur
  4. Le site est associé à l’utilisateur
  5. L’utilisateur peut maintenant voir les données du site

Dissocier un utilisateur

  1. Ouvrez un site crawlé
  2. Trouvez l’utilisateur associé
  3. Cliquez sur Dissocier
  4. L’association est supprimée

Gérer les tokens

Pour certains sites, vous devez configurer des tokens d’accès :

  1. Ouvrez un site crawlé
  2. Cliquez sur Mettre à jour les tokens
  3. Entrez les tokens nécessaires :
    • Token API : Token d’API si requis
    • Clé secrète : Clé secrète si nécessaire
  4. Cliquez sur Enregistrer

Consulter les résultats

Pour chaque site crawlé, vous pouvez voir :

  • Données crawlées : Contenu extrait du site
  • Métadonnées : Informations sur le crawl
  • Historique : Historique des crawls précédents
  • Statistiques : Statistiques de crawl

Bonnes pratiques

  • Configurez correctement : Assurez-vous que les URLs et tokens sont corrects
  • Surveillez les crawls : Vérifiez régulièrement que les crawls fonctionnent
  • Gérez les associations : Associez les sites aux bons utilisateurs
  • Documentez : Notez les configurations spéciales ou problèmes rencontrés

Prochaines étapes