Générateur de robots.txt
Créez un robots.txt avec plusieurs blocs user-agent, règles Allow/Disallow, Crawl-delay (optionnel), Host et lignes Sitemap. L’aperçu se met à jour en direct pendant la saisie.
Blocs User-agent
Global
Remarques :
Host est pris en compte par certains robots (ex. : Yandex). Crawl-delay n’est pas utilisé par Google mais peut l’être par d’autres. Les jokers * et $ sont largement pris en charge (hors RFC de base).
Aperçu (robots.txt)
Testeur d’URL
Rappel :
robots.txt est publiquement accessible et constitue un avis pour les robots bien élevés ; ce n’est pas un mécanisme de contrôle d’accès.
Asted Cloud
Commentaires (0)
Partagez votre avis — merci de rester courtois et dans le sujet.
Connectez-vous pour commenter