Problème de robots

Par yansanmo

2009-10-01 10:54:59

J'ai quelques problèmes sur un site avec le robot BaiduSpider. On dirait qu'il ne lit pas le fichier robots.txt. J'avais mis une interdiction pour tous les sites web (User-agent: *) et ensuite une interdiction pour BaiduSpider. En regardant le fichier d'example de Wikipédia, j'ai réalisé que tous les identifiants de robots étaient avant l'interdiction générale. J'ai donc inversé les deux règles et j'espère que BaiduSpider va arrêter d'espionner sur le site.


<<Précédente Suivante>>


Ajout d'un commentaire