Le trafic sur le Web est de plus en plus généré par les bots, et nous ne sommes plus très loin d’une domination par ces derniers.
Sur mes 12 sites, j’ai plus de visites des bots que des humains: des scrapers, pour le hacking, pour la publicité, pour les moteurs de recherche, et de temps en temps un bon bot qui respecte les directives dans robots.txt et les meta tags.Quelle pollution de la bande passante, ressources serveurs, etc…C’est aussi le Far West dedans…du Internet quoi.
2 « J'aime »
Merci SpaceBoy: grâce à ton commentaire je compte mieux l’article.
Je pensais que c’était des robots de moteurs de recherche pour référencer les sites… Si tu les repères ça doit facilement être bloqué ?
oui…il y a des listes et sites qui listent des « bad bots ». Certains sont gratuits, d’autres offrent des services payantes. C’est fou le nombre de pings ça fait sur tes sites. Un humain ne peut pas cliquer 10 fois dans la seconde. Un bot est capable de balancer 100/1000 requêtes par seconde sur ton serveur. Du throttling à mettre en place. Faut aussi dire que les services internet qu’on utilise comme booking, les facebook, les youtubes, etc, doivent visiter les sites pour avoir du contenu. Donc sans doute 90% du traffic internet sont des bots pour alimenter des logiciels utilisé par des humains. Ce n’est pas tenable…