Commentaires : Les crawlers IA, nouvelle menace pour la stabilité des infrastructures web?

Les robots d’exploration propulsés par l’intelligence artificielle envahissent massivement le web, représentant désormais 28% du trafic traditionnellement dominé par Googlebot. Cette nouvelle génération de crawlers, plus gourmande et moins respectueuse des ressources serveur, met à rude épreuve les infrastructures en ligne et pousse de nombreux éditeurs à prendre des mesures radicales de protection.

Quelqu’un sait s’il existe des solutions « grand public » pour des petits web dev indépendants comme moi pour protéger sa plateforme au sujet des paywalls ou technologies anti-crawling que vous évoquez ?

1 « J'aime »

Idem.
Bonne question.
Le mieux est de changer de canal de communication je crois :sweat_smile:

Cloudflare propose des protections dont l’une qui bloque les accès au serveur si le nombre de requêtes dépasse un seuil choisi sur une période de 10 sec. Et c’est dans leur offre de base, gratuite.

1 « J'aime »

Merci infiniment @GastonFebus je valide ! Première et unique solution intéressante à mes yeux pour un profil tel que le mien.