Dans le secteur de l’assurance, la construction d’un tarif le plus adapté possible aux profils utilisateurs est un enjeu majeur et de fait, la veille concurrentielle se veut permanente dans ce domaine.
Raison pour laquelle des robots « scrappeurs » ont été développés pour remplir automatiquement les formulaires selon des profils type de clients et ainsi déterminer les prix de la concurrence.
- Mais quelles sont les conséquences de telles pratiques sur le fonctionnement et les résultats de l’entreprise ?
- Quelles sont les solutions possibles pour contrer ces robots ?
Les conséquences et impacts des robots scrappeurs sur l’entreprise
Chez lesfurets, la performance du site est mesurée en permanence à travers plusieurs indicateurs clés : le nombre d’utilisateurs qui sont arrivés sur le site, ceux qui ont complété le formulaire, ou encore ceux qui ont réellement souscrit un contrat d’assurance. Les robots scrappeurs peuvent donc fausser les chiffres car ils augmentent artificiellement les volumes de trafic du site, sans pour autant générer de leads derrière.
Ils peuvent ainsi altérer le travail des équipes si elles n’arrivent pas à les identifier précisément.
Cela nécessite un travail de nettoyage des chiffres en interne mais aussi une vérification très précise des analyses des résultats. Les équipes sont donc mobilisées sur ce travail de contrôle au lieu de se concentrer sur des tâches à plus forte valeur ajoutée.
Plusieurs pôles de l’entreprise sont concernés : l’équipe de Data insight, responsable de l’analyse des données, les équipes tech, qui travaillent sur les solutions technologiques pour bloquer les robots, les équipes marketing, produit ou encore les commerciaux qui présentent les performances du site aux partenaires.
Quels moyens existent pour contrer ces robots scrappeurs ?
Les équipes Tech sont chargées de mettre en place, sur l’infrastructure et le site web, des moyens de reconnaitre les robots et de les bloquer avant de contacter les partenaires, en vérifiant l’identification de l’adresse IP, la version de navigateur utilisée mais aussi en fonction d'autres paramètres spécifiques lesfurets.
Aussi, les équipes Data insight doivent identifier les patterns de robots et les exclure des indicateurs clés dans le reporting de l’entreprise. Ces patterns sont également remontés aux équipes Tech afin qu’ils puissent anticiper en implémentant des moyens de blocage en amont.
Cela demande une agilité constante aux équipes car les robots scrappeurs évoluent et se perfectionnent sans cesse pour déjouer les mécanismes de protection.
C’est pour cette raison que les équipes travaillent désormais avec Datadome, société spécialisée notamment dans la détection de trafic frauduleux et qui a développé une intelligence artificielle dans la détection de robots scrappeurs. Datadome s’appuie sur la recherche de signaux comportementaux permettant de déterminer s’il s’agit d’un humain ou d’un robot.
Depuis la mise en place de ce système, ce ne sont pas moins de 300 000 tentatives de scrapping qui sont désormais bloquées chaque mois.
Désormais, le trafic du site lesfurets est exempt de robots. Les indicateurs sont donc fiables pour le suivi et le pilotage de l’activité du site et les équipes peuvent maintenant se consacrer à des tâches à plus forte valeur ajoutée. Et bien sûr, cela permet de rassurer les partenaires et potentiels partenaires en leur fournissant des données fiables et pertinentes et en assurant un suivi de qualité.