janvier 2026
Évolution du modèle par enrichissement progressif des données
Introduction
Le phishing constitue l'une des principales menaces en cybersécurité, exploitant des messages frauduleux pour inciter les utilisateurs à divulguer des informations sensibles ou effectuer des actions malveillantes. L'objectif de ce projet est de concevoir un modèle de machine learning capable de distinguer des messages légitimes de tentatives de phishing à partir de leur contenu textuel.
Données utilisées
Le jeu de données utilisé dans ce projet est constitué de messages courts simulant des situations réelles, tels que des communications administratives légitimes et des messages frauduleux se faisant passer pour des institutions officielles. Les messages de phishing ont été construits autour de scénarios fréquemment observés, notamment des amendes à régler, des rappels urgents ou des menaces de sanctions.
Méthodologie
L'approche adoptée repose sur une méthode de classification supervisée. Les messages ont été transformées en représentations numériques à l'aide de la vectorisation TF-IDF, permettant de capturer l'importance relative des mots au sein de chaque message. Un modèle de régression logistique a ensuite été entraîné afin de prédire la probabilité qu'un message appartienne à la classe phishing
ou légitime
.
Évaluation et interprétation
Plutôt que de se limiter à une prédiction binaire, le modèle fournit pour chaque message une probabilité associée à chacune des classes. Cette approche permet une meilleure interprétation des résultats et met en évidence les cas ambigus, situés à la frontière entre messages légitimes et frauduleux.
Résultats - analyse qualitative
Les premiers résultats montrent que le modèle identifie correctement les messages contenant des formulations d'urgence ou faisant référence à des sanctions administratives comme des tentatives de phishing. A l'inverse, les messages informatifs standards, dépourvus de pression temporelle ou de menace explicite, sont majoritairement classés comme légitimes.
Les probabilités associées à chaque classe permettent d'interpréter la décision du modèle et de mettre en évidence les caractéristiques des tentatives de phishing, notamment les formulations d'urgence et les références à des sanctions.
| Type de message | Exemple de message | Probabilité légitime | Probabilité phishing | Décision |
|---|---|---|---|---|
| Légitime | Votre taxe foncière est disponible sur votre espace personnel | 0,53 | 0,47 | Légitime |
| Phishing | Vous avez une amen@e à payé sur ANTAI, cliquer ici pour régler | 0,35 | 0,65 | Phishing |
| Phishing | Votre compte est bloqué, pour le réactiver cliquez sur le lien | 0,34 | 0,66 | Phishing |
Afin d'évaluer plus globalement les performances du modèle, une analyse quantitative est réalisée à l'aide d'une matrice de confusion.
Matrice de confusion
La matrice de confusion permet de visualiser la répartition des prédictions correctes et incorrectes, et d'identifier les principaux types d'erreurs commises par le modèle. Elle permet de comparer les classes réelles et les classes prédites par le modèle et de mettre en évidence :
- les messages correctement classés ;
- les faux positifs (légitime $ \rightarrow $ phishing) ;
- les faux négatifs (phishing $ \rightarrow $ légitime).
Afin d'évaluer l'impact de la qualité et de la diversité des données sur les performances du modèle, plusieurs itérations ont été réalisées. Chaque étape correspond à un enrichissement progressif du jeu de données avec de nouveaux exemples de messages légitimes et frauduleux. Les matrices de confusion ci-dessous illustrent l'évolution des performances du classifieur.
Test 1 - Classification sur un jeu de données initial
La matrice de confusion obtenue (figure 1), montre que le modèle détecte tous les messages de phishing, mais classe incorrectement une partie des messages légitimes comme phishing. Ce comportement illustre le compromis entre sensibilité et spécificité, typique des modèles de classification basés sur le texte. Dans un contexte opérationnel, un faux positif est moins critique qu'un faux négatif, car il peut être traité manuellement, tandis qu'un phishing non détecté représente un risque direct pour l'utilisateur.
L'enrichissement du jeu de données initial permet néanmoins d'améliorer la robustesse du modèle. C'est ce que l'on va observer dans les tests 2 et 3 suivants.
Figure 1 - Matrice de confusion obtenue avec la première évaluation sur un jeu de données limité.
Test 2 - Amélioration du modèle par ajout de nouveaux exemples
Après un premier enrichissement des données avec de nouveaux exemples de messages plus réalistes, le modèle obtenu montre une amélioration globale de l'équilibre entre détection des attaques et limitation de faux positifs. La nouvelle matrice de confusion met en évidence une bonne capacité de détection des messages frauduleux, tout en conservant des performances raisonnables sur les messages légitimes.
Figure 2 - Matrice de confusion obtenue après enrichissement du jeu de données initial.
Cette nouvelle matrice de confusion montre que le modèle identifie correctement 6 messages de phishing, tandis qu'un message frauduleux n'est pas détecté. Du côté des messages légitimes, 3 sont correctement classés, mais 3 sont incorrectement identifiés comme phishing.
En résumé, le modèle parvient à détecter la majorité des messages de phishing, avec un message frauduleux non identifié. En revanche, certains messages légitimes sont parfois considérés à tort comme suspects. Ce comportement est courant en cybersécurité et traduit un choix volontaire visant à privilégier la détection des attaques.
En cybersécurité, il est souvent préférable de tolérer quelques faux positifs plutôt que de laisser passer des attaques non détectées.
Test 3 - Stabilisation des performances après un second enrichissement
L'enrichissement progressif du jeu de données initial améliore significativement les performances du classifieur. La matrice de confusion finale montre un bon équilibre entre détection des messages frauduleux et limitation des faux positifs, avec une précision et un rappel proche de 88 % :
- les faux positifs (légitimes bloqués) : 1
- les faux négatifs (phishing non détectés) : 1
Ce compromis est particulièrement adapté à un contexte de cybersécurité.
Figure 3 - Matrice de confusion obtenue après enrichissement avancé et stabilisation.
Conclusion
Cette démarche itérative met en évidence l'importance de la qualité et de la diversité des données dans les systèmes de détection. L'amélioration progressive des résultats illustre concrètement comment l'enrichissement du corpus permet d'augmenter la robustesse d'un modèle de classification appliqué à la cybersécurité.