La matrice de confusion, au cœur de l'optimisation des modèles prédictifs

Pour améliorer les modèles d’intelligence artificielle prédictive, les data scientists procèdent à une évaluation continue de leurs performances. La matrice de confusion s’impose comme un outil précieux à cet effet. Elle leur permet de différencier les prédictions correctes des prédictions erronées en les confrontant aux valeurs réelles.

Comprendre la matrice de confusion

Le machine learning ou apprentissage automatique permet aux IA d’acquérir des compétences spécifiques de manière autonome. Ce procédé consiste à alimenter leurs algorithmes de données et à les classifier. Une classification réussie garantit que le modèle produit des résultats fidèles à la réalité du terrain.

La matrice de confusion, également appelée tableau de contingence, joue un rôle crucial dans l’évaluation des modèles. Ce tableau à deux entrées offre aux professionnels les moyens d’identifier les ajustements nécessaires pour que les algorithmes génèrent des résultats dont les valeurs correspondent à celles réelles des données de test.

Le calcul d’une matrice de confusion exige deux ensembles de données distincts : un ensemble de données de test d’un côté et un ensemble de données de validation de l’autre. Ce dernier représente les valeurs correctes attendues. Ensuite, une fois que le modèle a effectué ses prédictions, il faut dénombrer les résultats corrects et incorrects pour chaque classe. Ces valeurs sont ensuite reportées dans le tableau.

Chaque ligne de la matrice de confusion représente le nombre d’occurrences d’une classe réelle. Quant aux colonnes, elles font référence au nombre d’occurrences d’une classe prédite. Ainsi, chaque colonne présente une classe estimée par le modèle ainsi que des lignes des classes réelles.

Utilité de la matrice de confusion

Afin d’évaluer la qualité du modèle, la matrice de confusion s’appuie sur quatre indicateurs clés :

• False Positive ou FP : La valeur réelle est négative alors que l’IA prédit une valeur positive. Exemple : Un patient en bonne santé diagnostiqué à tort avec un cancer.
• False Negative ou FN : L’IA prédit une valeur négative tandis que la valeur réelle est positive. Exemple : Un patient atteint d’un cancer non détecté.
• True Positive ou TP : La prédiction ainsi que la valeur réelle sont toutes deux positives. Par exemple : Un patient correctement diagnostiqué avec un cancer.
• True Negative ou TN : La valeur réelle ainsi que la prédiction sont négatives. Exemple : Un patient sain correctement identifié.

Comme vous pouvez le constater, les FN représentent les erreurs les plus graves et doivent impérativement être réduits. Elles peuvent avoir des conséquences importantes.

(https://drive.google.com/file/d/1v2DLyhZkj-VJJdvcBK9Q9rPDYwsv1uBY/view?usp=drive_link)

En s’appuyant sur la matrice de confusion, il est possible d’identifier les différents types d’erreurs commises par l’algorithme. Au-delà du domaine médical comme la détection des maladies dans notre exemple ci-dessus, cet outil trouve son application dans de nombreux autres secteurs. Par exemple, il peut être utilisé pour prédire les défauts de fabrication dans une chaîne de production industrielle ou pour un filtre anti-spam d’e-mails.