Surveillance et observabilité dans les systèmes de production ML

Alors que les modèles d’apprentissage automatique (ML) continuent de faire leur chemin dans les environnements de production, il devient essentiel de garantir leur stabilité, leur précision et leur intégrité. Contrairement aux logiciels traditionnels, les systèmes de ML peuvent échouer ou se dégrader silencieusement en raison de modifications des données, d'une dérive des concepts ou de l'obsolescence du modèle. La surveillance et l'observabilité dans les systèmes ML de production sont essentielles pour détecter, diagnostiquer et répondre à ces problèmes en temps réel. Cet article explore les concepts, outils, métriques, modèles et bonnes pratiques fondamentaux nécessaires pour mettre en œuvre une observabilité efficace dans les modèles ML déployés.

1. Introduction à la surveillance dans les systèmes ML

1.1 La différence entre surveillance et observabilité

Surveillance est l'acte de collecter, d'analyser et d'alerter sur des métriques ou des journaux prédéfinis. Il répond à des questions telles que « Le système fonctionne-t-il comme prévu ? »

Observabilité est la capacité de déduire l’état interne d’un système en fonction de ses sorties. Cela permet de répondre à des questions plus profondes telles que « Pourquoi la précision du modèle s'est-elle dégradée ? » ou "Pourquoi les prédictions sont-elles biaisées pour ce segment ?"

1.2 Pourquoi les systèmes ML nécessitent une surveillance spécialisée

• Les modèles ML sont probabilistes et sensibles aux changements de distribution des données.
• Les modèles peuvent se dégrader silencieusement sans défaillance de l’infrastructure.
• Les performances peuvent varier considérablement selon les segments d’utilisateurs.
• Les pipelines de données et les artefacts de modèles introduisent de la complexité.

2. Que surveiller dans les pipelines ML

2.1 Métriques au niveau du modèle

• Précision des prédictions : Précision de la classification, MAE, MSE, RMSE
• Confiance probabiliste : Distributions de confiance pour la classification
• Précision, rappel, score F1 : Surtout pour les ensembles de données déséquilibrés
• Latence du modèle : Temps d'inférence par requête
• Débit : Nombre de requêtes par seconde

2.2 Métriques au niveau des données

• Distribution des fonctionnalités : Changements de moyenne, de variance, de plage
• Valeurs manquantes : NaN ou NULL pendant l'inférence
• Schéma d'entrée : Types ou nombre de fonctionnalités incompatibles
• Dérive catégorielle : Changement dans les catégories d'étiquettes ou de fonctionnalités

2.3 Métriques au niveau du système

• CPU, GPU, utilisation de la mémoire
• État du conteneur (Docker/Kubernetes)
• Codes de réponse et erreurs de l'API
• Latence de la base de données ou du pipeline

2.4 Mesures au niveau de l'entreprise

• Taux de conversion ou taux de clics (CTR)
• Satisfaction du client ou mesures de rétention
• Impact sur les revenus ou économies de coûts

3. Détection de la dérive des données et de la dérive des concepts

3.1 Types de dérive

• Dérive des données : Modification de la distribution des fonctionnalités d'entrée
• Dérive des étiquettes : Modification de la répartition des étiquettes de sortie
• Dérive conceptuelle : Changement dans la relation entre l'entrée et la sortie

3.2 Méthodes statistiques de détection de dérive

• Divergence Kullback-Leibler (divergence KL)
• Indice de stabilité de la population (PSI)
• Test de Kolmogorov-Smirnov (test KS)
• Test du chi carré pour les caractéristiques catégorielles

3.3 Outils automatisés de surveillance de la dérive

• PourquoiLabs – Profilage automatisé des données et alertes de dérive
• Evidemment l'IA – Bibliothèque open source pour la dérive, le biais et les performances
• IA du violoniste – Suivi et explicabilité du modèle
• Détection d'alibi Seldon – Boîte à outils Python pour la détection des valeurs aberrantes et des dérives

4. Journalisation et traçage dans les pipelines ML

4.1 Types de journaux de clés

• Demandes et réponses de prédiction
• Valeurs des fonctionnalités et transformations de prétraitement
• Messages d'erreur ou exceptions
• Mesures de performances au fil du temps

4.2 Traçage distribué

Pour les systèmes complexes impliquant des pipelines de données, des API et des serveurs d'inférence, des outils tels que OpenTélémétrie ou Jaeger peut tracer les demandes de bout en bout pour identifier les goulots d’étranglement.

4.3 Journalisation centralisée

Utiliser Pile ELK (Elasticsearch, Logstash, Kibana) , Courant , ou Chien de données pour consolider les journaux et y rechercher des anomalies, des modèles ou des échecs.

5. Architecture de surveillance

5.1 Pile de surveillance ML typique

• Métrique: Prométhée, Grafana
• Journaux : Fluent Bit, ElasticSearch, Kibana
• Alertes : AlertManager, PagerDuty, OpsGenie
• Tableaux de bord : Visualisations Grafana ou Kibana

5.2 Surveillance en temps réel ou par lots

• En temps réel : Pour les modèles critiques en termes de latence, comme la détection des fraudes
• Lot: Tâches de validation nocturnes pour les pipelines hors ligne

5.3 Surveillance en périphérie et sur site

Les agents légers tels que les exportateurs Telegraf ou Prometheus peuvent être utilisés sur des appareils de périphérie ou des environnements isolés.

6. Alertes et détection d'anomalies

6.1 Quand déclencher des alertes

• La latence dépasse le seuil
• Les données d'entrée sont mal formées ou manquantes
• La confiance des modèles chute de manière inattendue
• La dérive des prévisions dépasse la ligne de base
• Les tâches par lots planifiées échouent ou se bloquent

6.2 Détection automatisée des anomalies

Utilisez des modèles statistiques ou des algorithmes ML pour détecter les anomalies dans les métriques. Cela peut être fait en utilisant :

• Prophet par Facebook pour les séries chronologiques
• Forêt d'isolement ou SVM à une classe
• Détecteur d’anomalies Azure Monitor

7. Observabilité pour les performances du modèle

7.1 Outils d'explicabilité

Des outils tels que SHAP, LIME et Captum permettent aux équipes de comprendre quelles fonctionnalités contribuent le plus aux prédictions. Ceci est essentiel pour :

• Conformité réglementaire
• Débogage des résultats biaisés
• Améliorer la confiance des parties prenantes

7.2 Évaluation basée sur les segments

Suivez les performances du modèle sur différentes cohortes (par exemple, âge, sexe, région) pour identifier les problèmes d'équité ou les biais démographiques.

7.3 Comparaison des versions de modèles

Comparez les versions de modèle nouvelles et existantes en termes de performances, de biais et d'utilisation des ressources avant le déploiement.

8. Outils et plateformes

8.1 Source ouverte

• Prométhée + Grafana – Collecte et visualisation de métriques
• OpenTélémétrie – Traçage à travers les services
• Evidemment l'IA – Modèles de rapports de performance
• Noyau Seldon – Surveillance des modèles pour les déploiements Kubernetes

8.2 Fournisseurs de cloud

• Moniteur de modèle Amazon SageMaker
• Azure Monitor pour ML
• Surveillance du modèle Google Vertex AI

8.3 Solutions d'entreprise

• IA du violoniste – Expliquabilité et suivi
• Arize IA – Analyse d’inférence en temps réel
• PourquoiLabs – Observabilité et alerte pour les systèmes ML

9. Meilleures pratiques

• Baser toutes les métriques pendant le développement du modèle
• Définir des alertes pour les anomalies au niveau du système et du modèle
• Recycler et valider régulièrement les modèles à mesure que de nouvelles données arrivent
• Mesures de segment pour découvrir les modèles de défaillance cachés
• Consigner les entrées, les sorties et les fonctionnalités intermédiaires pour la traçabilité
• Automatisez les pipelines de recyclage lorsque les performances se dégradent

10. Conclusion

La surveillance et l'observabilité sont des éléments essentiels de tout système de ML de production. Contrairement aux logiciels traditionnels, les systèmes ML nécessitent une observabilité non seulement au niveau de l'infrastructure, mais également au niveau des données et des modèles. En combinant des métriques, des journaux, des traces et des analyses statistiques, les organisations peuvent détecter les anomalies, garantir les performances des modèles et répondre aux exigences de conformité. Avec les outils, l'architecture et les processus appropriés en place, les équipes ML peuvent fournir des solutions d'apprentissage automatique robustes et fiables qui continuent de fonctionner dans des environnements de production dynamiques.