Benchmark des modèles de classement

Résultat exploratoire. Meilleure combinaison stable : balanced_rf + device_anomaly + extra_trees. Elle doit encore être confirmée sur de nouvelles campagnes avant tout pilote opérationnel.

Ce que ça veut dire, simplement

Les indicateurs techniques (PR-AUC, précision) utilisent une échelle trompeuse : 0,33 n'est pas une note de 3/20. Voici la même chose en langage clair :

• Sur 100 fuites connues, le modèle en place 84 dans ses 7 visites priorisées (contre 80 pour l'alarme seule). C'est la capacité à ne pas rater de fuites.
• Pour trouver 1 fuite, il faut environ 3.0 visites avec le modèle, 3.1 avec l'alarme, 3.2 au hasard. Le modèle concentre donc un peu plus les fuites en tête de liste.
• La qualité technique (PR-AUC 0.47) vaut 1.5× le hasard (0.31). Honnête avec seulement 99 fuites, mais modeste.

Pourquoi pas 90 % ? Parce qu'environ 4 alarmes critiques sur 5 ne sont pas des fuites (pompes, vannes, trafic…). Quand le signal d'une fuite ressemble à celui d'un bruit urbain, aucun modèle ne peut deviner. Le modèle aide donc à trier par où commencer, pas à confirmer qu'il y a une fuite.

Données et protocole

• Le classeur contient 344 visites, dont 105 fuites confirmées.
• 320 visites sont exploitables par les modèles, dont 99 fuites et 221 non-fuites, issues de 40 campagnes.
• Les 24 visites écartées n'ont pas d'appareil correctement relié ou pas de mesure acoustique le matin concerné. Elles ne sont ni inventées ni complétées artificiellement.
• Caractéristiques calculées uniquement avec les mesures disponibles avant date d'alerte + 4 h.
• Fenêtres historiques : 3, 7, 14 et 30 jours ; niveaux, dispersion, tendances, persistance critical et écart à la normale propre à l'appareil.
• Chaque visite devient un échantillon décrit par 91 variables numériques. Les 262 910 mesures servent à construire leur historique ; elles ne deviennent pas 262 910 exemples étiquetés.
• Validation principale : cinq plis gardant chaque campagne entière hors entraînement.
• Stress test : cinq plis gardant chaque appareil entier hors entraînement.
• Combinaisons : moyenne non pondérée des rangs de deux ou trois modèles. Aucun poids optimisé sur ces 99 fuites.

Du fichier brut à un échantillon

262 910 mesures acoustiques
          ↓ historique disponible avant la visite
344 visites avec observation du technicien
          ↓ appareil relié + mesure du matin présente
320 échantillons utilisables = 99 fuites + 221 non-fuites
          ↓ séparation par campagne ou par appareil
entraînement sur 4 groupes / évaluation sur le 5e groupe jamais vu

La cible label vaut 1 quand l'observation du technicien confirme une fuite et 0 dans les autres visites. Un appareil jamais visité n'est jamais transformé en faux exemple négatif.

Résumé descriptif des échantillons réellement utilisés :

Ces médianes décrivent les groupes ; elles ne constituent pas une règle de décision.

Comment lire les noms des variables

Un nom comme minimal_mean_7d se décompose ainsi :

• minimal, frequency, spread : les trois valeurs acoustiques exportées par SEPEM ;
• latest : dernière valeur disponible avant la limite de 4 h ;
• 3d, 7d, 14d, 30d : fenêtre de 3, 7, 14 ou 30 jours ;
• mean / median : moyenne / médiane de la fenêtre ;
• std / range : variabilité / écart entre minimum et maximum ;
• delta : dernière valeur moins la première ;
• slope : tendance générale, positive si la mesure augmente ;
• critical_ratio_7d : part des mesures des sept derniers jours au-dessus du seuil critical ;
• minimal_device_robust_z : écart entre la dernière mesure et la normale propre à cet appareil. Une valeur élevée signifie « inhabituel pour ce capteur ».

Les identifiants d'appareil, les dates et les observations textuelles ne sont pas donnés au modèle comme raccourcis de prédiction.

Modèles comparés, en langage courant

Le combo ne vote pas « fuite / pas fuite ». Chaque composant attribue un score, les visites sont classées, puis leurs positions moyennes donnent le classement final.

Validation sur campagnes inconnues

Validation sur appareils inconnus

Comment lire les métriques

• PR-AUC : qualité globale du classement quand les fuites sont rares. La référence aléatoire est ici la proportion de fuites, soit 0.309.
• ROC-AUC : probabilité qu'une fuite choisie au hasard soit classée avant une non-fuite. Utile, mais parfois trop optimiste lorsque la classe positive est rare.
• Précision@7 : parmi les sept premières visites proposées dans chaque campagne, part de vraies fuites.
• Rappel@7 : part de toutes les fuites connues qui se trouvent dans ces sélections de sept visites.
• Hors campagne : aucune visite de la campagne testée n'a servi à entraîner le modèle.
• Hors appareil : aucune visite de l'appareil testé n'a servi à entraîner le modèle ; c'est le contrôle le plus strict contre la mémorisation d'un capteur.

Les prédictions sont dites out-of-fold : chaque score affiché a été produit par un modèle qui n'avait pas vu cet échantillon pendant son entraînement.

Meilleure combinaison

balanced_rf + device_anomaly + extra_trees

• PR-AUC hors campagne : 0.471 ; précision@7 : 0.337.
• PR-AUC hors appareil : 0.481 ; précision@7 : 0.321.
• Test chronologique à partir du 2025-10-17 : PR-AUC 0.628, précision@7 0.366, rappel@7 0.839.
• Prévalence des fuites : 0.309. La PR-AUC hors campagne atteint 1.52 fois cette référence, mais le gain à sept visites reste faible.

Pour une politique strictement limitée aux sept premiers, le signal le plus stable est catboost (précision@7 minimale 0.337 entre les deux validations). Beaucoup de campagnes ne contiennent qu'environ huit visites : sélectionner sept lignes laisse mécaniquement peu de marge au modèle.

Interprétation correcte

Ce benchmark classe des visites historiques déjà sélectionnées. Il ne mesure pas le rappel sur les 443 appareils, car les appareils non visités sont non étiquetés. La meilleure combinaison est une hypothèse de pilote, pas une preuve de déploiement.

Le prochain test utile est prospectif : utiliser le classement pour sept visites et conserver une huitième visite d'audit hors classement. C'est cette collecte qui permettra de mesurer le gain réel et le biais de sélection.

Les résultats complets sont disponibles dans model_benchmark.csv.