Sidi Ahmed Chaoui — dossier doctoral complet
Zone pilote. Une seule page réunissant données, détection, comparaison de modèles et littérature. Tous les chiffres sont recomputés depuis les exports bruts. Règle métier : ligne vide du classeur preloc = non-fuite confirmée.
1. Inventaire
| Indicateur | Valeur |
|---|---|
| Appareils installés | 47 |
| Mesures acoustiques | 41 670 |
| Période acoustique | 2023-07-21 → 2026-06-10 |
| Campagnes de contrôle | 43 |
| Lignes appareil × campagne reliées | 1 118 |
| Fuites confirmées | 33 |
| Non-fuites confirmées | 1 085 |
2. Géographie
- 47 capteurs, centroïde (34.05321, -4.98753).
- Emprise : latitude 34.02071–34.06542, longitude -5.02415–-4.97387.
3. Couverture temporelle
| Année | Lignes appareil × campagne | Fuites confirmées |
|---|---|---|
| 2024 | 182 | 8 |
| 2025 | 780 | 25 |
| 2026 | 156 | 0 |
4. Répartition des statuts fournisseur (toutes mesures)
5. Ancien vs nouveau jeu d'étiquettes
L'ancien benchmark ne gardait que les visites commentées : 65 événements dont 33 fuites. La grille complète donne 1 118 événements dont 33 fuites. Après contrôles techniques : 1 037 exemples exploitables (30 fuites), fréquence de fuite 2,9 %.
6. Profil acoustique : fuite vs non-fuite
| Indicateur (médiane) | Non-fuite | Fuite |
|---|---|---|
| Niveau minimal médian | 55 | 736 |
Les distributions se chevauchent : le niveau minimal seul ne sépare pas les fuites. D'où les variables de tendance, persistance et écart à la normale.
7. Appareils les plus offendeurs
| N° appareil | Fuites confirmées |
|---|---|
| 283 | 5 |
| 374 | 3 |
| 375 | 3 |
| 355 | 3 |
| 306 | 2 |
| 215 | 2 |
| 280 | 2 |
| 277 | 2 |
8. Mots-clés de confirmation
| Mot-clé | Occurrences à Sidi |
|---|---|
| BRT | 22 |
| RPC | 5 |
| CDT | 3 |
| FUITE INTERNE | 1 |
| RCE | 1 |
| VANNE | 1 |
Origine des étiquettes : commentaire fuite 33, commentaire non-fuite 32, ligne vide = non-fuite 1 053.
9. Signal fournisseur face aux confirmations (jeu exploitable)
| Statut fournisseur | Exemples | Fuites | Taux de fuite |
|---|---|---|---|
| normal | 716 | 2 | 0,3 % |
| alarming | 118 | 2 | 1,7 % |
| critical | 203 | 26 | 12,8 % |
10. Sidi vs reste du réseau
| Indicateur | Sidi Ahmed Chaoui | Réseau entier |
|---|---|---|
| Appareils | 47 | 443 |
| Mesures acoustiques | 41 670 | 262 910 |
| Lignes appareil × campagne | 1 118 | 6 493 |
| Fuites confirmées | 33 | 105 |
| Taux de fuite (grille) | 3,0 % | 1,6 % |
Sidi concentre 10,6 % des appareils mais 31,4 % des fuites confirmées : zone la plus riche en signal.
11. Le piège de l'accuracy
À Sidi, répondre toujours « non-fuite » donnerait 97,1 % d'accuracy tout en ratant 100 % des fuites. Validation prioritaire : rappel des fuites, précision des alertes, PR-AUC, cas « incertains ».
12. Détection 3 classes (prototype rétrospectif)
Prototype, pas un remplacement des techniciens. Trois sorties : fuite probable, non-fuite probable, incertain.
Détecteur : Extra Trees calibré, entraîné sur toutes les zones (99 fuites exploitables), évalué hors-campagne.
- Grille brute : 6493 événements, 105 fuites. Après contrôle historique : 5200 événements, 99 fuites. Sous-ensemble Sidi : 1037 événements, 30 fuites.
- PR-AUC globale 0.138 ; PR-AUC Sidi 0.181 (aléatoire Sidi = 0.029).
Règle : score ≥ 0.376 → fuite probable ; score ≤ 0.007 → non-fuite probable ; entre les deux → incertain (technicien).
Résultat toutes zones
| Sortie | Exemples | Fuites réelles | Part de fuites |
|---|---|---|---|
| Fuite probable | 13 | 4 | 30.8 % |
| Incertain | 4825 | 95 | 2.0 % |
| Non-fuite probable | 362 | 0 | 0.0 % |
Résultat Sidi
| Sortie | Exemples | Fuites réelles | Part de fuites |
|---|---|---|---|
| Fuite probable | 5 | 2 | 40.0 % |
| Incertain | 974 | 28 | 2.9 % |
| Non-fuite probable | 58 | 0 | 0.0 % |
À Sidi, « fuite probable » = 5 événements dont 2 fuites réelles ; « non-fuite probable » = 58 événements, rate 0 fuite connue dans ce contrôle rétrospectif.
Usage
- Fuites probables → tête des interventions. 2. Incertains → technicien. 3. Non-fuites probables → allège la charge uniquement après pilote prospectif (toujours auditer un échantillon). 4. Chaque nouvelle campagne/réparation/confirmation réintègre l'entraînement.
Comparaison complète sur Sidi Ahmed Chaoui
Tous les modèles du benchmark sont ré-évalués uniquement sur la zone Sidi (1037 événements, dont 30 fuites), par validation groupée en cinq plis par campagne. La ligne synthétique est volontairement absente : un modèle entraîné sur des données simulées dérivées des mêmes événements fuit par construction (cf. démo synthétique, honnête et isolée).
| Modèle | PR-AUC | Rappel@7 | Précision binaire | Rappel binaire | F1 binaire |
|---|---|---|---|---|---|
| tabpfn | 0.267 | 0.83 | 0.32 | 0.50 | 0.39 |
| catboost | 0.239 | 0.80 | 0.22 | 0.37 | 0.28 |
| hist_gradient | 0.216 | 0.80 | 0.30 | 0.30 | 0.30 |
| random_forest | 0.211 | 0.80 | 0.21 | 0.40 | 0.28 |
| balanced_rf | 0.203 | 0.90 | 0.27 | 0.40 | 0.32 |
| extra_trees | 0.197 | 0.87 | 0.16 | 0.63 | 0.26 |
| svm_rbf | 0.193 | 0.67 | 0.25 | 0.23 | 0.24 |
| xgboost | 0.171 | 0.80 | 0.24 | 0.23 | 0.24 |
| vendor_minimal | 0.142 | 0.90 | 0.16 | 0.73 | 0.26 |
| logistic_l2 | 0.141 | 0.73 | 0.23 | 0.23 | 0.23 |
| logistic_l1 | 0.139 | 0.83 | 0.16 | 0.53 | 0.24 |
| isolation_forest | 0.096 | 0.70 | 0.20 | 0.17 | 0.18 |
| device_anomaly | 0.075 | 0.57 | 0.12 | 0.33 | 0.18 |
| ocsvm | 0.065 | 0.60 | 0.13 | 0.20 | 0.16 |
| lof | 0.052 | 0.37 | 0.11 | 0.20 | 0.14 |
| autoencoder | 0.051 | 0.43 | 0.07 | 0.17 | 0.10 |
- Référence aléatoire (prévalence) : 0.029. Toute PR-AUC au-dessus trie mieux que le hasard.
- Meilleur classement sur Sidi :
tabpfn(PR-AUC 0.267). - Meilleure décision binaire (fuite/non-fuite) :
tabpfn— précision 0.32, rappel 0.50, F1 0.39 au meilleur seuil.
La précision binaire reste modeste : à Sidi, seules 3 % des visites sont des fuites, et le bruit urbain ressemble au signal de fuite. Un classifieur fuite/non-fuite ne peut pas atteindre une précision élevée sur ces données : il classe, ne confirme pas. La décision à trois sorties (fuite probable / incertain / non-fuite) reste plus sûre qu'un oui/non brut.
Ce que dit la littérature (revue 2018–2026)
- Notre régime est sous-servi par la littérature : l'essentiel des travaux acoustiques opère sur signaux bruts/spectrogrammes. Peu de choses sur des résumés SePem (minimal/frequency/spread) avec <500 fuites confirmées. Notre approche n'est pas en retard : elle est proche de la frontière pour ce type de données.
- Sur tableaux hétérogènes petits/moyens, les ensembles d'arbres restent l'état de l'art (Grinsztajn 2022). Notre convergence RF/ExtraTrees/XGB/HistGB autour d'une PR-AUC modeste est attendue, pas anormale.
- Le rééquilibrage naïf (SMOTE/ADASYN/GAN) ne tient pas ses promesses et gonfle souvent les scores par fuite de validation. À utiliser seulement comme analyse de sensibilité, à l'intérieur du pli d'entraînement.
- La détection d'anomalies pure perd dès qu'on dispose de non-fuites confirmées (jeu contaminé par pré-sélection des alarmes). Confirmé par nos tests (iso/ae/ocsvm/lof < 0,36).
- Méthodes testées ici sans gain : CatBoost (0,43/0,43), BalancedRF (0,44/0,45), TabPFN fondation tabulaire (0,42/0,38), stacking (0,41/0,43). Aucune ne batte ExtraTrees/combo. Restent plausibles : focal/asymmetric loss, pré-entraînement auto-supervisé tabulaire sur les 262 910 mesures non étiquetées.
- Leviers réels = données + framing, pas le modèle : (a) plus de fuites confirmées (~300–500 pour une décision binaire fiable), (b) visites d'audit hors alarme, (c) paires avant/après réparation, (d) décision à trois sorties avec abstention (déjà prototypée ici), (e) variables résiduelles plus riches (heure, jour, saison, pression, contexte DMA).
Conclusion stratégique : sans audio brut, la voie gagnante n'est pas d'imiter la littérature « signal brut » mais de devenir la référence small-data, summary-only, calibration-aware, leakage-safe. Le combo actuel (ExtraTrees + anomalie-périphérique + abstention) est déjà proche. Les progrès viendront des données et du framing, pas d'un changeur de modèle.
Comment lire les métriques (pour non-spécialistes)
- PR-AUC = qualité du classement, pas une note sur 100. Échelle 0 → 1.
- 1 = parfait (toute fuite classée avant toute non-fuite).
- Hasard = la proportion de fuites. À Sidi = 0.029, sur le réseau ≈ 0,31.
- Ici : PR-AUC Sidi = 0.181 (soit 6.3× le hasard). Tout ce qui dépasse la prévalence trie mieux que le hasard.
- Rappel@7 = « sur 100 fuites connues, combien le modèle place dans ses 7 visites priorisées ». Échelle 0–100 %. C'est le bon chiffre à retenir pour la défense.
- Précision@7 = « parmi les 7 visites priorisées, quelle part sont de vraies fuites ». Échelle 0–100 %.
- Accuracy = piège. À Sidi elle grimpe à 97,1 % juste en répondant toujours « non-fuite », tout en ratant 100 % des fuites. On ne l'utilise pas.
À la défense, le chiffre clair à donner : « le modèle place la majorité des fuites dans ses 7 priorités, contre moins pour l'alarme seule ». Pas de PR-AUC brut comme une note.
Fuite / non-fuite : le combo pourra-t-il décider plus tard ?
Oui, mais avec des conditions.
- Aujourd'hui le combo classe, il ne décide pas. Il produit un score ; choisir un seuil « fuite/non-fuite » donne une précision trop faible (~0,31–0,35) → 2 alarmes sur 3 fausses. Donc on garde la décision à 3 sorties (fuite probable / incertain / non-fuite), pas un oui/non brut.
- Avec plus de données (~300–500 fuites confirmées + visites d'audit hors alarme + paires avant/après réparation), une décision binaire fiable devient envisageable. Cible réaliste : précision ≥ 0,70 à rappel ≥ 0,50, vérifiée sur appareils et campagnes inconnus.
- Le bon modèle pour la décision binaire n'est pas le combo de rangs, mais un classifieur calibré (ExtraTrees/RF ou XGBoost avec poids de classe) dont on fige le seuil, encadré par une zone d'abstention. Le combo reste utile pour classer les visites ; le classifieur calibré sert à confirmer.
Donc : le combo actuel est la base du classement. Quand les données le permettront, on ajoutera par-dessus un détecteur binaire calibré avec abstention. Tant que le seuil de confirmation n'est pas atteint, le technicien reste la seule confirmation valable.
13. Décision de modélisation & feuille de route
Le détecteur s'entraîne sur toutes les zones (99 fuites exploitables) puis est évalué sur Sidi ; entraîner uniquement sur les fuites Sidi serait trop fragile. Benchmark complet : Modèles. Feuille de route détaillée : données nécessaires.