GroovyMorning_RLAC
Benchmarking de l’IA Radio : Comment mesurer l’efficacité d’un algorithme de segmentation ?
L’évaluation de la compréhension de la radio par une IA nécessite un framework rigoureux. Ce dernier a été mis en place pour comparer les différentes méthodes de segmentation (LLM vs Machine Learning vs Audio).
Le point d’entrée : Le fichier de résultats JSON
Avant l’analyse de la performance, chaque modèle de détection doit produire un fichier de résultats au format JSON standardisé. Ce fichier sert de contrat d’interface entre les moteurs d’IA et l’évaluateur. Il liste les chroniques détectées avec les propriétés suivantes :
[
{
"label": "Le journal de 7h",
"start": 120.5, // Début de la chronique (en secondes)
"end": 240.0, // Fin de la chronique (en secondes)
"detected_at": 135.2, // Moment précis de la confirmation par l'IA
"confidence": 0.95 // Indice de confiance du modèle
}
]
L’évaluateur compare ensuite ce fichier à une Vérité Terrain (Ground Truth), contenant les horodatages réels validés par un humain, afin de calculer les scores de précision et de latence.
Les deux piliers de la performance
L’évaluation d’un algorithme ne se limite pas à la simple détection d’une chronique. Deux dimensions critiques sont mesurées :
1. La Fidélité Temporelle (IoU)
La métrique IoU (Intersection over Union) est utilisée. Elle mesure mathématiquement le chevauchement entre la prédiction de l’IA et la “Vérité Terrain” (Ground Truth) établie par un humain.
- Un IoU de 1.0 correspond à une correspondance exacte entre la détection et la réalité.
- Un découpage est considéré comme trop imprécis si l’IoU est inférieur à 0,5.
2. La Latence (Réactivité)
Pour une application live, la réactivité est cruciale. Le délai entre le début réel de la chronique et l’émission de la notification de confirmation par l’IA est donc mesuré.
Le Score sur 100
Un classement des modèles est effectué via une formule pondérée :
- 60 % du score repose sur l’IoU (précision du découpage).
- 40 % du score repose sur la latence (rapidité).
Des points bonus sont attribués pour une réaction en moins de 5 secondes, tandis qu’un délai supérieur à 60 secondes annule la composante “latence” du score.
Le mode “Label-Agnostic”
Une option “Agnostique” permet de vérifier si le système détecte un changement à l’antenne, même si l’identification du nom de la chronique est erronée. Une détection est validée si elle correspond temporellement à une chronique réelle, quel que soit son label. Ce mode est particulièrement adapté au test d’algorithmes de détection de silences ou de jingles génériques.
Visualisation des résultats
Un module de diagnostic visuel permet de visualiser les performances des modèles de détection de chroniques radio.
But Principal
Il transforme des fichiers de données complexes (JSON/TXT) en une frise chronologique, permettant de comparer en un coup d’œil l’emplacement réel des chroniques par rapport aux détections du modèle.
Fonctionnement Visuel
- Ligne Ground Truth (Vérité Terrain) : Affiche des barres verticales fines colorées marquant précisément le début de chaque chronique attendue.
- Ligne Prédiction : Affiche des blocs orange représentant la durée complète détectée par votre modèle.
Résultats et Observations
L’utilisation de ce banc d’essai a permis d’observer certains compromis :
- Les LLM (comme DeepSeek) offrent un excellent IoU (> 0,9) grâce à une compréhension fine du contexte, au prix d’une latence parfois élevée (15-20 s).
- Les modèles Audio légers sont quasi-instantanés (< 2 s) mais peuvent être induits en erreur par des publicités ou des structures d’émissions inhabituelles.
Ce framework permet de guider le développement de GroovyMorning par la donnée, en sélectionnant le modèle le plus adapté à chaque usage.