GroovyMorning_RLAC

Hub de Modèles et Datasets : Intégration Hugging Face

Dans ce projet, la gestion des versions de modèles et la distribution des assets (modèles entraînés, datasets labellisés) sont primordiales. Le projet s’appuie sur l’écosystème Hugging Face pour centraliser ces ressources et automatiser leur déploiement.

Centralisation des Assets

Le module d’entraînement produit régulièrement de nouveaux modèles d’IA (Audio Segmenters, Transcription Detectors). Plutôt que de stocker ces fichiers volumineux dans Git, ils sont hébergés sur le Hugging Face Hub.

Cela permet :

Automatisation du Pipeline (Push-to-Hub)

L’une des forces de l’intégration dans GroovyMorning est l’automatisation du processus après l’entraînement. Plusieurs scripts facilitent cette transition :

  1. push_to_hf.py : Utilisé dans les pipelines de détection textuelle pour uploader les poids du modèle (ex: CamemBERT fine-tuné) directement après la validation des tests de performance.
  2. hf_push_assets.py : Gère l’upload des datasets et des snapshots nécessaires au recalibrage audio.
  3. Intégration directe dans Trainer : Les scripts d’entraînement basés sur la bibliothèque transformers utilisent l’option push_to_hub=True pour synchroniser automatiquement les checkpoints.

Modèles Disponibles

Les modèles sont disponibles sur le repo Hugging Face du projet :