Documentation / ML Studio

Entraînement

Concevez la stratégie avec huit questions, lancez un entraînement, suivez la courbe en direct, comparez les expériences et faites remonter les résultats de votre propre script avec le SDK.

Sur cette page

Dans Yuli, un entraînement est un travail avec un plan, une validation et un historique : il continue même si vous fermez le chat, il peut être mis en pause et il produit une version du modèle évaluée séparément.

Concevoir la stratégie

Dans l’onglet Concevoir, Yuli propose une stratégie et la justifie en répondant à huit questions :

#QuestionExemple de réponse
1Ce qu’il apprendSi un client résiliera dans les 90 prochains jours.
2La stratégie choisieÀ partir de zéro, avec du gradient boosting.
3PourquoiDonnées tabulaires, 40 000 lignes, pas de modèle antérieur.
4Les alternatives évaluéesRégression logistique (référence) et random forest.
5Les ressources nécessairesCPU, quelques minutes, peu de mémoire.
6Ses limitesIl ne connaît pas les clients de moins d’un mois.
7Comment saurons-nous qu’il s’est amélioréF1 en test ≥ 0,85 et meilleur que la référence.
8Niveau de prise en chargeÀ quel point ce chemin est éprouvé dans Yuli.

Relisez, ajustez ce qui doit l’être et cliquez sur Approuver et entraîner ›.

Stratégies

StratégieQuand
À partir de zéroIl n’existe pas de modèle antérieur.
Démarrage à chaudRepartir des poids d’une version précédente.
Fine-tuningAdapter un modèle déjà entraîné à vos données.
Extraction de caractéristiquesUtiliser un modèle comme générateur de variables.
Semi-superviséPeu d’étiquettes et beaucoup d’exemples non étiquetés.
Auto-superviséApprendre la structure de données sans étiquettes.
Apprentissage continuMettre à jour le modèle avec de nouvelles données sans oublier ce qu’il a appris.

Nouvel entraînement

Dans Nouvel entraînement, vous renseignez :

ChampCe que c’est
DatasetLa version des données utilisée pour l’entraînement.
Colonne à prédireLa cible (target).
Frameworkscikit-learn, PyTorch, Transformers, XGBoost, LightGBM ou votre propre script.
AlgorithmeUn algorithme précis ou Automatique (Yuli choisit).
ÉpoquesLe nombre de passages sur les données (réseaux de neurones).
AppareilCPU ou GPU.
ModeUn entraînement, Recherche d’hyperparamètres ou AutoML.

Algorithmes tabulaires inclus : régression logistique et linéaire, ridge, lasso, random forest, extra trees, gradient boosting, arbre de décision, kNN, naive Bayes, SVM, SGD et MLP. Pour les anomalies : isolation forest, LOF et z-score robuste.

Lorsque vous cliquez sur Entraîner, Yuli fait trois choses dans l’ordre :

  1. Planifier : il calcule la mémoire, le temps, l’appareil et le risque.
  2. Valider : il vérifie que les données n’ont pas changé, que l’environnement Python est prêt et que les ressources sont disponibles.
  3. Démarrer : il lance le travail.

États et commandes

ÉtatSignification
En file d’attenteAttend son tour ou des ressources (par exemple, « Attente de VRAM : nécessite X, Y disponible »).
ValidationVérifications préalables.
En coursEntraînement en cours.
Mise en pause / En pauseEnregistre un point de contrôle et s’arrête.
TerminéA terminé et enregistré une version.
ÉchecS’est arrêté sur une erreur ; Voir le journal en indique la raison.
AnnuléVous l’avez arrêté.

Commandes : Pause, Reprendre, Annuler et Voir le journal.

Courbe d’apprentissage en direct

La Courbe d’apprentissage trace la perte et les métriques de train et de validation pendant l’entraînement, avec Époque n sur N, Meilleur jusqu’ici, Écoulé, Restant et, si un GPU est utilisé, GPU : nom. Choisissez le lissage (Brut, Lisse, Très lisse) et activez Échelle log lorsque la perte baisse de plusieurs ordres de grandeur.

Si la perte de validation augmente alors que celle de train continue de baisser, le modèle mémorise : Yuli signale un possible surapprentissage. Arrêtez plus tôt ou réduisez la complexité.

Expériences et recherche d’hyperparamètres

Expériences conserve chaque entraînement avec ses paramètres, ses données et ses métriques pour les comparer côte à côte.

  • Recherche d’hyperparamètres utilise Optuna pour essayer des combinaisons et garder la meilleure en validation.
  • AutoML essaie plusieurs algorithmes et configurations pour vous.
  • Si votre équipe utilise MLflow, vous pouvez y refléter les expériences (facultatif).

Votre propre script avec le SDK

Si vous avez déjà une boucle d’entraînement (spaCy compris), utilisez framework: script et faites remonter les résultats avec yuli_ml.sdk. Votre script apparaît dans ML Studio comme un adaptateur intégré : courbes, pause, points de contrôle et version enregistrée.

python
# train.py
import numpy as np
import yuli_ml.sdk as yuli

epochs = 20
device = yuli.device()          # "cuda:0", "mps" ou "cpu", selon ce que Yuli a réservé
yuli.info(f"Entraînement sur {device}")

start = 0
if yuli.resume_from():          # reprendre après une pause
    start = load_checkpoint(yuli.resume_from())

best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
    loss = train_one_epoch(device)
    f1 = validate()
    yuli.log("train/loss", loss, step=epoch, epoch=epoch)
    yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
    if f1 > best_f1:
        best_f1, best_epoch = f1, epoch
    if yuli.should_stop():      # l’utilisateur a cliqué sur Pause ou Annuler
        path = yuli.checkpoint_dir()
        save_checkpoint(path, epoch)
        yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
        yuli.stop()
    yuli.progress(epoch + 1, epochs)

yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)
FonctionPour quoi faire
log, progress, infoMétriques, progression et messages en direct.
should_stop, checkpoint, checkpoint_dir, resume_fromPause, points de contrôle et reprise.
model_dir, save_model, reportDossier de la version, poids finaux et rapports d’évaluation.
device, use_gpuL’appareil réservé (et spacy.prefer_gpu() si vous utilisez spaCy).
warm_startLes poids de la version à partir de laquelle vous faites le fine-tuning.

En dehors de Yuli (python train.py dans un terminal), chaque appel du SDK ne fait rien : votre script continue de fonctionner seul.

Besoin d’un algorithme ou d’une métrique à vous ? Écrivez-les dans ml/extensions/*.py avec @ext.algorithm, @ext.metric ou @ext.transform, et utilisez-les comme ceux qui sont inclus. Étape suivante : Évaluation et modèles.