Documentație / ML Studio

Antrenare

Proiectează strategia cu opt întrebări, pornește o antrenare, urmărește curba în timp real, compară experimente și raportează din propriul script cu SDK-ul.

Pe această pagină

În Yuli, antrenarea este o lucrare cu plan, validare și înregistrare: continuă chiar dacă închizi chatul, poate fi pusă pe pauză și lasă o versiune a modelului care este evaluată separat.

Proiectarea strategiei

În fila Proiectare, Yuli propune o strategie și o justifică răspunzând la opt întrebări:

#ÎntrebareExemplu de răspuns
1Ce învațăDacă un client va renunța în următoarele 90 de zile.
2Ce strategie a alesDe la zero, cu gradient boosting.
3De ceDate tabulare, 40 000 de rânduri, fără model anterior.
4Ce alternative a evaluatRegresie logistică (referință) și random forest.
5De ce resurse are nevoieCPU, câteva minute, puțină memorie.
6Ce limitări areNu cunoaște clienții mai noi de o lună.
7Cum vom ști că s-a îmbunătățitF1 pe test ≥ 0,85 și mai bun decât referința.
8Nivel de suportCât de testat este acel drum în Yuli.

Verifică, ajustează ce este nevoie și apasă Aprobă și antrenează ›.

Strategii

StrategieCând
De la zeroNu există un model anterior.
Pornire la caldContinui de la ponderile unei versiuni anterioare.
Ajustare finăAdaptezi la datele tale un model deja antrenat.
Extragere de caracteristiciFolosești un model ca generator de variabile.
SemisupervizatPuține etichete și multe exemple fără etichetă.
AutosupervizatÎnvață structura datelor fără etichete.
Învățare continuăActualizezi modelul cu date noi fără să uite ce a învățat.

Antrenare nouă

În Antrenare nouă completezi:

CâmpCe este
Set de dateVersiunea de date cu care se antrenează.
Coloana de prezisȚinta (target).
Frameworkscikit-learn, PyTorch, Transformers, XGBoost, LightGBM sau script propriu.
AlgoritmUnul anume sau Automat (alege Yuli).
EpociCâte treceri prin date (rețele neuronale).
DispozitivCPU sau GPU.
ModO antrenare, Căutare de hiperparametri sau AutoML.

Algoritmi tabulari incluși: regresie logistică și liniară, ridge, lasso, random forest, extra trees, gradient boosting, arbore de decizie, kNN, naive bayes, SVM, SGD și MLP. Pentru anomalii: isolation forest, LOF și z-score robust.

Când apeși Antrenează, Yuli face trei lucruri, în ordine:

  1. Planifică: calculează memoria, timpul, dispozitivul și riscul.
  2. Validează: verifică faptul că datele nu s-au schimbat, că mediul Python este pregătit și că există resurse.
  3. Pornește: lansează lucrarea.

Stări și comenzi

StareSemnificație
În coadăÎși așteaptă rândul sau resursele (de exemplu, „Așteaptă VRAM: necesită X, există Y”).
Se valideazăVerificări prealabile.
În desfășurareSe antrenează.
Se pune pe pauză / În pauzăSalvează un punct de control și se oprește.
FinalizatS-a terminat și a înregistrat o versiune.
EșuatS-a oprit cu o eroare; Vezi jurnalul arată de ce.
AnulatL-ai oprit tu.

Comenzi: Pauză, Reia, Anulează și Vezi jurnalul.

Curba de învățare în timp real

Curba de învățare desenează pierderea și metricile de train și validare în timpul antrenării, cu Epoca n din N, Cel mai bun până acum, Durează de, Mai rămân și, dacă folosește GPU, GPU: nume. Alege netezirea (Brut, Netezit, Foarte netezit) și activează Scară log când pierderea scade cu mai multe ordine de mărime.

Dacă pierderea de validare crește în timp ce cea de train continuă să scadă, modelul memorează: Yuli avertizează asupra unei posibile supraadaptări. Oprește mai devreme sau redu complexitatea.

Experimente și căutarea hiperparametrilor

Experimente salvează fiecare antrenare cu parametrii, datele și metricile ei, ca să le compari una lângă alta.

  • Căutarea de hiperparametri folosește Optuna ca să încerce combinații și să o păstreze pe cea mai bună la validare.
  • AutoML încearcă în locul tău mai mulți algoritmi și configurații.
  • Dacă echipa ta folosește MLflow, poți reflecta experimentele acolo (opțional).

Propriul tău script cu SDK-ul

Dacă ai deja o buclă de antrenare (inclusiv spaCy), folosește framework: script și raportează cu yuli_ml.sdk. Scriptul tău apare în ML Studio la fel ca un adaptor inclus: curbe, pauză, puncte de control și versiune înregistrată.

python
# train.py
import numpy as np
import yuli_ml.sdk as yuli

epochs = 20
device = yuli.device()          # "cuda:0", "mps" sau "cpu", după ce a rezervat Yuli
yuli.info(f"Entrenando en {device}")

start = 0
if yuli.resume_from():          # reluare după o pauză
    start = load_checkpoint(yuli.resume_from())

best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
    loss = train_one_epoch(device)
    f1 = validate()
    yuli.log("train/loss", loss, step=epoch, epoch=epoch)
    yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
    if f1 > best_f1:
        best_f1, best_epoch = f1, epoch
    if yuli.should_stop():      # utilizatorul a apăsat Pauză sau Anulează
        path = yuli.checkpoint_dir()
        save_checkpoint(path, epoch)
        yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
        yuli.stop()
    yuli.progress(epoch + 1, epochs)

yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)
FuncțieLa ce folosește
log, progress, infoMetrici, progres și mesaje în timp real.
should_stop, checkpoint, checkpoint_dir, resume_fromPauză, puncte de control și reluare.
model_dir, save_model, reportFolderul versiunii, ponderile finale și rapoartele de evaluare.
device, use_gpuDispozitivul rezervat (și spacy.prefer_gpu() dacă folosești spaCy).
warm_startPonderile versiunii de la care faci ajustarea fină.

În afara Yuli (python train.py într-un terminal), fiecare apel al SDK-ului nu face nimic: scriptul tău continuă să funcționeze singur.

Ai nevoie de un algoritm sau de o metrică proprie? Scrie-o în ml/extensions/*.py cu @ext.algorithm, @ext.metric sau @ext.transform și folosește-o ca pe cele incluse. Pasul următor: Evaluare și modele.