Documentație / ML Studio
Antrenare
Proiectează strategia cu opt întrebări, pornește o antrenare, urmărește curba în timp real, compară experimente și raportează din propriul script cu SDK-ul.
Pe această pagină
În Yuli, antrenarea este o lucrare cu plan, validare și înregistrare: continuă chiar dacă închizi chatul, poate fi pusă pe pauză și lasă o versiune a modelului care este evaluată separat.
Proiectarea strategiei
În fila Proiectare, Yuli propune o strategie și o justifică răspunzând la opt întrebări:
| # | Întrebare | Exemplu de răspuns |
|---|---|---|
| 1 | Ce învață | Dacă un client va renunța în următoarele 90 de zile. |
| 2 | Ce strategie a ales | De la zero, cu gradient boosting. |
| 3 | De ce | Date tabulare, 40 000 de rânduri, fără model anterior. |
| 4 | Ce alternative a evaluat | Regresie logistică (referință) și random forest. |
| 5 | De ce resurse are nevoie | CPU, câteva minute, puțină memorie. |
| 6 | Ce limitări are | Nu cunoaște clienții mai noi de o lună. |
| 7 | Cum vom ști că s-a îmbunătățit | F1 pe test ≥ 0,85 și mai bun decât referința. |
| 8 | Nivel de suport | Cât de testat este acel drum în Yuli. |
Verifică, ajustează ce este nevoie și apasă Aprobă și antrenează ›.
Strategii
| Strategie | Când |
|---|---|
| De la zero | Nu există un model anterior. |
| Pornire la cald | Continui de la ponderile unei versiuni anterioare. |
| Ajustare fină | Adaptezi la datele tale un model deja antrenat. |
| Extragere de caracteristici | Folosești un model ca generator de variabile. |
| Semisupervizat | Puține etichete și multe exemple fără etichetă. |
| Autosupervizat | Învață structura datelor fără etichete. |
| Învățare continuă | Actualizezi modelul cu date noi fără să uite ce a învățat. |
Antrenare nouă
În Antrenare nouă completezi:
| Câmp | Ce este |
|---|---|
| Set de date | Versiunea de date cu care se antrenează. |
| Coloana de prezis | Ținta (target). |
| Framework | scikit-learn, PyTorch, Transformers, XGBoost, LightGBM sau script propriu. |
| Algoritm | Unul anume sau Automat (alege Yuli). |
| Epoci | Câte treceri prin date (rețele neuronale). |
| Dispozitiv | CPU sau GPU. |
| Mod | O antrenare, Căutare de hiperparametri sau AutoML. |
Algoritmi tabulari incluși: regresie logistică și liniară, ridge, lasso, random forest, extra trees, gradient boosting, arbore de decizie, kNN, naive bayes, SVM, SGD și MLP. Pentru anomalii: isolation forest, LOF și z-score robust.
Când apeși Antrenează, Yuli face trei lucruri, în ordine:
- Planifică: calculează memoria, timpul, dispozitivul și riscul.
- Validează: verifică faptul că datele nu s-au schimbat, că mediul Python este pregătit și că există resurse.
- Pornește: lansează lucrarea.
Stări și comenzi
| Stare | Semnificație |
|---|---|
| În coadă | Își așteaptă rândul sau resursele (de exemplu, „Așteaptă VRAM: necesită X, există Y”). |
| Se validează | Verificări prealabile. |
| În desfășurare | Se antrenează. |
| Se pune pe pauză / În pauză | Salvează un punct de control și se oprește. |
| Finalizat | S-a terminat și a înregistrat o versiune. |
| Eșuat | S-a oprit cu o eroare; Vezi jurnalul arată de ce. |
| Anulat | L-ai oprit tu. |
Comenzi: Pauză, Reia, Anulează și Vezi jurnalul.
Curba de învățare în timp real
Curba de învățare desenează pierderea și metricile de train și validare în timpul antrenării, cu Epoca n din N, Cel mai bun până acum, Durează de, Mai rămân și, dacă folosește GPU, GPU: nume. Alege netezirea (Brut, Netezit, Foarte netezit) și activează Scară log când pierderea scade cu mai multe ordine de mărime.
Dacă pierderea de validare crește în timp ce cea de train continuă să scadă, modelul memorează: Yuli avertizează asupra unei posibile supraadaptări. Oprește mai devreme sau redu complexitatea.
Experimente și căutarea hiperparametrilor
Experimente salvează fiecare antrenare cu parametrii, datele și metricile ei, ca să le compari una lângă alta.
- Căutarea de hiperparametri folosește Optuna ca să încerce combinații și să o păstreze pe cea mai bună la validare.
- AutoML încearcă în locul tău mai mulți algoritmi și configurații.
- Dacă echipa ta folosește MLflow, poți reflecta experimentele acolo (opțional).
Propriul tău script cu SDK-ul
Dacă ai deja o buclă de antrenare (inclusiv spaCy), folosește framework: script și raportează cu yuli_ml.sdk.
Scriptul tău apare în ML Studio la fel ca un adaptor inclus: curbe, pauză, puncte de control și versiune înregistrată.
# train.py
import numpy as np
import yuli_ml.sdk as yuli
epochs = 20
device = yuli.device() # "cuda:0", "mps" sau "cpu", după ce a rezervat Yuli
yuli.info(f"Entrenando en {device}")
start = 0
if yuli.resume_from(): # reluare după o pauză
start = load_checkpoint(yuli.resume_from())
best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
loss = train_one_epoch(device)
f1 = validate()
yuli.log("train/loss", loss, step=epoch, epoch=epoch)
yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
if f1 > best_f1:
best_f1, best_epoch = f1, epoch
if yuli.should_stop(): # utilizatorul a apăsat Pauză sau Anulează
path = yuli.checkpoint_dir()
save_checkpoint(path, epoch)
yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
yuli.stop()
yuli.progress(epoch + 1, epochs)
yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)| Funcție | La ce folosește |
|---|---|
log, progress, info | Metrici, progres și mesaje în timp real. |
should_stop, checkpoint, checkpoint_dir, resume_from | Pauză, puncte de control și reluare. |
model_dir, save_model, report | Folderul versiunii, ponderile finale și rapoartele de evaluare. |
device, use_gpu | Dispozitivul rezervat (și spacy.prefer_gpu() dacă folosești spaCy). |
warm_start | Ponderile versiunii de la care faci ajustarea fină. |
În afara Yuli (python train.py într-un terminal), fiecare apel al SDK-ului nu face nimic: scriptul tău continuă să
funcționeze singur.
Ai nevoie de un algoritm sau de o metrică proprie? Scrie-o în ml/extensions/*.py cu @ext.algorithm, @ext.metric
sau @ext.transform și folosește-o ca pe cele incluse. Pasul următor:
Evaluare și modele.