Documentation / ML Studio

Deep learning et GPU

Concevez des réseaux de neurones couche par couche, entraînez des tokenizers, diagnostiquez votre GPU, estimez les ressources, utilisez DDP avec plusieurs GPU et des machines distantes.

Sur cette page

Pour la plupart des problèmes tabulaires, vous n’avez pas besoin de GPU : ils s’entraînent en quelques secondes ou minutes sur un CPU ordinaire. Cette page s’adresse aux cas où le modèle grandit : réseaux de neurones, vision, audio, texte et modèles de langage.

Concepteur d’architecture

Le Concepteur d’architecture compose des réseaux de neurones sans écrire la boucle d’entraînement. L’atelier (« Atelier · nom ») affiche les Couches du réseau ; cliquez sur Ajouter une couche pour en ajouter une et ajustez le Taux d’apprentissage et la Taille de lot.

FamilleÀ quoi elle sert
MLPDonnées tabulaires et petits problèmes.
CNNImages et signaux à structure locale.
RNN, LSTM, GRUSéquences et séries temporelles.
VAEReprésentations compressées et génération.
GANGénération avec un générateur et un discriminateur.
DiffusionGénération par suppression du bruit.
ViTImages avec attention (transformer de vision).
Transformer encodeur / décodeurTexte et longues séquences.

La conception est enregistrée dans architecture/architecture.yaml, versionnée avec le projet. Par exemple, un petit CNN pour des images de 32×32 :

yaml
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
  - { id: c1, type: conv2d, filters: 32, pool: max2 }
  - { id: c2, type: conv2d, filters: 64, pool: max2 }
  - { id: flat, type: flatten }
  - { id: h1, type: dense, units: 128, dropout: 0.2 }
  - { id: out, type: head, kind: classification }

Outre les réseaux généraux, ML Studio couvre les images (classification et détection), l’audio (classification et reconnaissance vocale), la vidéo, les graphes (GCN, GAT, GraphSAGE), l’apprentissage par renforcement (DQN, PPO, REINFORCE), les bandits et les systèmes de recommandation (ALS, BPR).

Tokenizers

Pour vos propres modèles de texte, vous pouvez entraîner un tokenizer sur les textes du projet :

TypeRemarque
bpeByte-pair encoding classique.
byte-bpeBPE sur les octets : il n’y a jamais de tokens inconnus.
wordpieceLe style de BERT.
unigramModèle probabiliste de sous-mots.

Valider mesure le taux de tokens inconnus (unk), les tokens par mot et l’aller-retour (round-trip : encoder puis décoder redonne le même texte). Chaque tokenizer est versionné avec son sha256 :

text
tokenizers/
└── soporte-es/
    ├── v1/   tokenizer.json  sha256:…
    └── v2/   tokenizer.json  sha256:…

Diagnostic GPU

Diagnostic GPU détecte les accélérateurs que Python peut utiliser sur votre machine :

BackendMatériel
CUDAGPU NVIDIA.
ROCmGPU AMD (Linux).
DirectMLGPU sous Windows (DirectX 12).
MPSApple Silicon (macOS).
Intel XPUGPU Intel.

Tester CPU vs GPU exécute un court test et vous indique, par exemple, « Le GPU est ×8 plus rapide que le CPU ». Si l’écart est faible pour votre modèle, le CPU suffit.

Dans Supervision › Ressources, vous voyez le CPU, la RAM, le GPU et l’espace disque libre en direct. Autoriser les agents à entraîner (2 h) donne aux agents la permission de lancer des entraînements pendant les deux prochaines heures.

Ressources estimées

Avant l’entraînement, le plan estime la mémoire et le temps nécessaires :

PartieCe qu’elle compte
PoidsLes paramètres du modèle.
GradientsUn par paramètre entraînable.
OptimiseurL’état d’Adam et des optimiseurs similaires.
ActivationsCe qui est conservé à chaque étape pour la rétropropagation ; augmente avec la taille de lot.

À la fin, il compare l’estimé et le réel. Si un travail ne tient pas, le plan vous le dit avant de commencer et propose des options : un lot plus petit, une précision réduite ou QLoRA pour les modèles de langage. Pendant l’attente, le travail reste en file avec « Attente de VRAM : nécessite X, Y disponible ».

Plusieurs GPU : DDP

Avec deux GPU CUDA ou plus sur la même machine, Yuli peut entraîner en parallélisme de données avec DDP (DistributedDataParallel) : chaque GPU traite sa part de chaque époque et les gradients sont combinés.

yaml
# dans la configuration de l’entraînement
training:
  distributed:
    mode: ddp
    devices: auto     # ou un nombre de GPU

Seul DDP avec 2 GPU CUDA ou plus est pris en charge. Si ce n’est pas possible (un seul GPU, pas de torch.distributed), l’entraînement se poursuit dans un seul processus et l’indique dans les métriques. Le parallélisme de tenseurs ou de pipeline n’est pas disponible.

Machines distantes

Si votre machine ne suffit pas, vous pouvez entraîner sur une machine distante via SSH ou dans le cloud. Avant le lancement, Yuli affiche un avertissement de sortie des données :

« Les données partent vers host : le dataset et le code lus par le travail sont envoyés. À la fin, Yuli rapatrie le modèle, vérifie chaque fichier et supprime les données là-bas (sauf si la machine les conserve). »

  • Rien ne sort sans votre confirmation.
  • Vous pouvez fixer un plafond de dépenses pour les machines dans le cloud.
  • Dans yuli-ml.yaml, hardware.prefer: remote indique que le projet préfère entraîner à distance.

Voir Confidentialité et sandbox ML et Conteneurs et développement distant.