Programme — CUDA avancé — GPU et IA haute performance

Ce chapitre pose les limites structurelles des frameworks de deep learning et explique où se cachent réellement les gains de latence et de coût lorsqu'on sert un modèle sur GPU.

Comprendre la hiérarchie SM / CUDA cores / Tensor Cores / warps qui détermine réellement la performance d'un kernel, et savoir lire un spec sheet NVIDIA sans se laisser impressionner par les chiffres marketing.

Comprendre la séparation host/device, la chaîne de compilation nvcc et la hiérarchie grid/block/thread pour écrire et lancer un premier kernel CUDA sans tomber dans les pièges classiques du débutant.

Comprendre la hiérarchie mémoire du GPU (registres, shared, L1/L2, globale, constante) et maîtriser le coalescing, les bank conflicts et le transfert hôte-device pour éliminer le goulot d'étranglement le plus fréquent des noyaux CUDA.

Les patterns qui reviennent dans quasi tout kernel CUDA performant : reduction, scan, tiling memoire partagee, loop unrolling, __restrict__, gestion de la divergence de warps, calcul d'occupancy et arbitrage fusion vs multi-kernel.

Maîtriser les conventions de layout de cuBLAS, l'éventail des algorithmes de convolution de cuDNN et les critères de choix entre bibliothèque et kernel maison pour du calcul GPU haute performance.

Comment sortir du modèle séquentiel host-to-device / calcul / device-to-host grâce aux CUDA streams et aux événements, pour recouvrir transferts et calcul et construire un pipeline d'inference batch réellement performant.

Topologie PCIe/NVLink/NVSwitch, mécanique des collectives AllReduce, mise en œuvre avec NCCL et PyTorch DDP, stratégies de sharding pour l'entraînement et l'inférence, et arithmétique de la rentabilité du multi-GPU.

Diagnostiquer les goulots d'étranglement d'une application CUDA avec Nsight Systems et Nsight Compute, appliquer le modèle roofline, et sécuriser le code avec cuda-gdb et compute-sanitizer.

Comment PyTorch et TensorFlow orchestrent réellement le GPU : autograd, custom ops ATen, torch.compile, XLA et précision mixte, avec les pièges qui ruinent silencieusement les gains de performance.

Les techniques concrètes qui déterminent le coût et la latence réels d'un service LLM en production : gestion du KV cache, batching continu, quantization INT8/FP8 et choix entre TensorRT-LLM et vLLM.

Ce que les benchmarks ne montrent jamais : incompatibilités de versions, OOM en production, throttling thermique, partitionnement MIG et observabilité GPU — la checklist go-live d'un déploiement d'inférence à l'échelle.