AI op meerdere GPU's: ZeRO & FSDP

Samenvatting

Uitleg van Zero Redundancy Optimizer (ZeRO) en FSDP voor AI-training op meerdere GPU's, inclusief PyTorch-implementatie.