Modellparallelismus für datengetriebene Wettervorhersage
Kurz gesagt: Ich habe untersucht, ob sich ein KI-Wettermodell schneller trainieren lässt, wenn man die Arbeit auf viele Grafikkarten eines Supercomputers verteilt – und gemessen, wo sich das lohnt und wo nicht.
FourCastNet sagt das globale Wetter mit einem Transformer voraus. Die Frage: Lässt sich das Training mit Modellparallelismus besser auf viele GPUs verteilen als mit reinem Datenparallelismus?
Code auf GitHub- Mein Beitrag
- Drei modellparallele Strategien in das AFNO-Backbone eingebaut und mit Datenparallelismus kombiniert.
- Daten
- ERA5-Klimadaten aus dem Copernicus Climate Data Store, aufbereitet von NetCDF zu HDF5.
- Ergebnis
- Reiner Datenparallelismus bleibt für AFNO am effizientesten; die feingranularen Ansätze erreichen einen geringeren Loss.

