6 月 6 日消息,微軟在本周一發(fā)布了首個用于天氣預測的大型大氣基礎模型Aurora(極光),可實現天氣和大氣變化的高精度預報。
Aurora是一個13億參數的基礎模型,用于天氣和大氣過程的高分辨率預報。Aurora是一款靈活的3D Swin Transformer,帶有基于3D感知器的編碼器和解碼器。在預訓練時,Aurora進行了優(yōu)化,以最大限度地減少具有不同分辨率、變量和壓力水平的多個異構數據集的損失。然后分兩個階段對模型進行微調 :( 1) 預訓練權重的短前置時間微調 (2) 長前置時間 (rollout) 使用低秩自適應 (LoRA) 進行微調。然后部署經過微調的模型,以解決不同分辨率的各種運營預測場景。據微軟官方宣稱,Aurora 是一個有著 13 億參數的基礎模型,同時還帶有基于 3D 感知器的編碼器和解碼器。
Aurora 經過超過一百萬小時的不同天氣和氣候數據訓練。Aurora 利用基礎建模方法的優(yōu)勢,為各種大氣預測問題(包括訓練數據有限、異構變量和極端事件)提供業(yè)務預測。
團隊在預訓練時分兩個階段對 Aurora 模型進行了優(yōu)化,以最大限度地減少具有不同分辨率、變量和壓力水平的多個異構數據集的損失,得以適應不同分辨率的各種運營預測場景。除此之外 Aurora 模型還有以下特性,IT之家整理官方介紹如下:
Aurora 能夠在不到一分鐘的時間內生成 5 天的全球空氣污染預測和 10 天的高分辨率天氣預報。
Aurora 在空氣質量預測方面表現出色,能夠以較小的計算成本提供與 CAMS(哥白尼大氣監(jiān)測服務)相當的預測。
Aurora 在 0.1° 精度下進行天氣預測,能夠準確預測極端天氣事件,如風暴 Ciarán。
Aurora 在預測極端值方面優(yōu)于現有的 AI 模型和數值天氣預報模型。
Aurora 能夠在多樣數據集的預訓練中表現出色,優(yōu)于專門的深度學習模型和最先進的數值天氣預測模型。
分享到微信 ×
打開微信,點擊底部的“發(fā)現”,
使用“掃一掃”即可將網頁分享至朋友圈。