Time-MoE采用了創(chuàng)新的混合專家架構(gòu),能以較低的計算成本實現(xiàn)高精度預(yù)測。研發(fā)團(tuán)隊還發(fā)布了Time-300B數(shù)據(jù)集,為時序分析提供了豐富的訓(xùn)練資源,為各行各業(yè)的時間序列預(yù)測任務(wù)帶來了新的解決方案。
在當(dāng)今以數(shù)據(jù)為驅(qū)動的時代,時序預(yù)測已成為眾多領(lǐng)域不可或缺的核心組成。然而,構(gòu)建一個兼具強大性能與高效運算的大規(guī)模時序預(yù)測模型始終是一個巨大的挑戰(zhàn)。此外,高質(zhì)量的大型公共時間序列數(shù)據(jù)庫的匱乏進(jìn)一步加劇了這一難題。
近日,由來自普林斯頓大學(xué)、格里菲斯大學(xué)等全球多地的華人國際科研團(tuán)隊攜手通力合作,創(chuàng)新性地提出了一種基于混合專家架構(gòu)(MixtureofExperts,MoE)的時間序列基礎(chǔ)模型Time-MoE,首次將時間序列預(yù)訓(xùn)練大模型的參數(shù)規(guī)模推向十億級別,在時序預(yù)測領(lǐng)域?qū)崿F(xiàn)了里程碑式的突破。
與此同時,團(tuán)隊精心整理了預(yù)訓(xùn)練數(shù)據(jù)集Time-300B,這是目前時序領(lǐng)域最大的公開數(shù)據(jù)集,為各類時序任務(wù)提供了前所未有的通用解決方案。這是首次在時序領(lǐng)域中采用如此大規(guī)模的預(yù)訓(xùn)練模型,標(biāo)志著時序預(yù)測技術(shù)邁入了一個全新的時代。
Time-MoE模型通過MoE架構(gòu)的獨特優(yōu)勢,將模型參數(shù)成功擴展至24億,不僅顯著提升了預(yù)測精度,還在降低計算成本的同時超越了眾多現(xiàn)有模型,全面達(dá)到了SOTA(StateoftheArt)水平。
分享到微信 ×
打開微信,點擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。