搜索數(shù)據(jù)的應(yīng)用提高預(yù)測(cè)精度
談及搜索數(shù)據(jù)在經(jīng)濟(jì)預(yù)測(cè)中的應(yīng)用，必然離不開(kāi)對(duì)谷歌趨勢(shì)(Google Trends)數(shù)據(jù)的介紹。谷歌趨勢(shì)數(shù)據(jù)是針對(duì)某個(gè)地區(qū)不同時(shí)間特定關(guān)鍵詞查詢(xún)數(shù)量生成的查詢(xún)指數(shù)，其構(gòu)造過(guò)程大致如下：(1)計(jì)算查詢(xún)份額(Query Share)，即某個(gè)地區(qū)某個(gè)時(shí)間段包含某個(gè)關(guān)鍵詞的查詢(xún)數(shù)量占所有查詢(xún)的比重;(2)生成查詢(xún)指數(shù)(Query Index)，將一段時(shí)間內(nèi)查詢(xún)份額的最高值標(biāo)準(zhǔn)化為100，并將初始時(shí)點(diǎn)的查詢(xún)份額標(biāo)準(zhǔn)化為0。谷歌將搜索查詢(xún)分成30個(gè)一級(jí)大類(lèi)，并進(jìn)一步細(xì)分為250個(gè)二級(jí)類(lèi)別，這樣便可很容易獲得數(shù)百個(gè)谷歌趨勢(shì)查詢(xún)指數(shù)，查詢(xún)指數(shù)數(shù)據(jù)最早可追溯到2004年1月1日。
谷歌趨勢(shì)數(shù)據(jù)最早是由著名經(jīng)濟(jì)學(xué)家哈爾·瓦里安(Hal Varian)引入到經(jīng)濟(jì)預(yù)測(cè)中的。自2008年以來(lái)，瓦里安教授與其合作者發(fā)布了一系列利用谷歌趨勢(shì)數(shù)據(jù)進(jìn)行經(jīng)濟(jì)預(yù)測(cè)的研究成果，預(yù)測(cè)內(nèi)容涉及汽車(chē)及零部件銷(xiāo)售額、失業(yè)救濟(jì)申領(lǐng)人數(shù)、旅行目的地、消費(fèi)者信心等。其基本思路是，在傳統(tǒng)的時(shí)間序列預(yù)測(cè)模型基礎(chǔ)上，加入谷歌趨勢(shì)生成的查詢(xún)指數(shù)，以提高預(yù)測(cè)精度。瓦里安教授的預(yù)測(cè)實(shí)踐表明，借助谷歌趨勢(shì)，能夠有助于即時(shí)預(yù)測(cè)精度的提高。相關(guān)事例還表明，在出現(xiàn)拐點(diǎn)時(shí)期，加入谷歌趨勢(shì)指數(shù)作為變量，也能取得較好的預(yù)測(cè)效果。這恰恰是以計(jì)量經(jīng)濟(jì)模型為基礎(chǔ)的常規(guī)經(jīng)濟(jì)預(yù)測(cè)一直未解決的難題。
近兩年來(lái)，越來(lái)越多的歐美機(jī)構(gòu)及學(xué)者將谷歌趨勢(shì)數(shù)據(jù)運(yùn)用于不同類(lèi)型經(jīng)濟(jì)活動(dòng)的預(yù)測(cè)中。例如，德國(guó)勞工研究所的學(xué)者利用谷歌趨勢(shì)數(shù)據(jù)對(duì)住房貸款違約比例進(jìn)行即時(shí)預(yù)測(cè)，發(fā)現(xiàn)效果明顯優(yōu)于基礎(chǔ)的自回歸模型。愛(ài)爾蘭中央銀行的學(xué)者利用谷歌趨勢(shì)的相關(guān)概率指標(biāo)，對(duì)其宏觀經(jīng)濟(jì)預(yù)測(cè)模型進(jìn)行隨時(shí)調(diào)整，成功提高了即時(shí)預(yù)測(cè)精度。
除了谷歌趨勢(shì)數(shù)據(jù)外，其他搜索引擎如必應(yīng)、百度等，其搜索數(shù)據(jù)也被用于經(jīng)濟(jì)預(yù)測(cè)。百度公司推出了與谷歌趨勢(shì)類(lèi)似的“百度指數(shù)”，相關(guān)數(shù)據(jù)指標(biāo)也被用于經(jīng)濟(jì)預(yù)測(cè)。2014年，中國(guó)科學(xué)院大學(xué)的幾位學(xué)者將“百度關(guān)鍵字指數(shù)”納入到他們開(kāi)發(fā)的“中國(guó)股票市場(chǎng)預(yù)測(cè)模型”中，將預(yù)測(cè)平均誤差值從之前的3.8%降低到1.4%。
媒體數(shù)據(jù)的應(yīng)用增強(qiáng)預(yù)測(cè)時(shí)效性
大數(shù)據(jù)處理和分析技術(shù)的快速發(fā)展，使得來(lái)自社交網(wǎng)站、在線新聞等渠道的文本數(shù)據(jù)也能夠被有效整理和量化，并用于經(jīng)濟(jì)預(yù)測(cè)。
荷蘭統(tǒng)計(jì)局(Statistics Netherlands)的學(xué)者嘗試?yán)蒙缃幻襟w數(shù)據(jù)對(duì)消費(fèi)者信心指數(shù)進(jìn)行預(yù)測(cè)。其大致思路是：(1)收集所有推特(Twitter)、臉書(shū)(Facebook)、領(lǐng)英(LinkedIn)等社交媒體數(shù)據(jù)，分別構(gòu)造“基于社交媒體數(shù)據(jù)的消費(fèi)者信心指數(shù)”;(2)分析官方統(tǒng)計(jì)調(diào)查得到的“消費(fèi)者信心指數(shù)”與社交媒體消費(fèi)者信心指數(shù)之間的相關(guān)性;(3)基于兩者之間的相關(guān)關(guān)系，以社交媒體“消費(fèi)者信心指數(shù)”對(duì)官方統(tǒng)計(jì)“消費(fèi)者信心指數(shù)”進(jìn)行預(yù)測(cè)。根據(jù)分析，以臉書(shū)數(shù)據(jù)構(gòu)造的指數(shù)與官方指數(shù)之間不僅高度相關(guān)且存在協(xié)整關(guān)系。以推特?cái)?shù)據(jù)構(gòu)造的指數(shù)與官方指數(shù)同樣存在相關(guān)關(guān)系。與官方指數(shù)相比，社交媒體指數(shù)最大的優(yōu)勢(shì)在于及時(shí)性，能夠以?xún)芍芤淮紊踔烈恢芤淮蔚念l率構(gòu)造并發(fā)布。
比利時(shí)安特衛(wèi)普大學(xué)的學(xué)者通過(guò)文本挖掘(Text mining)技術(shù)對(duì)與宏觀經(jīng)濟(jì)復(fù)蘇相關(guān)的“經(jīng)濟(jì)政策不確定性指數(shù)”(Economic Policy Uncertainty Index，EPU)進(jìn)行改造。文本挖掘的對(duì)象是六種來(lái)源的佛蘭芒語(yǔ)新聞報(bào)道。改造后的EPU可用于分析和預(yù)測(cè)宏觀經(jīng)濟(jì)復(fù)蘇情況。
除了宏觀經(jīng)濟(jì)關(guān)聯(lián)指數(shù)的構(gòu)造和分析外，媒體文本數(shù)據(jù)還被廣泛應(yīng)用于對(duì)金融市場(chǎng)的相關(guān)變化進(jìn)行預(yù)測(cè)。倫敦大學(xué)學(xué)院的學(xué)者對(duì)路透新聞檔案、經(jīng)紀(jì)人報(bào)告、英格蘭銀行內(nèi)部市場(chǎng)評(píng)論等文本進(jìn)行挖掘，聚焦于那些有可能推動(dòng)金融市場(chǎng)行為變化的敘述和情緒。該學(xué)者發(fā)現(xiàn)，當(dāng)興奮情緒很高而焦慮情緒很少時(shí)，往往是金融危機(jī)發(fā)生的警示信號(hào)。法蘭克福大學(xué)的學(xué)者以臉書(shū)國(guó)民幸福指數(shù)(Facebook’s Gross National Happiness，GNH)為基礎(chǔ)構(gòu)造“投資信心指數(shù)”(Index of Investment Sentiment)。而GNH本身又是通過(guò)對(duì)臉書(shū)中的情感語(yǔ)匯進(jìn)行文本分析而構(gòu)造出來(lái)的。研究發(fā)現(xiàn)，利用GNH能預(yù)測(cè)美國(guó)股票市場(chǎng)每天回報(bào)和交易量的變化情況;一個(gè)標(biāo)準(zhǔn)差的GNH指數(shù)增加大致能夠帶來(lái)次日股票指數(shù)11.23個(gè)點(diǎn)的上漲。
其他可挖掘在線數(shù)據(jù)十分豐富
除了搜索數(shù)據(jù)、網(wǎng)絡(luò)媒體數(shù)據(jù)外，在線銷(xiāo)售及支付數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)、郵政快遞數(shù)據(jù)等也被應(yīng)用于經(jīng)濟(jì)預(yù)測(cè)中。
美國(guó)麻省理工學(xué)院的學(xué)者領(lǐng)導(dǎo)了一個(gè)名為“十億價(jià)格”(Billion Prices Project，BPP)的研究項(xiàng)目。該項(xiàng)目與網(wǎng)絡(luò)零售商合作，每天下載成千上萬(wàn)種在線零售商品的實(shí)時(shí)價(jià)格，生成每天的價(jià)格指數(shù)，可以實(shí)現(xiàn)以每天一次的頻率發(fā)布價(jià)格變動(dòng)和通貨膨脹數(shù)據(jù)。利用BPP在線價(jià)格指數(shù)，可以較為準(zhǔn)確地判斷出未來(lái)一定時(shí)期特別是2—3個(gè)月時(shí)間內(nèi)的通貨膨脹變化趨勢(shì)。最值得一提的是，BPP在線價(jià)格指數(shù)在預(yù)測(cè)通脹趨勢(shì)變化拐點(diǎn)方面特別有效。
加拿大麥吉爾大學(xué)的學(xué)者利用包括銀行卡在內(nèi)的電子支付大數(shù)據(jù)，通過(guò)多個(gè)模型的不同組合對(duì)加拿大GDP進(jìn)行即時(shí)預(yù)測(cè);并以此項(xiàng)工作為基礎(chǔ)構(gòu)建了一個(gè)全新的GDP月度數(shù)據(jù)庫(kù)，預(yù)測(cè)精度顯著提高。
萬(wàn)國(guó)郵政聯(lián)盟(Universal Postal Union，UPU)的學(xué)者將國(guó)際郵政物流體系每天所產(chǎn)生的商品交換數(shù)據(jù)，與每日的國(guó)際匯率變動(dòng)數(shù)據(jù)相結(jié)合，對(duì)國(guó)際間的電子商務(wù)套利行為進(jìn)行預(yù)測(cè)分析。這一嘗試表明，利用國(guó)際郵政物流數(shù)據(jù)有助于提高預(yù)測(cè)能力。
在澳大利亞，其官方統(tǒng)計(jì)部門(mén)正在采取相關(guān)措施，以便將特定來(lái)源的大數(shù)據(jù)納入到常規(guī)官方統(tǒng)計(jì)體系中。在統(tǒng)計(jì)實(shí)踐中，澳大利亞統(tǒng)計(jì)局已經(jīng)著手構(gòu)建基于大數(shù)據(jù)的統(tǒng)計(jì)推斷框架。一個(gè)典型的例子就是，利用遙感數(shù)據(jù)對(duì)澳大利亞的農(nóng)業(yè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和預(yù)測(cè)。
經(jīng)濟(jì)預(yù)測(cè)中大數(shù)據(jù)應(yīng)用的挑戰(zhàn)
近年來(lái)各國(guó)機(jī)構(gòu)和學(xué)者的探索表明，利用各種不同來(lái)源的大數(shù)據(jù)能夠有效提高經(jīng)濟(jì)預(yù)測(cè)的精度，在某些領(lǐng)域甚至能夠進(jìn)行拐點(diǎn)預(yù)測(cè)。不過(guò)，在經(jīng)濟(jì)預(yù)測(cè)實(shí)踐中如何更加有效地利用大數(shù)據(jù)仍然面臨諸多挑戰(zhàn)。
第一，大數(shù)據(jù)的可獲得性將直接限制大數(shù)據(jù)在經(jīng)濟(jì)預(yù)測(cè)中的推廣應(yīng)用。無(wú)論是政府部門(mén)數(shù)據(jù)還是私人公司數(shù)據(jù)，都不可能為經(jīng)濟(jì)預(yù)測(cè)者隨意使用;對(duì)于私人公司數(shù)據(jù)來(lái)說(shuō)，通常需要通過(guò)簽訂合作協(xié)議并嚴(yán)格執(zhí)行保密條款才能獲取數(shù)據(jù);至于政府部門(mén)公共數(shù)據(jù)，大多存在開(kāi)放限制，往往需要通過(guò)機(jī)構(gòu)內(nèi)部人員才能獲取數(shù)據(jù)。
第二，來(lái)自搜索查詢(xún)、社交媒體等不同渠道的非結(jié)構(gòu)化原始數(shù)據(jù)既雜亂無(wú)章，又存在非常復(fù)雜的內(nèi)在關(guān)聯(lián)，將其提煉并轉(zhuǎn)換為結(jié)構(gòu)化的有用信息需要有足夠的技巧，并且耗費(fèi)大量人力、物力和財(cái)力。
第三，充裕的數(shù)據(jù)信息還會(huì)帶來(lái)過(guò)度識(shí)別問(wèn)題。以谷歌趨勢(shì)數(shù)據(jù)為例，谷歌每天產(chǎn)生的數(shù)十億個(gè)查詢(xún)記錄，即便利用谷歌趨勢(shì)進(jìn)行分類(lèi)仍有數(shù)百個(gè)指數(shù);而每個(gè)指數(shù)即便從2004年1月開(kāi)始，至今也最多不過(guò)一百多個(gè)序列。變量個(gè)數(shù)大于序列長(zhǎng)度，必然導(dǎo)致過(guò)度識(shí)別問(wèn)題。
第四，同任何傳統(tǒng)經(jīng)濟(jì)預(yù)測(cè)一樣，大數(shù)據(jù)的應(yīng)用也無(wú)法解決“盧卡斯批評(píng)”問(wèn)題。雖然大數(shù)據(jù)提高了預(yù)測(cè)精度，但如果預(yù)測(cè)模型被用于決定采用何種干預(yù)政策，那么最終的實(shí)際結(jié)果可能不會(huì)如模型所預(yù)測(cè)，因?yàn)檎叩淖兓瘯?huì)影響到后續(xù)行為，而變量之間的關(guān)系恰恰是由相應(yīng)數(shù)據(jù)所反映。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開(kāi)微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁(yè)分享至朋友圈。