Kinect是一個(gè)潛力無限的設(shè)備,微軟亞洲研究院、中國(guó)科學(xué)院、北京聯(lián)合大學(xué)正在一起研究一個(gè)基于Kinect的手語翻譯系統(tǒng),這是一個(gè)讓人聽得懂手語,幫助聽障人士改善生活質(zhì)量的技術(shù)。
10月31日消息,Kinect是一個(gè)潛力無限的設(shè)備,微軟亞洲研究院、中國(guó)科學(xué)院、北京聯(lián)合大學(xué)正在一起研究一個(gè)基于Kinect的手語翻譯系統(tǒng),這是一個(gè)讓人聽得懂手語,幫助聽障人士改善生活質(zhì)量的技術(shù)。
該系統(tǒng)希望借助Kinect進(jìn)行口語和手語的實(shí)時(shí)互譯。
聽障女孩現(xiàn)場(chǎng)Kinect手語翻譯系統(tǒng)與人交流
簡(jiǎn)而言之,Kinect進(jìn)行捕捉動(dòng)作,之后靠機(jī)器學(xué)習(xí)和模式識(shí)別程序解析出這些動(dòng)作的含義,Bing Translator技術(shù)則負(fù)責(zé)實(shí)際的翻譯工作。當(dāng)一個(gè)聾啞人用手語和一個(gè)說口語的正常人進(jìn)行對(duì)話時(shí),這套系統(tǒng)可以捕捉交談雙方的對(duì)話內(nèi)容,視覺型號(hào)被轉(zhuǎn)換成書面文字并朗讀出來,而口語則被實(shí)時(shí)翻譯并轉(zhuǎn)換成精準(zhǔn)的視覺信號(hào)。
這項(xiàng)研發(fā)以微軟研究院在翻譯和自然語言處理、語音和手勢(shì)識(shí)別等自然用戶界面領(lǐng)域的廣泛研究成果為基礎(chǔ),并更進(jìn)一步。多式輸入數(shù)據(jù)的應(yīng)用將突破先前單純依靠視覺輸入或語音數(shù)據(jù)的局限性。
這是一項(xiàng)偉大的成就,但這項(xiàng)研究還有很長(zhǎng)的路要走。目前為止,研究人員僅僅添加了300個(gè)中國(guó)手語單詞,而中國(guó)手語的單詞總數(shù)越有4000個(gè)。
世界各地有3.6億的聽力障礙人士,而中國(guó)的聽力障礙患者人數(shù)有將近2100萬。每一天,他們都面臨著大多數(shù)人從來無需考慮也難以想象的溝通挑戰(zhàn)。如果該項(xiàng)目的研究成果能正式面世,將是聾啞患者發(fā)聲的新希望。
分享到微信 ×
打開微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。