近日,從上海市第六人民醫(yī)院官方公眾號獲悉,上海交通大學醫(yī)學院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團隊與上海交通大學電院計算機系 / 教育部人工智能重點實驗室盛斌教授團隊,攜手清華大學黃天蔭教授團隊與新加坡國立大學覃宇宗教授團隊,通過醫(yī)工交叉合作研究,構建了全球首個面向糖尿病診療的視覺-大語言模型的多模態(tài)集成智能系統(tǒng) DeepDR-LLM,成果于 2024 年 7 月 19 日在 Nature Medicine 發(fā)表(題為 Integrated image-based deep learning and language models for primary diabetes care)。
據(jù)介紹,DeepDR-LLM 系統(tǒng)融合了大語言模型和深度學習技術優(yōu)勢,實現(xiàn)了醫(yī)學影像診斷與診療意見的多模態(tài)生成功能,能提供糖尿病視網膜病變輔助診斷結果及個性化糖尿病綜合管理意見。
該系統(tǒng)在覆蓋亞非歐三大區(qū)域七個國家的多中心隊列中進行了回顧性驗證,以及針對中國基層醫(yī)療實際開展了前瞻性真實世界驗證,首次向全球提供了面向糖尿病醫(yī)療垂直領域的多模態(tài)大模型應用成效的高質量循證證據(jù)。研究團隊表示,研究證明 DeepDR-LLM 系統(tǒng)可有效改善 DR 篩查和基層糖尿病管理水平,為未來全球糖尿病治理提供了革命性的數(shù)字解決方案。
既往的 AI 系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領域。隨著全球范圍內以 ChatGPT 為代表的生成式人工智能技術的迅猛發(fā)展,多模態(tài)大模型正不斷推動醫(yī)療領域的新應用場景和模式的涌現(xiàn),但這些模型尚不能根據(jù)患者的醫(yī)學影像和具體病情,提供準確且安全的糖尿病綜合診療建議。
針對當前的技術空白和臨床的實際需求,該團隊成功研發(fā)了全球首個面向糖尿病基層診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng) DeepDR-LLM。其可適配包括 LLaMA 在內的大語言模型,LLM 模塊將訓練網絡層與大語言模型的固有權重參數(shù)相融合,突破低算力資源約束下的多模態(tài)大模型優(yōu)化的瓶頸,并進一步基于 37.2 萬條基層慢病診療和慢病管理數(shù)據(jù)和知識實現(xiàn)了高效優(yōu)化訓練,使 DeepDR-LLM 系統(tǒng)可基于患者個體的臨床信息生成精準糖尿病管理意見。
分享到微信 ×
打開微信,點擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網頁分享至朋友圈。