一、前言

大型多模態模型（Large Multi-modal Models, LMMs）作為新興的生成式人工智慧技術，能夠處理和分析語音、文本、圖像等多種類型數據，展現了在健康醫療等領域的廣泛應用潛力。特別是在基因數據、臨床數據和醫學影像等多模態數據的融合應用中，LMMs 可用於實現更精準的疾病診斷、個性化治療方案，並加速新藥研發，展現了超越傳統人工智慧模型的靈活性與創新能力。

然而，LMMs 的快速發展也伴隨著一系列倫理和治理挑戰。2024年，世界衛生組織（WHO）發布了《Ethics and Governance of Artificial Intelligence for Health: Guidance on Large Multi-Modal Models》報告，旨在幫助會員國深入了解 LMMs 在健康領域的潛在效益與挑戰，並提供相應的政策和實踐建議，包括業者與政府在LMMs發展中的責任與建議措施，以確保技術的合理開發、提供和使用，進而造福全人類的健康。本文將針對LMMs 在健康領域的潛在效益和挑戰進行介紹。
 

二、LMMs 於醫療領域之應用範疇與挑戰

LMMs的應用範疇廣泛，涵蓋疾病診斷與臨床照護、以患者為中心之相關應用、文書與行政任務、科學研究與藥物開發等應用領域，以下分別介紹LMMs的各項應用以及挑戰。

(1) 疾病診斷與臨床照護
LMMs 能迅速整合患者病歷和網路資源，為醫師提供診斷建議，尤其在處理複雜病例或識別罕見疾病時有助於減少誤診。此外，LMMs 亦可回覆患者訊息，減少醫務人員回應患者詢問的時間。
儘管 LMMs 展現了巨大的臨床應用潛力，但亦面臨許多挑戰，如部分 LMMs 雖能通過多項專業醫學測試（如美國醫師考試），但僅僅依靠書面測試並不意味著這些AI系統能夠提供安全有效的臨床服務。LMMs有時會產生錯誤建議或幻覺(Hallucination)，特別是當網路上無相關資訊時。此外，若訓練數據品質不佳，LMMs 的回應可能帶有偏見。因此，要讓LMMs成為臨床實踐中可靠的輔助工具，仍需進一步研究和驗證。

(2) 以患者為中心之應用
LMMs 的另一個重要應用是改善患者的健康管理。目前許多患者已經在使用 AI 技術進行健康監測、風險預測和症狀分類等。LMMs能強化前述應用，幫助患者獲取醫療資訊，進行自我診斷，並在就醫前初步評估病情，同時能鼓勵患者調整行為，並且提供心理治療。此外，LMMs亦能快速分析患者的醫療數據，幫助其挑選適合參與的臨床試驗。

然而，LMMs 生成錯誤或不完整資訊的風險亦不可忽視。另外， LMMs會因應每個人的聊天方式與習慣進行調適，此現象可能增加患者對聊天機器人的依賴性，甚至全盤信任其所提供之資訊，導致患者失去判斷能力，進而做出違背自身利益或損害健康的行為。此外，LMMs亦可能減少患者與醫療提供者之間的直接互動，影響醫療照護品質。

(3) 文書與行政任務
LMMs 具備減輕醫護人員文書與行政工作負擔的巨大潛力，能協助完成如填寫電子病歷、撰寫臨床筆記、安排測試與檢查、生成處方以及處理醫療保險審批等任務，進而提升醫療流程的效率，並減少醫護人員的文書工作壓力和倦怠感。例如，LMMs 已能應用於自動生成放射檢驗報告，不僅能夠描述異常情況，還能將文本與影像資料視覺化，幫助醫護人員快速察閱患者的相關資料。

風險同樣來自於LLMs可能生成不準確或不一致的內容。因此，儘管 LMMs 能減少文書工作量，醫療人員仍需對其生成的資訊進行監督和校正，以確保最終輸出的資訊符合醫療標準並且正確無誤。

(4) 醫學與護理教育
LMMs 能根據學生需求提供個人化的教學內容，透過模擬患者對話幫助學生練習診斷推理和溝通技巧，讓學生能與不同背景的虛擬患者互動，並經歷各種臨床情境，從而增強臨床推理能力，營造出一個多元且全面的學習環境。

然而，過度依賴 LMMs 進行教育訓練可能導致醫護人員的專業技能退化，尤其是在醫療決策過程中過於依賴 AI 系統，可能削弱其專業判斷能力。此外，若在教育環境中大量導入 LMMs系統以簡化行政與文書作業，可能會額外增加尚未具備數位素養的醫療工作者的學習負擔。

(5) 科學研究與藥物開發
LMMs能用於生成科學文章、總結研究數據，並加速藥物開發過程。例如，LMMs 可快速篩選潛在的藥物化合物，並預測其毒性和效果，從而優化藥物研發流程。此外，LMMs 還能應用於臨床試驗中，提升患者招募和監測的效率，降低成本並加快試驗的進度。

在風險方面，由於科學文章與論文的作者需要對其研究的準確性與完整性負責，而 LMMs 無法對其生成的內容負責，因此許多學術期刊目前仍不接受將 AI 列為論文作者。此外，大多數 LMMs 的訓練數據主要來自高收入國家，這使得LMMs產出的研究內容和觀點可能偏向於高收入國家的背景，進而可能加劇全球健康不平等的問題。
 

三、醫療照護體系與社會面臨之風險與倫理擔憂

LMMs在醫療領域的應用潛力巨大，但也存在著技術不確定性、可及性、數據偏見、網絡安全等多方面的風險。以下將探討LMMs對醫療照護體系與社會帶來的系統性風險，包括高估效益、加劇健康不平等、影響勞動市場、過度依賴和資源消耗等 (風險摘要請參閱圖一)。

(1) 高估LMMs的效益
LMMs 的潛力及當前的高度關注，可能使決策者和醫療提供者高估其效益，而忽視其技術不確定性與潛在風險，導致尚未經過驗證的技術被快速採用並帶來安全隱患。特別是在醫療系統中，未經充分測試的 LMMs 可能引發誤診、數據錯誤或系統性偏見，進而削弱整體醫療品質。此外，對 LMMs 的過度依賴也會干擾醫療資源的有效配置，將資源投入到尚未成熟的技術，而非更具實證基礎的醫療方案中，並且加劇醫療系統的財務負擔。

(2) 可及性與負擔能力
LMMs 高昂的開發和營運成本限制了其在資源有限地區的普及，加劇健康不平等。由於許多 LMMs 需付費或訂閱使用，尤其先進的 LMMs 更可能需要支付高昂的使用費用，低收入國家或財政拮据的衛生系統可能無法負擔，迫使這些地區採用較廉價的LMMs，甚至完全無法使用，導致先進的 LMMs僅能服務於富裕群體。此外， LMMs多以英語進行訓練，而非英語使用者無論是患者還是醫療專業人員，均可能在使用時遇到困難，並且在多語言環境中，LMMs 生成錯誤或虛假資訊的風險更高。

(3) 系統性偏見
LMMs 所使用的訓練資料中，若存在數據偏見，例如缺乏少數民族、低收入群體、女性或老年族群等弱勢族群的數據，可能導致模型無法為前述族群提供精確的診斷或建議。此外，系統性偏見亦可能導致醫療資源分配不均，加劇健康不平等，並對弱勢群體的醫療權益造成長期負面影響。

(4) 對勞動市場的衝擊
LMMs 可能導致金融、醫療和法律等產業流失大量工作機會。此外，AI 在醫療領域的普及，將要求現有醫療工作者適應新的工作模式，這對於已經面臨醫療人員短缺的國家而言，可能會進一步加劇人力資源的壓力。然而，對於醫療資源不足的國家而言，LMMs使用得當亦得以填補醫療人力資源不足的缺口，提升醫療服務的可及性。

(5) 過度依賴不合適之AI模型
雖然 LMMs 能夠緩解醫療人員短缺的問題，並擴大醫療系統的服務範圍，但過度依賴這些技術可能導致醫療體系出現嚴重的風險。若 LMMs 未能得到定期維護與更新，醫療服務的穩定性將面臨挑戰，尤其是在醫護人員因依賴 AI 而導致專業技能逐漸退化時。此外，LMMs 若無法持續更新，可能影響使用者的隱私和數據安全，進而削弱民眾對醫療體系的信任。

(6) 網絡安全風險
隨著醫療體系日益依賴人工智慧技術，LMMs可能成為駭客和惡意攻擊的目標。駭客可能透過修改 LMMs 的訓練數據或演算法來改變其效能，或洩露敏感數據。此外，LMMs 也容易受到「提示注入」（prompt injection）攻擊，即是透過精心設計的提示詞來誘使模型生成不安全的內容或洩露敏感資訊。目前，尚未有有效的解決方案來避免此類攻擊的風險。

(7) 其他：資源消耗與對專家信任的衝擊
LMMs 的訓練需要大量數據，且訓練過程通常消耗大量能源與水資源。雖然部分 LMMs 的訓練是在使用再生能源的數據中心進行，但大多數 AI 模型仍依賴化石燃料驅動的電網，隨著技術應用的增加，能源和水資源的需求將持續上升，對氣候變遷可能產生重大影響。

此外，LMMs 正逐漸被視為知識的來源，但其生成的回應可能削弱民眾對於醫療、科學和醫學等領域專家和權威的信任。由於 LMMs 並不真正理解或產生知識，如果其生成的資訊被誤用，可能會帶來嚴重後果，例如民眾可能誤信錯誤建議而危害健康。如果科技公司在缺乏監管的情況下繼續推廣 LMMs，這些技術可能逐漸取代人類在知識生產中的主導地位。更嚴重的是，若未妥善管理 LMMs 所生成的內容，錯誤資訊可能再次被用於訓練模型，從而污染真實數據，進一步降低 LMMs 的輸出品質。