醫療診斷的過程從來不只是單純的對話。在實際的臨床環境中，醫師在與患者交流時，會同時運用視覺與聽覺的感知能力來蒐集關鍵資訊。例如，觀察患者咳嗽的頻率與幅度、分析行走時的步態是否異常，或是捕捉患者在描述疼痛時不經意露出的面部不適表情。這些非語言的生理信號往往能提供比口頭陳述更真實的診斷線索。然而，目前的醫療 AI 系統大多侷限於文字對話或靜態數據分析，缺乏對即時動態影像的理解能力，這使得 AI 在模擬真實診間體驗方面仍有巨大的落差。
為了突破這個限制，Google Research 與 Google DeepMind 共同開發了名為 AMIE 的研究型醫療 AI 系統。AMIE 的核心目標是將 AI 的能力從單純的文本交互，提升至能夠處理即時臨床視訊諮詢的水平。該系統並非單一的模型，而是基於 Gemini（Google 的多模態大模型，能同時處理文字、影像、音訊等不同形式的資訊）以及 Project Astra（旨在實現低延遲、即時感知與互動的 AI 助手計畫）所構建。透過多代理人架構（Multi-agent Architecture），AMIE 能將不同的功能模組協同工作，使其能夠在視訊過程中同步解讀視覺與聽覺線索，並在診斷過程中進行即時推理。
在實際的運作邏輯上，AMIE 不再只是被動地回答問題，而是能主動引導虛擬的身體檢查。這意味著 AI 可以要求患者在鏡頭前展示特定的部位或執行某些動作，並在即時影像中分析這些動作是否符合某種疾病的特徵。這種能力讓 AI 能夠在診斷過程中完成病史詢問（History-taking）、初步診斷以及建議後續的處置方案。這種從單一模態轉向多模態的感知能力，讓 AI 能夠更接近人類醫師在診間的思考模式，將視覺觀察與醫學知識庫即時結合。
為了驗證 AMIE 的臨床潛能，研究團隊進行了一項隨機對照研究。該研究邀請了專業的演員扮演患者，並由一群基層醫療醫師（Primary Care Physicians）參與對比測試。臨床評估人員針對核心臨床能力進行評分，包括詢問病史的徹底程度、診斷的準確性、治療管理方案的適切性，以及溝通品質。結果顯示，AMIE 在這些關鍵指標上獲得了相當正面的評價，展現出接近專家級別的臨床處理能力。此外，扮演患者的演員也明確表示，比起傳統的文字聊天界面，他們更傾向於使用視訊形式的 AI 諮詢體驗，這證明了多模態交互在提升患者信任感與溝通效率上的優勢。
儘管 AMIE 在研究環境中展現了強大的潛力，但這項技術目前仍處於研究階段，尚未進入實際的臨床部署。醫療 AI 的應用面臨著極高的責任門檻，包括診斷錯誤可能導致的醫療風險、患者隱私數據的保護，以及在不同族群與病症中的泛化能力。在正式投入實務應用前，仍需要經過更嚴格的臨床試驗與監管審核，以確保系統的安全性與可靠性。
然而，AMIE 的突破意義在於它證明了即時視覺感知可以被整合進醫療診斷流程中。這不僅預示了未來遠距醫療的進化方向，也為 AI 助手從單純的資訊提供者轉變為具備觀察能力的臨床助手奠定了基礎。當 AI 能夠像醫師一樣觀察患者的微小反應時，醫療資源的分配將能更有效率地進行，讓初步篩檢與簡單診斷在數位環境中變得更加精準。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。