軟體的自主程度,如何影響其醫療風險等級
IMDRF以自主程度(Degree of Autonomy)說明軟體在臨床決策鏈中,擔任決策角色的程度,並將其定義為:
“The degree of autonomy is a spectrum of capacities or liberties to operate independently of a user’s direction, intervention and oversight. 自主程度係指設備在不需使用者指導、介入與監督的情況下,能夠獨立運作的能力或自由度,其表現為一個連續的光譜。”
換句話說,當醫療軟體越接近 IMDRF 所描述的「高度自主」,
法規對於人為介入、控制機制與責任歸屬的要求也會相對提高。
醫療器材軟體的四種自主層級
非自主(Non-autonomous)
軟體僅提供資訊、計算結果或風險指標,不會直接觸發任何臨床行動,所有決策仍由使用者負責。
典型應用包括提供心血管風險分數的評估工具,或協助計算藥物劑量的輔助軟體。
主要屬於資訊性風險(information-related hazards),因為人始終在決策鏈中,可作為最後一道安全防線。
受監督(Supervised)
軟體會提出建議或警示, 但使用者全程監督並可隨時介入或中止。
病房監測系統在偵測到異常生命徵象時發出警示,或者決策支援系統建議調整用藥,但仍由醫師確認執行。
軟體已開始影響臨床流程,但仍保有明確的人為把關機制,風險可透過流程與責任分工加以控制。
條件式自主(Conditionally Independent)
在多數情況下由系統自行處理,僅在遇到特殊條件或者例外時才交由使用者判斷。
影像 AI 系統自動排除「正常」影像,只有判定為異常的影像才送交醫師審閱。
這類系統在效率上很有優勢,但若系統將異常案例誤判為正常,錯誤可能不易被即時察覺,屬於需要特別留意的隱蔽型風險。。完全自主(Independent / Autonomous)
軟體輸出直接驅動臨床行動,幾乎沒有人工關卡。
系統一旦發生錯誤,可能立刻轉化為實質臨床風險,因此常被視為single point of failure,也是四種層級中風險最高的一類。
從 IMDRF 的自主程度,到 EU AI Act 的人為監督要求
如此的風險思維,呼應了歐盟 EU AI Act 對高風險AI系統的監管方向;高風險 AI 系統在設計與使用時,都必須確保人能有效監督系統的運作。
人為監督的目的很單純:就是在系統正常使用,或可能被誤用的情況下,盡量降低對健康、安全與基本權利的風險。同時,EU AI Act 也指出,監督機制的強度,應與系統的風險程度、自主程度與使用情境相匹配。
EU AI Act 的人為監督(Human Oversight)要求
可以透過兩個層面來落實:
一是由製造商在設計階段就把監督功能內建於系統;
二是由使用單位在實際使用流程中,建立制度化的監督方式,
確保必要時刻真的能介入與控制。
此外,法規也要求,負責監督的人員應具備以下能力:
能了解系統的功能與限制、
能察覺異常或非預期行為、
避免過度依賴系統的判斷(automation bias),
並在必要時停止或覆寫系統的決定。
參考建議
為使上述要求真正落實於組織運作中,建議可從以下三個面向著手:
設計層面:
在設計輸入與風險控制中,明確納入「人員覆寫與停止系統」的要求,將人為監督視為系統安全架構的一部分,例如在人機介面與系統架構中加入:強制人工確認
不可跳過的 override 流程
明確的 stop button / emergency stop
自動切換 supervised mode 的機制
流程層面:
透過 SOP 與責任分工,將人為監督流程制度化,
清楚界定在何種情境下,必須由人接手決策或中斷系統運作,例如:當系統出現以下狀況時:
信心分數低於 XX%
偵測到 out-of-distribution data
出現與臨床常規不一致的建議
發生連續 X 次異常輸出
或當使用者出現下列情形:
對結果有疑慮
無法解釋系統輸出依據
即應啟動人為介入流程。
同時,所有介入行為均應記錄於人為監督紀錄中,包括:觸發原因、決策依據及後續處理措施,以作為風險管理與持續改善的依據。。人員層面:
為負責監督的人員建立明確的能力標準與訓練機制,確保其能理解系統的能力與限制、辨識異常狀況,並有效降低自動化偏誤(automation bias)所帶來的風險。首先建議明確定義「誰是監督者」,例如:
Primary user:第一線操作人員
Supervisor:具備可覆寫決策權限者
System administrator:可執行 stop / suspend的系統管理人員
Quality / Risk owner:可啟動調查與 CAPA
同時,也建議在 QMS 中建立人為監督能力要求表,作為角色分工、訓練內容與授權條件的具體依據,讓人為監督不只是原則宣示,而是一套可落實的管理機制。
參考資料:
IMDRF/SaMD WG/N81 FINAL(2025)
EU AI Act Regulation (EU) 2024/1689