人工智能（Artificial Intelligence，簡稱AI）作為新一輪產業變革的核心驅動力，已上升為國家戰略，并在醫療、工業機器人及教育、金融、互聯網服務等領域得到越來越多的應用。AI 在醫療領域的應用主要包括輔助診斷、輔助手術、臨床輔助決策、患者信息管理等，對應的AI 醫療器械產品主要包括獨立的醫療軟件、AI 賦能醫療設備、醫療信息化系統等。

隨著以深度學習為代表的AI 技術的不斷發展，我們需要思考AI 醫療器械在發展與使用中面臨的倫理問題，充分認識AI 醫療器械在數據獲取、隱私保護等方面給人們帶來的影響。

AI 領域倫理準則現狀

目前，國內外主要達成了兩個影響較廣泛的AI 倫理共識——“阿西洛馬人工智能原則”（Asilomar AI Principles）、電氣和電子工程師協會（IEEE）倡議的AI 設計的倫理準則。

“阿西洛馬人工智能原則”是在2017 年于美國加州阿西洛馬舉行的Beneficial AI 會議上被提出的，它是阿西莫夫機器人學三定律的擴展版本，可被理解為：AI 不能單純地為了利益而創造，而應在確保人類不被替代的前提下，為通過自動化實現人類繁榮而創造。保持一種尊重隱私但開放、合作的AI 研究文化也是需要考慮的問題之一，需確保研究人員和政策制定者在交換信息的同時，不會用危害人類的手段與對手競爭。

IEEE 于2016 年提出“關于自主與智能系統倫理的全球倡議”，并于當年12 月和2017 年12 月先后發布了第一版和第二版《人工智能設計的倫理準則》白皮書（Ethically AlignedDesign）。該白皮書提出5 個核心原則：人權——確保AI 不侵犯國際公認的人權；福祉——在AI的設計和使用中優先考慮人類福祉的相關指標；問責——確保AI 的設計者和操作者負責任且可問責；透明——確保AI 以透明的方式運行；慎用——將濫用的風險降至最低。該準則的發布旨在為IEEE 正在推動的11 個與AI 倫理相關的標準的制定提供建議。

我國已將AI 上升為國家戰略，并在法律和政策層面進行深入布局。2017 年7 月，國務院印發《新一代人工智能發展規劃》，在“戰略目標”部分對法律政策體系建設提出三步走的要求：第一步，到2020 年，部分領域的人工智能倫理規范和政策法規初步建立；第二步，到2025 年，初步建立人工智能法律法規、倫理規范和政策體系，形成人工智能安全評估和管控能力；第三步，到2030 年，建成更加完善的人工智能法律法規、倫理規范和政策體系。2018 年1 月，國家人工智能標準化總體組成立，同時，《人工智能標準化白皮書（2018 版）》發布。今年4 月，國家人工智能標準化總體組第二次全體會議召開，會上發布了《人工智能倫理風險分析報告》。

醫療領域AI 的倫理風險

當前，AI 在醫療器械領域的應用主要體現在醫學影像AI 技術、AI 技術賦能硬件上，如目前大量涌現的“智能讀片”類AI 醫療軟件。這種軟件能夠通過深度學習，在具有代表性的醫學影像數據庫中進行模型訓練，并利用模型來解析圖像、文本、聲音，從而實現對病癥的早期篩查。AI 技術賦能硬件通常內嵌于各類醫學影像設備中，在設備前期拍攝及后期圖像處理過程中實現圖像分割、分類、映射、配準等功能。

對于醫療領域AI 存在的倫理風險所帶來的影響，應從社會、個人數據保護、AI 算法和醫學倫理四方面進行考慮。

對社會的影響?

現階段，醫療AI 倫理的標準化工作仍處于起步階段，行業內尚未對醫療AI 的內涵、應用模式等達成共識，行業競爭可能造成AI 技術在醫療領域中的濫用。這會造成資源的浪費，目前，絕大多數AI 輔助診療結果仍需醫生確認，此種AI 產品是否具有臨床意義有待商榷。另外，隨著科技發展，傳統診療方法逐步向高科技輔助診療轉變，此類輔助診療產品往往集中在科技發達、經濟水平較高的國家和地區，這將進一步加劇不同國家和地區間醫療資源和水平的不平衡。如何讓每個國家和地區都能受益于AI 帶來的“福祉”，是需要思考的問題。

個人數據保護風險?

以“深度學習+ 大數據”為框架的醫學AI系統需要大量數據來訓練、學習算法。目前，AI產品的訓練樣本主要來自醫院患者的各類醫學影像數據，少部分來自人類行為信息的數字化記錄。醫學影像數據、患者行為信息涉及患者隱私保護問題。信息使用者在獲取相應數據時，必須抹去患者個人敏感信息，只保留相關的醫學信息。關于敏感信息的定義、識別和處理，目前國內尚無明確的標準，主要依賴于企業自覺。當前可供企業參考的數據隱私保護準則有歐盟于2018 年5 月發布的《通用數據保護條例》（GDPR）、美國國會于1996 年頒布的《健康保險可攜性與責任法案》（HIPAA）。

算法風險?

對深度學習算法來說，在其應用階段也存在諸多風險。一是安全性風險，算法存在泄漏、參數被非預期修改的風險?，F階段的深度學習算法是典型的“黑箱”算法，當其被修改時，算法性能的降低或錯誤的發生很難被察覺。醫療領域與人身安全息息相關，這一風險的發生會直接侵害患者的人身權益。二是算法偏見風險，鑒于算法的復雜性和專業性，關于AI 算法輸入的某些特性如何引起某個特定輸出結果的發生，很難解釋清楚。算法偏見可能是由程序員的主觀認知偏差造成，也可能是因輸入數據的分布本身即不具有整體代表性所導致。并且，如果算法在臨床應用中通過本地數據進行無監督學習，則有加重偏見的風險。

醫學倫理風險?

對醫學AI 產品的倫理思考應納入醫學倫理范疇，考慮如何進行患者隱私及數據的保護，這也是醫療類AI 產品與一般AI 產品在倫理問題方面的最大區別。

在我國，獲取醫學臨床數據、進行臨床試驗須獲得醫學倫理審批，負責倫理審查的組織——倫理委員會肩負醫學研究倫理審查、受試者權益保護、人的尊嚴維護等重要職責。2017 年10 月，中辦、國辦印發《關于深化審評審批制度改革鼓勵藥品醫療器械創新網的意見》，提出完善倫理委員會機制，各地可根據需要設立區域倫理委員會，指導臨床試驗機構倫理審查工作。

AI 醫療器械應遵循的倫理方向

推動醫學AI 倫理標準化?

從促進行業發展的角度看，開放、共享的高質量醫學數據集是未來的發展趨勢，但數據獲取的來源、數據標注的規范格式等尚無統一標準，這使得高質量的數據集難以在各個AI 產品開發者間實現互通。只有在相應規則確定后，AI 醫療器械產業才能獲得高速發展。

數據完整性與醫學倫理的平衡?

在滿足醫學倫理保護隱私及數據這一要求的同時，醫療類AI 產品為獲得高質量數據集，應盡可能保留更多的信息（如患者既往病史等），以便用于分析、處理，并避免在進行數據收集時納入偏見、非典型甚至錯誤的信息。同時，醫療類AI 產品在數據收集、標注過程中必須保證數據的完整性，以使AI 產品是可解釋、可信任的。如何最大限度地保留信息，并避免通過信息追溯到個人，是醫療類AI 產品開發中應遵循的倫理方向之一。

在AI 與倫理準則領域進行深入探索，并圍繞其建立相關標準，形成醫療健康AI 的標準生態，關系到醫療AI 的未來發展動向。AI 產業能否取得公眾信任并獲得持續性發展，關鍵在于能否建立共識性的倫理準則。我們需在保持數據較高完整度的同時，做好患者隱私保護，并在符合現有倫理準則的前提下，將來自于不同渠道的數據用于機器學習，促進AI 醫療器械產業的進一步發展。