日期:2020/06/08   IAE 報導

AI人工智慧算法的可解釋性方法研究!
*數學與人工智慧/IAE(全球)

以深度學習為代表的人工智能技術在信息領域的應用，極大地提高了信息的利用效率和挖掘價值，深刻的影響了各領域的業務形態，同時也引發了監管部門和用戶對這一新技術 運用中出現的“算法黑箱”問題關切和疑慮。 如何對相關算法、模型、及其給出的結果進行合理的解釋成為數據科學家亟需解決的問題。

 一、為什麼智能算法需要可解釋

 1.來自人工智能的挑戰

       自AlphaGo戰勝人類頂尖圍棋手之後，人工智能這一概念真正成為了社會各界關注的焦點，也為各國政府所重視。 一方面可以給我們帶來諸多便利，比如可能為我們提供醫療、法律、金融等方面的建議或決策，也可能直接操控汽車、無人機，甚至大規模殺傷性武器[1]。 但另一方面，它也被用來​​“做壞事”甚至危害人類。 如某些網站利用人工智能算法進行“大數據殺熟”，2017年也發生了全國首例利用人工智能技術進行網絡詐騙的案件。  2015年德國大眾公司甚至發生了機器人“殺人事件”[2]。 歐盟已經要求所有算法解釋其輸出原理[3]，這意味著不可解釋的算法模型將成為非法使用[3,4]。

2.可解釋是人工智能發展的必然選擇

       在時下熱議的人工智能相關倫理、算法歧視、算法正確性、安全性等問題中，有一個問題被時常提起，即以深度學習算法為代表的人工智能算法的可解釋性問題。 人類理性的發展歷程使我們相信，如果一個判斷或決策是可以被解釋的，我們將更容易了解其優點與不足，更容易評估其風險，知道其在多大程度上、在怎樣的場合中可以被 信賴，以及我們可以從哪些方面對其進行不斷改善，以盡量增進共識、減少風險，推動相應領域的不斷發展。 這樣的思維範式或許是誕生在人工智能時代之前的稍顯過時的思維模式。 或許隨著科技和社會的發展，未來會演化出新的思維範式，但目前這仍然是我們最成熟、最具共識、最可信賴的思維模式 [1]。

二、可解釋性方法概述

       17年ICML會議上來自谷歌的科學家給出一個關於可解釋性的定義是“Interpretation is the process of giving explanations to Human”[5]。 許多模型及應用不可解釋性的原因主要來源於對問題和任務了解得還不夠充分。 那麼只要在使用模型的過程中，只要是能夠提供給我們關於數據或模型的可以理解的信息，有助於我們更充分的發現知識、理解和解決問題的方法，那麼都可以歸類為可解釋 性方法。 同時，這篇文章將可解釋性方法按進行的過程劃分為如下三類：在建模之前的可解釋性方法、建立本身俱備可解釋性的模型和建模後使用可解釋性方法對模型作出 解釋，下面對這三大類方法分別作介紹。

 三、建模前：在建模之前的可解釋性方法

 在建模之前的可解釋性方法主要涉及一些數據預處理或數據展示的方法機器學習解決的是從數據中發現知識和規律的問題，如果我們對想要處理的數據特徵所知甚少，指望 對所要解決的問題本身有很好的理解是不現實的，在建模之前的可解釋性方法的關鍵在於幫助我們迅速而全面地了解數據分佈的特徵，從而幫助我們考慮在建模過程中可能 面臨的問題並選擇一種最合理的模型來逼近問題所能達到的最優解。

數據可視化就是一類非常重要的建模前可解釋性方法。 很多對數據挖掘稍微有些了解的人可能會認為數據可視化是數據挖掘工作的最後一步，大概就是通過設計一些好看又唬人的圖表或來展示你的分析挖掘成果。 但實際上真正要研究一個數據問題之前，通過建立一系列方方面面的可視化方法來建立我們對數據的直觀理解是非常必須的，特別是當數據量非常大或者數據維度非常高的時候，比如一些時空 高維數據，如果可以建立一些一些交互式的可視化方法將會極大地幫助我們從各個層次角度理解數據的分佈。

四、建模中：建立本身俱備可解釋性的模型

 建立本身俱備可解釋性的模型是最關鍵的一類可解釋性方法，同樣也是一類要求和限定很高的方法，具備可解釋性的模型大概可以分為以下幾種模型[6]。

基於規則的模型，比如我們提到的非常經典的決策樹模型。 這類模型中任何的一個決策都可以對應到一個邏輯規則表示。 但當規則表示過多或者原始的特徵本身就不是特別好解釋的時候，基於規則的方法有時候也不太適用。

基於單個特徵的方法主要是一些非常經典的回歸模型，比如線性回歸、邏輯回歸、廣義線性回歸、廣義加性模型等。 這類模型除了結構比較簡單之外，更重要的是回歸模型及其一些變種擁有非常堅實的統計學基礎，上百年來無數統計學家探討了在各種不同情況下的模型參數估計與修正、 假設檢驗、邊界條件等等問題，使得他們在各種不同情況下都能使具有有非常好的可解釋性。

基於實例的方法主要是通過一些代表性的樣本來解釋聚類/分類結果的方法。 比如可以為每一個聚類簇中選出代表性樣例和重要的子空間。

基於稀疏性的方法主要是利用信息的稀疏性特質，將模型盡可能地簡化表示。 比如LDA方法，根據層次性的單詞信息形成了層次性的主題表達，這樣一些小的主題就可以被更泛化的主題所概括，從而可以使我們更容易理解特定主題所代表的含義。

基於單調性的方法在很多機器學習問題中，有一些輸入和輸出之間存在正相關/負相關關係，如果在模型訓練中我們可以找出這種單調性的關係就可以讓模型具有更高的 可解釋性。 比如醫生對患特定疾病的概率的估計主要由一些跟該疾病相關聯的高風險因素決定，找出單調性關係就可以幫助我們識別這些高風險因素。

 五、建模後：使用可解釋性方法對模型作出解釋

 建模後的可解釋性方法主要是針對具有黑箱性質的深度學習模型而言的， 深度學習的黑箱性主要來源於其高度非線性性質，每個神經元都是由上一層的線性組合再 加上一個非線性函數的得到，人們無法像理解線性回歸的參數那樣通過統計學基礎假設來理解神經網絡中的參數含義及其重要程度、波動範圍。 但實際上我們是知道這些參數的具體值以及整個訓練過程的，所以神經網絡模型本身其實並不是一個黑箱，其黑箱性在於我們沒辦法用人類可以理解的方式理解模型的具體含義和行為，而 神經網絡的一個非常好的性質在於神經元的分層組合形式，這讓我們可以用物質組成的視角來理解神經網絡的運作方式。 主要分為以下幾類的工作：隱層分析方法、模擬/代理模型、敏感性分析方法[7,8,9]。

隱層分析方法:該方法通過對隱層運用一些可視化方法來將其轉化成人類可以理解的有實際含義的圖像以展示神經網絡中每層都學到的概念。 我們都知道典型的CNN模型的一個完整捲積過程是由卷積-激活-池化（pooling）三個步驟組成的，也可以通過反池化-反激活-反捲積這樣的一個逆過程， 並藉助特徵可視化幫助我們理解CNN的每一層究竟學到了什麼東西[7]。 此外，文獻[]提出了一種網絡切割的方法以提取CNN的語義概念[8]。

模擬/代理模型：該類方法是針對黑箱模型，使用蒸餾（Model distillation）技術得到新的可解釋模型，訓練這兩個模型使他們的結果近似。 但這類算法也存在很大的局限性，比如模型本身並不能被“蒸餾”，或者原始模型與蒸餾後的模型差異很大導致可解釋性模型的意義不再存在。

敏感性分析方法：用於定量描述模型輸入變量對輸出變量的重要性程度的方法。 是令每個屬性在可能的範圍變動，研究和預測這些屬性的變化對模型輸出值的影響程度。 我們將影響程度的大小稱為該屬性的敏感性係數，敏感性係數越大，就說明屬性對模型輸出的影響越大。 一般來講對於神經網絡的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來檢驗輸入屬性變量對模型的影響程度，樣本敏感性分析用來研究具體 樣本對模型的重要程度，也是敏感性分析研究的一個新方向。 在金融領域，將敏感性分析與局部特徵探索方法（主要是樹類模型），能夠有效解決金融領域普遍存在先驗知識不足問題[12]。

 六、結論

《火的禮物：人類與計算技術的終極博弈》一書中提到“火使我們的生活更加舒適、健康和愉快。而它同時也擁有巨大的破壞力，有可能因為意外，也可能是故意 縱火”,對於深度學習亦是如此。 期待通過算法研究者、政府、法律等多方面的共同努力，我們可以更好地掌握人工智能算法，來幫助我們解決各種難題，建設更加美好的社會。

參考文獻

 [1] 打破人工智能算法黑箱.張吉豫.https://36kr.com/p/5123323

 [2] 預言成真！ 人工智能已參與犯罪危害人類社會！ 如何加緊遏制新民晚報https://baijiahao.baidu.com/s?id=1627686939432654294&wfr=spider&for=pc

 [3] 人工智能的算法黑箱與數據正義 https://blog.csdn.net/UFv59to8/article/details/79947730

 [4] 算法黑箱，是潘多拉的盒子？ 算法與信息（之二）. http://www.sohu.com/a/323823906_550962

 [5] Interpretable Machine Learning: The fuss, the concrete and the questions. Been Kim. Google Brain. ICML 2017 Tutorial.

 [6] Interpretable Machine Learning. https://christophm.github.io/interpretable-ml-book/index.html

 [7]深度學習的可解釋性研究（一） 讓模型具備說人話的能力. https://zhuanlan.zhihu.com/p/37223341.

 [8] 深度學習的可解釋性研究（二）不如打開箱子看一看. https://zhuanlan.zhihu.com/p/38151985

 [9] 深度學習的可解釋性研究（三）是誰在撩動琴弦. https://zhuanlan.zhihu.com/p/38568075

 [10]Zeiler M D, Fergus R . Visualizing and Understanding Convolutional Networks[M]// Computer Vision ECCV 2014. Springer.

 [11] David Bau, Bolei Zhou, Aditya Khosla, et al. Network Dissection: Quantifying Interpretability of Deep Visual Representations[J]. 2017:3319-3327.

 [12] 深度學習的技術在金融行業中的應用. https://blog.csdn.net/sinat_22510827/article/details/9029431

 未來智能實驗室的主要工作包括：建立AI智能係統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）雲腦研究計劃，構建互聯網（城市）雲腦技術和企業圖譜，為提升企業， 行業與城市的智能水平服務。