explainable ai

Explainable AI 是什麼?為什麼 AI 下判斷要可以解釋?

可解釋人工智慧(Explainable AI,或縮寫為 XAI)這個研究領域所關心的是,如何讓人類瞭解人工智慧下判斷的理由。特別是近來有重大突破的深度學習技術中,模型是如何做出決定的,一直是個難以回答的問題。最近幾年,不論是 DARPA 開啟了 XAI 5 年研究計劃,或是 IJCAI 2017 舉辦了 Workshop on Explainable AI,都顯示這個問題愈來愈受到重視。 在 2016 年 AlphaGo 與李世乭對戰五番棋的過程中,AlphaGo 多次下出人類圍棋專家未曾想過的棋步。當時觀戰的樊麾曾經評論「這不是人類會下的棋步,我未曾看過人類下出這一步(It’s not a human move. I’ve never seen a human play this move.)」。我們對於 AlphaGo 的棋力可能會有出於好奇心與競賽需要的研究,不過如果人工智慧相關技術要推廣到更多的領域,例如在法院裡協助量刑、在醫療上協助診斷、在保險與金融上判斷一個投資策略的優劣,或是在社會福利政策裡主導資源的分配,我們都會更迫切需要知道模型到底怎麼得出結論的。Samek et al[1] 在研究中,歸納了幾個我們要弄懂 AI 在想什麼的原因: 確認它的判斷合理(verification of the system):在關係重大的決策中,我們需要確實知道一個決策的理由是合情合理的。如果演算法只是提供建議做為參考,我們也需要知道演算法建議的理由,才能評估它的意見是否值得參考。例如在醫療上,曾發生過預測感染肺炎機率的模型因為歷史資料的偏誤,誤認為患有氣喘與心臟疾病的人死於肺炎的機率要小於一般健康的人[2]。 改良它的算法(improvement of the system):當模型開始解釋自己如何做出判斷,我們會比較知道它有什麼缺失,如何改良它。特別是當模型與資料中存在著偏誤,缺乏解釋的話,可能很難發現這些問題。例如判斷一張圖片裡出現的是狼或是哈士奇犬時,一個不好的模型可能會因為圖片裡出現雪,就判斷圖片裡的是哈士奇犬[3]。 從它身上學習(learning from the system):當一套模型從大量的歷史資料裡粹取出真正有用的知識,例如 AlphaGo 真的找到了好的棋步,人類就可以從模型身上學到更多。但這往往需要人類弄清楚模型的答案是如何推導出來的,特別是在尋找自然規律的科學研究中。 符合法規要求(compliance […]