作者：JOSH LEE KOK THONG 翻譯：李揚 校譯：相欣奕
來源：澎湃新聞
圖片來源：由無界AI 生成
近幾個月來，全球對人工智能治理和監管的興趣大幅上漲。許多人認為，需要嶄新的治理和監管結構，以應對生成型人工智能係統——它們的能力讓人目瞪口呆，比如OpenAI的ChatGPT和DALL-E、谷歌的Bard、Stable Diffusion等。 《歐盟人工智能法案》受到普遍關注。事實上，世界各地也湧現出許多其他重要舉措，包括多種人工智能治理模式及框架。
本文講的是2022年5月發布的新加坡人工智能治理測試框架和工具包——“人工智能驗證”（AI Verify），主要提煉三個關鍵點。 ① 對新加坡在人工智能治理方面的總體策略，以及該國政府在推出人工智能驗證之前發布的關鍵舉措進行總結歸納。 ② 對“人工智能驗證”的關鍵加以解釋。 ③ “人工智能驗證”推出已有一年，探討人工智能驗證的未來，以及新加坡的人工智能治理和監管方法。簡言之，主要觀點如下：
——新加坡對人工智能治理和監管採取了溫和乾預的方法，《人工智能治理框架模式》為私營部門的人工智能治理制定了指南。
——“人工智能驗證”（ “AI Verify”）是一個人工智能治理測試框架和工具包，2022年5月推出。儘管處於試用階段，但它代表新加坡努力進一步發展人工智能治理和監管的全球話語，試圖滿足對值得信賴的人工智能係統日益增長的需求，以及促進全球人工智能監管框架的互聯互通能力。
——“人工智能驗證”基於國際公認的人工智能治理原則的測試框架，公司可以在測試自己的人工智能係統時使用這一測試工具包。 “人工智能驗證”無意定義道德標準，而通過允許人工智能係統開發人員及其所有者發布證明對其人工智能係統性能的聲明，來提供可驗證性。
——要想取得成功，“人工智能驗證”可能需要更多認可和採用。這取決於成本、說服利益相關者相信其價值以及其與國際監管框架的相關性和協同作用等因素。
新加坡人工智能治理的總體方法概述
新加坡在《國家人工智能戰略》中宣布，該國目標是“站在可擴展、有影響力的人工智能解決方案開發和部署的前沿”，希望鞏固本國作為“開發、測試、部署和擴展人工智能解決方案的全球中心”的地位。提高人工智能採用率的戰略中，所確定的五個“生態系統促成因素”之一，是為人工智能開發營造“進步和值得信賴的環境”——一個在創新和最小化社會風險之間取得平衡的環境。
為創造這種“進步和值得信賴的環境”，迄今為止，新加坡對人工智能監管採取了一種溫和且自願的方式。這是因為，該國認識到自身人工智能雄心的兩個現實。
首先，新加坡政府將人工智能視為發展經濟和提高公民生活質量的關鍵戰略推動者。由此，新加坡在監管人工智能方面並未採取嚴厲措施，以免扼殺創新和投資。其次，考慮到其規模，新加坡意識到，隨著人工智能治理話語、框架和法規在全球範圍的發展，自身可能是價格接受者，而非價格製定者。因此，當下策略並不是刷新人工智能原理，而是“順應世界潮流而去，無意改變世界潮流。”（“Take the world where it is, rather than where it hopes the world to be.”）
在2022年AI Verify發布之前，新加坡的人工智能監管方法——由新加坡個人數據保護委員會（PDPC）監督——有三個支柱：
1. 人工智能治理框架模式（框架模式）。
2.人工智能和數據的合乎道德使用諮詢委員會（諮詢委員會）。
3.人工智能治理與數據使用研究計劃（研究項目）。
以下重點介紹《框架模式》。
框架模式
《框架模式》2019年在世界經濟論壇年會上首次推出，是一個自願且不具約束力的框架，指導各組織大規模負責任地部署人工智能解決方案，並指出該框架與技術的開發階段無關。作為指南，《框架模式》僅為私營部門實體的人工智能部署提出切實可行的建議，而公共部門對人工智能的使用，則受內部指導方針以及人工智能和數據治理工具包的約束。 《框架模式》被稱為“活文件”，隨著技術和社會發展，其未來版本會不斷發展。其基礎在於技術、行業、規模和商業模型的不可預知。
本質上，框架模式以兩個基本原則為指導，促進對人工智能的信任和理解。首先，在決策中使用人工智能的組織，應確保其決策過程是可解釋、透明和公平的。其次，人工智能係統應該以人為中心：保護人類福祉和安全應該是設計、開發和使用人工智能的首要考慮因素。
該框架將這些指導原則轉化為組織決策和技術開發過程中四個關鍵領域的可實施的操作：
（a） 內部治理結構和措施；
（b） 確定人類參與人工智能增強決策的水平；
（c） 運營管理；
（d） 利益相關者的互動和溝通。
下表對這些關鍵領域中的若干建議考慮因素、做法和措施加以歸納。
《框架模式》附帶的其他舉措
新加坡在2020年世界經濟論壇上發布第二版《框架模式》時，附帶著另兩份文件：《組織實施和自我評估指南》（ISAGO）和《使用案例彙編》（彙編-第1成交量和第2成交量）。 ISAGO是一個清單，幫助組織評估其人工智能治理流程與模型框架的一致性。 《綱要》提供了在各個部門、用例和司法管轄區採用《框架模式》建議的真實例子。
總的來說，《框架模式》及其配套文件，錨定並概述了新加坡人工智能監管的實質性思路。這些舉措使新加坡在2019年贏得聯合國信息社會世界峰會獎，其在人工智能治理方面的領先地位得到認可。
2020年1月，是全球人工智能監管討論的轉折點。 2020年1月17日，歐盟委員會透露的一份白皮書，使國際社會越發關注政府監管人工智能技術的可能性。 2020年2月，歐盟委員會正式發布《人工智能白皮書》，列出創建人工智能監管框架的計劃。而後幾個月，歐盟委員會提出即將出台的《人工智能法案》的草案。這是政府性質的機構首次認真嘗試引入實質性規則，以橫向規範人工智能係統的開發和使用。可以預期，《人工智能法案》對管轄區外亦發揮影響，歐洲以外開發人工智能係統的公司可能會受到新法律的約束。
這些影響了人們對新加坡人工智能監管和治理格局未來的思考。儘管新加坡個人數據保護委員會（PDPC）保持其對人工智能監管的自願和寬鬆的態度，但它承認，人工智能未來將面臨更嚴的監督。 PDPC似乎也注意到，消費者對人工智能係統和開發人員可信度的需求日益提高，需要人工智能國際標準根據監管要求，對人工智能進行基準測試和評估。此外，對人工智能監管框架互聯互通性的要求也在提高。有鑑於此，新加坡開始進行開發，最終成果合併為“人工智能驗證”（AI Verify）的框架。
什麼是“人工智能驗證”（AI Verify）
“人工智能驗證”（AI Verify）由新加坡通信和信息部下屬的法定委員會Infocomm Media Development Authority（IMDA）和個人數據保護委員會（PDPC）共同發布，是一個人工智能治理測試框架和工具包。運用“人工智能驗證”（AI Verify），組Loom構能結合技術測試和基於流程的檢查，對自身的人工智能係統進行自願評估。反過來，該系統幫助公司向利益相關者提供客觀和可驗證的證明，以說明自身的人工智能係統以負責任和值得信賴的方式實施。
鑑於人工智能測試方法、標準、指標和工具不斷發展，“人工智能驗證”（AI Verify）目前處於“最低可行產品”（MVP）階段。這有兩個含義。首先，MVP版本有技術限制，並受限於可測試或分析的人工智能模型或數據集的類型和大小。其次，隨著人工智能測試能力的成熟，預計人工智能驗證將不斷發展。
開發“人工智能驗證”MVP版本的四個目標是：
（a）首先，IMDA希望組織能夠使用“人工智能驗證”，確定其人工智能係統的性能基準，並向消費者和員工等利益相關方展示這些經過驗證的基準，從而幫助組織增強信任。
（b）其次，鑑於其開發考慮到各種人工智能監管和治理框架，以及共同的值得信賴的人工智能原則，“人工智能驗證”旨在幫助組織找到各種全球人工智能治理框架和法規的共同點。 IMDA將繼續與監管機構和標準組織合作，將“人工智能驗證”的測試框架映射於已建立的框架中。這些努力旨在讓企業在多個市場運營或提供人工智能產品與服務，同時讓新加坡成為人工智能治理和監管測試的中心。
（c）第三，隨著更多組織嘗試“人工智能驗證”並使用其測試框架，IMDA將能夠整理行業實踐、基準和指標。考慮到新加坡正參與全球人工智能治理平台，如全球人工智能夥伴關係和ISO/IEC JTC1/SC 42，為人工智能治理的國際標準制定提供寶貴視角，這些可促進對人工智能治理標準制定的投入。
（d）第四，IMDA希望“人工智能驗證”幫助新加坡創建一個本地人工智能測試社區，由人工智能開發人員和系統所有者（尋求測試人工智能係統）、技術提供商（正在開發人工智能治理實施和測試解決方案）、諮詢服務提供商（專門從事測試和認證支持），以及研究人員（正在開發測試技術、基準和實踐）所組成。
澄清關於“人工智能驗證”的幾個潛在誤解也很重要。首先，“人工智能驗證”並不試圖定義道德標準。它沒有試圖去標亮人工智能係統的分類，相反提供了可驗證性，允許人工智能係統開發人員和所有者證明他們對其人工智能係統性能的聲明。第二，組織使用“人工智能驗證”，不能保證測試的人工智能係統沒有風險或偏見，或是完全“安全”、“合乎道德”。第三，“人工智能驗證”旨在防止組織無意中洩露其人工智能係統的敏感信息（如其底層代碼或訓練數據）。其採取了關鍵保障措施——“人工智能驗證”將由人工智能係統開發人員和所有者自行實施自測。這允許組Loom構的數據和模型保留在本組Loom構的操作環境中。
“人工智能驗證”如何工作
“人工智能驗證”由兩部分組成。其一是測試框架，它引用了11項國際公認的人工智能倫理和治理原則，分為五大支柱。其二是組織用來執行技術測試和記錄測試框架中過程檢查的工具包。
“人工智能驗證”的測試框架
“人工智能驗證”測試框架的五大支柱和十一項原則及其預期評估如下所列：
實際的測試框架，包括以下關鍵部分：
（a）定義：測試框架為每個人工智能原則提供了易於理解的定義。例如，可解釋性被定義為“評估導致人工智能係統決策的因素，其整體行為、結果和影響的能力”。
（b）可測試標準：對每個原則，都提供了一組可測試標準。這些標準兼顧了技術和/或非技術（如流程、程序或組織結構）因素，有助於實現該治理原則的預期結果。
以可解釋性為例，給出兩個可檢驗的準則。開發人員可運行可解釋性方法來幫助用戶理解人工智能模型的驅動因素。開發人員還可展示對人工智能模型的開發偏好，這些模型可以解釋他們的決策，或在默認情況下可以解釋。
（c）測試過程：對每個可測試的標準，“人工智能驗證”提供了要執行的過程或可操作的步驟，這些步驟可以是定量的（如統計或技術測試），也可以是定性的（如在過程檢查過程中產生書面證據）。
就解釋性而言，技術測試可能涉及實證分析和確定特徵對模型輸出的貢獻。基於過程的測試將記錄人工智能模型的基本原理、風險評估和權衡。
（d）度量：這些是定量或定性的參數，用於衡量或為每個可測試的標準提供證據。
使用上面的可解釋性示例，用於確定特徵貢獻的度量可檢查從技術工具（如SHAP和LIME）獲得的模型輸出的貢獻特徵。選擇最終模型時，基於過程的度量可作為評估的證明文件，例如風險評估和權衡練習。
（e）閾值（如適用）：在可用情況下，測試框架將為選定指標提供公認的值或基準。這些價值觀或基準，可由監管機構、行業協會或其他公認的標準制定組織定義。對“人工智能驗證”的MVP模型，考慮到人工智能技術快速發展、它們的用例以及測試人工智能係統的方法，沒有提供閾值。然而，隨著人工智能治理空間的成熟和對“人工智能驗證”AI Verify的使用增加，IMDA打算整理和開發特定於上下文的指標和閾值，添加到測試框架中。
“人工智能驗證”AI Verify的工具包
雖然“人工智能驗證”AI Verify的工具包目前僅適用於成功註冊AI Verify MVP計劃的組織，但IMDA將該工具包描述為組織進行技術測試的“一站式”工具。具體而言，工具包廣泛使用開源測試庫。這些工具包括用於解釋性的SHAP（Shapley Additive ExPlanations）、用於魯棒性的對抗性魯棒性工具包，以及用於公平性的AIF360和公平學習。
“人工智能驗證”的用戶可在其內部環境安裝工具包。用戶將在用戶界面指導下，進行測試過程。例如，該工具包含有一個“引導公平樹”，供用戶識別與其用例相關的公平度量。最後，“人工智能驗證”AI Verify將生成一份總結報告，幫助系統開發人員和所有者解釋測試結果。對於過程檢查，報告提供了一份清單，說明是否存在測試框架中規定的文件證據。然後將測試結果打包到Docker®容器，以便部署。
結論
IMDA發布AI Verify時，生成人工智能的興趣浪潮尚未顯現。隨著當前的潮流，人們對人工智能係統的治理、可測試性和可信度的檢驗興趣顯著增長。如本文所列，“人工智能驗證”AI Verify的諸般舉措，正是做好準備對當前做出回應。
此前，新加坡早已證明其有能力為人工智能治理和監管的全球話語和思想領導力做出貢獻。所發布的《框架模式》即為明證。 “人工智能驗證”AI Verify的風險當然很高，但全球對這一舉措的需求也很高。要取得成功，它可能需要得到更多認可，被更多使用。這取決於幾個因素。首先，該工具的可訪問性至關重要：希望使用“人工智能驗證”AI Verify的相關組Loom構，需要能夠以低成本甚至零成本使用。其次，讓組Loom構相信它的價值至關重要。這需要IMDA證明，“人工智能驗證”AI Verify在技術和程序上是合理的，它可以有效地用於更多和更新種類和尺度的人工智能模型和數據集，且不會影響專有人工智能模型或數據集的商業敏感性。第三，也許是最重要的，它必須與國際監管框架保持互聯互通性。 IMDA需要確保“人工智能驗證”AI Verify持續幫助組Loom構在關鍵的新興全球人工智能監管框架內解決問題並互聯互通，如歐盟人工智能法案、加拿大人工智能和數據法案、美國NIST人工智能風險管理框架，以及新加坡本國的模型框架。
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載