OpenAI官方解讀ChatGPT插件:語言模型的“眼睛和耳朵”

作者:OpenAI官方;翻譯:金色財經& ChatGPT

根據我們的迭代部署理念,我們正在逐步推出ChatGPT插件,以便我們可以研究它們在現實世界中的使用、影響以及安全和協調方面的挑戰——所有這些我們都必須做好,才能實現我們的使命.

自從我們推出ChatGPT 以來,用戶一直要求插件(許多開發人員正在嘗試類似的想法),因為它們可以解鎖大量可能的用例。我們從一小部分用戶開始,併計劃隨著我們了解更多(對於插件開發人員、ChatGPT 用戶,以及在alpha 期之後,希望將插件集成到他們的產品中的API 用戶)逐步推出更大規模的訪問。我們很高興能夠建立一個塑造人機交互範式未來的社區。

被邀請的插件開發人員可以使用我們的文檔為ChatGPT 構建插件,然後在向語言模型顯示的提示中列出已啟用的插件以及指導模型如何使用每個插件的文檔。第一批插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier創建。

我們自己也開發了兩個插件,一個網絡瀏覽器和代碼解釋器。我們還開源了知識庫檢索插件的代碼,任何開發人員都可以自行託管他們想要用來增強ChatGPT的信息。

今天,我們將開始將插件alpha訪問權限擴展到候補名單中的用戶和開發人員。雖然我們最初會優先考慮少數開發人員和ChatGPT Plus 用戶,但我們計劃隨著時間的推移推出更大規模的訪問。

如何使用ChatGPT插件的示例

概述

今天的語言模型雖然對各種任務有用,但仍然有限。他們可以從中學習的唯一信息是他們的訓練數據。此信息可能已過時,並且適用於所有應用程序。此外,語言模型唯一可以開箱即用的就是發出文本。此文本可能包含有用的說明,但要真正遵循這些說明,需要另一個過程。

雖然不是一個完美的類比,但插件可以成為語言模型的“眼睛和耳朵”,使它們能夠訪問太新、太私人或太具體而無法包含在訓練數據中的信息。為了響應用戶的明確請求,插件還可以使語言模型代表他們執行安全、受限的操作,從而提高整個系統的實用性。

我們預計開放標準將會出現,以統一應用程序接入AI 界面的方式。我們正在對這樣一個標準的外觀進行早期嘗試,我們正在尋找有興趣與我們一起構建的開發人員的反饋。

今天,我們開始逐步為ChatGPT 用戶啟用早期合作者的現有插件,首先是ChatGPT Plus 訂閱者。我們還開始推出開發人員為ChatGPT 創建自己的插件的能力。

在接下來的幾個月裡,隨著我們從部署中學習並繼續改進我們的安全系統,我們將迭代這個協議,我們計劃讓使用OpenAI 模型的開發人員能夠將插件集成到他們自己的應用程序中,而不是ChatGPT。

安全性和更廣泛的影響

將語言模型連接到外部工具會帶來新的機會,同時也會帶來重大的新 風險。

插件提供了解決與大型語言模型相關的各種挑戰的潛力,包括“幻覺”,跟上最近的事件,以及訪問(經許可的)專有信息源。通過集成對外部數據的顯式訪問——例如在線最新信息、基於代碼的計算或自定義插件檢索信息——語言模型可以通過基於證據的參考來加強它們的響應。

這些參考資料不僅增強了模型的實用性,還使用戶能夠評估模型輸出的可信度並仔細檢查其準確性,從而有可能減輕與我們最近的GPT-4 系統卡片中討論的過度依賴相關的風險。最後,插件的價值可能遠遠超出通過幫助用戶處理各種新用例(從瀏覽產品目錄到預訂航班或訂購食物)的現有限制。

與此同時,插件可能會採取有害或無意的行動,增加不法分子欺詐、誤導或虐待他人的能力,從而增加安全挑戰。通過增加可能的應用範圍,插件可能會增加因模型在新領域中採取的錯誤或錯誤協調操作而產生負面後果的風險。從第一天起,這些因素就指導了我們插件平台的開發,我們實施了多項保障措施。

從第一天起,這些因素就指導了我們插件平台的開發,我們實施了多項保障措施。

我們已經在內部和與外部合作者進行了紅隊演練,揭示了許多可能的相關場景。例如,我們的紅隊發現了插件的方法——如果在沒有安全措施的情況下發布——執行複雜的提示注入、發送欺詐和垃圾郵件、繞過安全限製或濫用發送到插件的信息。我們正在使用這些發現來通知安全設計緩解措施,這些緩解措施限制了有風險的插件行為,並提高了它們作為用戶體驗的一部分運行的方式和時間的透明度。我們還使用這些發現來告知我們逐步部署對插件的訪問的決定。

如果你是一名研究人員,有興趣研究該領域的安全風險或緩解措施,我們鼓勵你使用我們的研究人員訪問計劃。我們還邀請開發人員和研究人員提交與插件相關的安全和功能評估,作為我們最近開源的Evals 框架的一部分。

插件可能會產生廣泛的社會影響。例如,我們最近發布了一份工作論文,其中發現能夠使用工具的語言模型可能比沒有工具的語言模型產生更大的經濟影響,更普遍地說,根據其他 研究人員的發現,我們預計當前的人工智能技術浪潮將對工作轉變、替代和創造的速度有很大影響。我們渴望與外部研究人員和我們的客戶合作研究這些影響。

瀏覽Alpha

一個知道何時以及如何瀏覽互聯網的實驗模型

受過去工作(我們自己的WebGPT,以及GopherCite,BlenderBot2,LaMDA2和其他)的啟發,允許語言模型從互聯網上讀取信息嚴格擴展了他們可以討論的內容量,超越了訓練語料庫的新鮮信息。

這是向ChatGPT 用戶開放瀏覽體驗的一個例子,以前會讓模型禮貌地指出它的訓練數據沒有包含足夠的信息來讓它回答。在這個示例中,ChatGPT 檢索有關最新奧斯卡頒獎典禮的最新信息,然後執行現在熟悉的ChatGPT 操作,這是瀏覽可以成為一種附加體驗的一種方式。

E7Q23QHS3Gho65mVoZn6OjSKb8pUozgt1fkqluWx.png

ChatGPT瀏覽插件演示

除了為最終用戶提供明顯的實用性之外,我們認為使語言和聊天模型能夠進行徹底和可解釋的研究具有可擴展對齊的令人興奮的前景。

u8jFer2uPeN5Yws9lIFRAZWS3YguMHpwKMcH0Urh.png瀏覽最新信息

安全考慮

我們已經創建了一個網絡瀏覽插件,它可以讓語言模型訪問網絡瀏覽器,其設計將安全性和作為網絡良好公民的操作放在首位。該插件的基於文本的Web 瀏覽器僅限於發出GET 請求,這減少(但不會消除)某些類別的安全風險。這將瀏覽插件的範圍限定為可用於檢索信息,但不包括“事務性”操作,例如表單提交,這些操作具有更大的安全性和安全性問題。

瀏覽插件使用bing搜索API 從Web 檢索內容。因此,我們繼承了Microsoft 在(1) 信息來源可靠性和真實性以及(2) 防止檢索有問題內容的“安全模式”方面的大量工作。該插件在一個獨立的服務中運行,因此ChatGPT 的瀏覽活動與我們基礎設施的其餘部分是分開的。

為了尊重內容創作者並遵守網絡規範,我們的瀏覽器插件的用戶代理令牌是ChatGPT-User,並配置為尊重網站的robots.txt 文件。這可能偶爾會導致“點擊失敗”消息,這表明該插件正在遵守網站的指示以避免對其進行抓取。此用戶代理將僅用於代表ChatGPT 用戶採取直接操作,而不用於以任何自動方式抓取網絡。我們還發布了IP 出口範圍。此外,已實施限速措施以避免向網站發送過多流量。

點擊失敗

您可以使用robots.txt 文件阻止ChatGPT 抓取你的網站,當發生這種情況時,ChatGPT 將顯示此錯誤消息。

我們的瀏覽插件顯示訪問過的網站,並在ChatGPT 的回復中引用其來源。這種增加的透明度層有助於用戶驗證模型響應的準確性,並回饋內容創建者。我們讚賞這是一種與網絡交互的新方法,並歡迎就其他方法將流量拉回來源並增加生態系統的整體健康狀況提供反饋。

代碼解釋器

一個可以使用Python 處理上傳和下載的實驗性ChatGPT 模型

我們為我們的模型提供了一個在 沙盒、防火牆執行環境中工作的Python 解釋器,以及一些臨時磁盤空間。由我們的解釋器插件運行的代碼在一個持久會話中進行評估,該會話在聊天對話期間一直有效(具有上限超時),後續調用可以相互構建。我們支持將文件上傳到當前對話工作區並下載您的工作結果。

yERBht8ThiYCLXIzYiPMLBHO35fzdUOEIXDQHoit.png執行邏輯計算的代碼解釋器插件

我們希望我們的模型能夠使用它們的編程 技能為我們計算機的最基本功能提供更自然的接口。接觸到以指尖的速度工作的非常熱心的初級程序員可以使全新的工作流程變得輕鬆高效,並向新的受眾開放編程的好處。

從我們最初的用戶研究中,我們確定了使用代碼解釋器特別有用的用例:

  • 解決定量和定性的數學問題

  • 進行數據分析和可視化

  • 在格式之間轉換文件

我們邀請用戶嘗試代碼解釋器集成並發現其他有用的任務。

tiAMYkhzI8L4sEy9U4La5Hil6xZqdpl9ZSlC69Ii.png

ChatGPT解釋器插件演示

安全考慮

將我們的模型連接到編程語言解釋器的主要考慮因素是對 執行進行適當的沙盒處理,以便AI 生成的代碼不會在現實世界中產生意外的副作用。我們在安全環境中執行代碼,並使用嚴格的網絡控制來防止外部互聯網訪問執行代碼。此外,我們對每個會話都設置了資源限制。禁用互聯網訪問限制了我們代碼沙箱的功能,但我們相信這是正確的初始權衡。第三方插件被設計為將我們的模型連接到外部世界的安全第一方法。

檢索

開源檢索插件使ChatGPT 能夠訪問個人或組織信息源(經許可的)。它允許用戶通過提問或用自然語言表達需求,從他們的數據源中獲取最相關的文檔片段,例如文件、筆記、電子郵件或公共文檔。

作為一個開源和自託管的解決方案,開發人員可以部署他們自己的插件版本並在ChatGPT 上註冊。該插件利用OpenAI 嵌入並允許開發人員選擇矢量數據庫(Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz)來索引和搜索文檔。信息源可以使用webhooks 與數據庫同步。

首先,訪問檢索插件存儲庫。

RNlkANox0X7U0enz5Ks63rhZaVIRR29HOm5gc4a7.pngChatGPT檢索插件演示

安全考慮

檢索插件允許ChatGPT 搜索內容矢量數據庫,並將最佳結果添加到ChatGPT 會話中。這意味著它沒有任何外部影響,主要風險是數據授權和隱私。開發人員應該只將他們有權使用的內容添加到他們的檢索插件中,並且可以在用戶的ChatGPT 會話中共享。

第三方插件

一個知道何時以及如何使用插件的實驗模型

NVZLU5EaCrJRGPW2X88RXV01z5L2lKa3QGhYFEpf.png

ChatGPT中的第三方插件

第三方插件由清單文件描述,其中包括插件功能的機器可讀描述以及如何調用它們,以及面向用戶的文檔。

bcaWYHt3ntmBZ2J1Ep6HpBhsvfst6Yjjz2fgfCNo.png

示例:用於管理todo事項的插件的清單文件

創建插件的步驟是:

  1. 使用您希望語言模型調用的端點構建API(這可以是新的API、現有的API 或圍繞專門為LLM 設計的現有API 的包裝器)。

  2. 創建一個記錄您的API 的OpenAPI 規範,以及一個鏈接到OpenAPI 規範並包含一些特定於插件的元數據的清單文件。

在chat.openai.com上開始對話時,用戶可以選擇他們想要啟用的第三方插件。有關已啟用插件的文檔作為對話上下文的一部分顯示給語言模型,使模型能夠根據需要調用適當的插件API 來實現用戶意圖。目前,插件是為調用後端API 而設計的,但我們正在探索也可以調用客戶端API 的插件。

UCVC7SDYBMlMwn86pSaoDjRvE4xYMZC0aK1PUs2g.png

ChatGPT第三方插件演示

XpGtg2wy6X1GkWKKsaZtYAvg5N0v5nRpeeQIZcl7.png

ChatGPT 插件開發者體驗

未來

我們正在努力開發插件並將它們帶給更廣泛的受眾。我們有很多東西要學,在大家的幫助下,我們希望構建一些既有用又安全的東西。

文章來源:https://openai.com/blog/chatgpt-plugins

Total
0
Shares
Related Posts