整理| 屠敏鄭麗媛
出品| CSDN（ID：CSDNnews）
「亂花漸欲迷人眼」，新的一天裡，OpenAI 再次丟出“王炸”：ChatGPT 推出插件功能，既能聯網，也能開啟搜索，還能執行代碼和運行計算……
一招下來，不僅把翻書、打開計算器的力都給省了，現如今還能用ChatGPT 直接獲得搜索引擎提供最新消息的體驗。
從OpenAI 推出的網絡瀏覽器、代碼解釋器到第三方工具
OpenAI 表示，“插件是專門為語言模型設計的工具，以安全為核心原則，並幫助ChatGPT 訪問最新的信息，運行計算，或使用第三方服務。”
具體來看，其推出的插件範圍包括WolframAlpha、OpenTable、Slack 等第三方工具，以及官方推出的網絡瀏覽器插件和代碼解釋器。
基於這些，普通用戶也能在ChatGPT 界面內生成代碼、運行代碼、上傳和下載從csv 數據到圖像的文件，並評估輸出結果。
除此之外，OpenAI 還開放了知識庫檢索插件的代碼（https://github.com/openai/chatgpt-retrieval-plugin）。
網絡瀏覽器
ChatGPT 的爆火出圈，在於它幾乎“無所不能”：編代碼、寫策劃、出小說、當客服……但作為一個基於歷史數據的語言模型，ChatGPT 有個一直被詬病的問題：其訓練數據截止於2021 年9 月，對於更新的信息數據它無法準確回答。
而今天，這道”封印“終於解除了——OpenAI 推出了網絡瀏覽器插件，即ChatGPT 可以聯網了
“受到過去工作的啟發（包括我們自己的WebGPT，以及GopherCite、BlenderBot2、LaMDA2 和其他），現在我們允許語言模型從互聯網上讀取信息，嚴格擴大了其討論內容範圍，超越了訓練語料庫，可獲得當天的最新信息。”
OpenAI 展示了一個例子，通過網絡瀏覽器插件，ChatGPT 已可檢索今年最新的奧斯卡信息：
根據OpenAI 介紹，網絡瀏覽器會調用New Bing 的搜索API 從網上檢索內容，因此繼承了微軟在安全方面的大量工作：（1）信息來源的可靠性和真實性；（2）防止檢索有問題內容的”安全模式“。網絡瀏覽器可顯示訪問過的網站，並在ChatGPT 的回復中引用其來源。
此外，OpenAI 明確指出該插件僅限於檢索信息，不包括表單提交等”事務性“操作。它還將在獨立服務器中運行，因此ChatGPT 的瀏覽活動與其基礎設施是區分開來的。
代碼解釋器（Code Interpreter）
「可以使用Python處理上傳和下載的一個實驗性的ChatGPT 模型」，這是OpenAI 對自家最新推出代碼解釋器的介紹。
簡單來看，OpenAI 提供了一個在沙盒、防火牆執行環境中提供工作Python 解釋器，以及一些臨時磁盤空間。由代碼解釋器插件運行的代碼在一個持久的會話中進行評估，該會話在聊天對話期間是有效的（即有上線，會超時），後續的調用可以建立在彼此之上。當前，這一功能支持將文件上傳到當前的對話工作區，也能下載工作結果。
除了生成代碼，代碼解釋器（CI）還支持的功能有：
解決數學問題，包括定量和定性的數學問題進行數據分析和可視化在不同格式之間轉換文件
另外，OpenAI 也表示，正在邀請用戶嘗試代碼解釋器，發現其他有用的功能。
為此，國外用戶Andrew Mayne 嘗試發現，代碼解釋器還可以分析輸出並在另一個函數中使用它。這意味著你可以把不同部分的代碼串起來，把一個部分的輸出變成另一部分的輸入。
他通過讓CI 使用一個算法來生成一個迷宮，將迷宮轉換成塊，使用一個算法來尋找出口，使其看起來像吃豆人，然後生成一個GIF。
以前，當開發者使用ChatGPT 來創建代碼時，其中會涉及到把輸出結果放到另一個環境中來測試。現在你可以在ChatGPT 內做很多開發，且不需要離開用戶界面。可謂極大地提高了開發者的編程效率。
通過Andrew Mayne 的一些實測，我們不妨一起見證一下代碼解釋器的強大之處：
使用OpenCV 進行人臉查找
使用OpenCV 和一個簡單的人臉搜索算法（Haar Cascade Classifier），CI 能夠創建一個函數，在這張圖片中找到人臉：
行星軌道
使用Matplotlib 庫，能夠讓ChatGPT 模擬內行星的軌道並將其保存為gif 圖片。
創建機器學習模型
雖然ChatGPT 不能在CI 中加載任何機器學習庫（目前），但我們可以使用n-grams 進行一些基本的統計文本生成。在這個示例中，Andrew Mayne 給了它一本書名，要求它創建一個預測算法，然後預測文本序列中的下一個詞。其結果不會很快讓GPT-4 擔心，但還是很有趣。
繪圖
要求ChatGPT 畫一隻貓，它創造了類似貓的東西。
畫一隻帶著藍色的高帽和嘴裡有煙斗的貓。
檢索
OpenAI 開源了一個ChatGPT 檢索插件（https://github.com/openai/chatgpt-retrieval-plugin），這個檢索插件允許ChatGPT 搜索一個矢量數據庫的內容，比如從(Milvus、Pinecone、Qdrant、Redis、Weaviate 或者Zilliz)作為索引搜索，並將最佳結果添加到ChatGPT 會話中，當然前提是這些數據庫內容獲得了個人或組織的許可。
這樣開發者可以在檢索插件中添加他們被授權使用的內容，並通過自然語言提問或表達需求，從其數據源（如文件、註釋、電子郵件或公共文檔）獲取最相關的文檔片段。
第三方插件
對於第三方插件，OpenAI 表示通過候選名單的開發人員可自行為ChatGPT 構建插件，並給出了相關步驟：
1、建立一個你希望語言模型調用的端點 API（可以是新API、現有API 或專門為LLM 設計的現有API 的盤點器）。
2、創建一個記錄API 的OpenAPI 規範，以及一個鏈接到OpenAPI 規範並包括一些插件特定元數據的清單文件。
在chat.openai.com 上開始對話時，用戶可選擇他們希望啟用的第三方插件。關於啟用插件的文檔會作為對話內容的一部分顯示給語言模型，使模型能根據需要調用的插件API 來實現功能。
目前，ChatGPT 已官宣了第一批第三方插件，主要由Expedia，FiscalNote，Instacart，KAYAK，Klarna，Milo，OpenTable，Shopify，Slack，Speak，Wolfram 和Zapier 創建。
其中，計算知識引擎Wolfram|Alpha 方面興奮表示：”雖然還處於早期階段，但這已經非常令人印象深刻——人們可以開始看到我們所謂的’ChatGPT + Wolfram’是多麼驚人地強大（甚至可能是革命性的）。”
例如，上個月問 ChatGPT 土耳其牲畜的數量時，它只會編造一個合理但錯誤的數據。而如今在調用了Wolfram 插件後，ChatGPT 可以給出一個“很好且權威”的答案，並能將其可視化：
現在就能用？
基於自由的插件和第三方服務，再也不用擔心ChatGPT 胡說八道了。
OpenAI 對此也在安全與風險維度著重強調了這一點，通過整合對外部數據的明確訪問——例如網上的最新信息、基於代碼的計算或自定義插件檢索的信息–語言模型可以通過基於證據的參考來加強其回答的質量。
這些參考資料不僅可以提高模型的效用，而且還可以使用戶評估模型輸出的可信度，並反複檢查其準確性，從而有可能減輕與過度依賴有關的風險。
那麼對於開發者及用戶層面而言，什麼時候能夠用上？
其實自ChatGPT、Bard、新Bing、文心一言等大模型工具與產品發布以來，想必很多用戶最怕簡單的一個單詞就是“waitlist”，不出所料，這一次也毫不例外（https://openai.com/blog/chatgpt-plugins）。
OpenAI 表示，目前只有一小部分用戶（優先少數開發者和ChatGPT Plus 用戶）可以開始使用插件功能，其計劃在了解到更多信息後，逐步推出更大規模的訪問（針對插件開發者、ChatGPT 用戶，以及在alpha 期之後，希望將插件整合到他們產品中的API 用戶）。
參考資料：
https://openai.com/blog/chatgpt-plugins
ChatGPT Gets Its “Wolfram Superpowers”!
ChatGPT + Code Interpreter = Magic
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載