打造ChatGPT平替,成本暴降95%OpenAI硬派更新下個月發布,視覺API要來


文章來源:量子位

編輯:桃子好困

為了吸引更多開發者,OpenAI正在規劃一波重大更新,並且讓建置ChatGPT應用程式的成本降低多達20倍

天下開發人員,苦OpenAI模型價格久矣。

路透社爆料稱,在11月6日首屆開發者大會上,OpenAI將推出年度重磅更新:

在開發工具中增加記憶體儲存(memory storage)功能,讓API成本大幅降價95%。

也就是說,開發者苦等的福音終於來了,未來能夠以更低成本、更快速度用GPT模型建構應用。

另外,OpenAI也計畫推出「視覺」能力加持的全新開發工具。

這樣,開發者可以建立“分析圖像”和“描述圖像”更強大的應用。

這些新功能的開放,最終指向一個共同的目標:建構大模型加持的AI智能體。

OpenAI此舉正沿著Sam Altman設想一步一步推進,不僅在用戶中打開市場,同時還要成為一個提供熱門開發者平台的公司。

OpenAI把價格打下來了

去年11月,ChatGPT橫空出世,吸引了全球數億人使用,創下消費級應用用戶數成長里程碑。

除了網頁版,ChatGPT也推出了iOS版,以及安卓版程式。

這樣客觀的下載量,將為OpenAI帶來一些獲利。內部主管預計,今年將帶來2億美元的收入,24年將有10億美元到帳。

可見,ChatGPT在消費者群組中已經打下了江山,但在開發圈裡,讓開發者基於OpenAI技術建立業務,卻面臨重重挑戰。

在執行長Altman看來,讓OpenAI成為其他建構應用程式公司不可或缺的一部分,是公司的策略目標之一。

他與開發者會面,急切地表達基於OpenAI模型建構新生態系統的願望。

目前,GPT模型能力已經融入了,美版「餓了麼」DoorDash、寫作助手Jasper等無數應用程式中。

但,這還遠遠不夠。

6月,Sam Altman在AI開發平台Humanloop的執行長訪談中,曾透露了自家的未來產品路線圖。

其中提到了一點是「有記憶的API」(Stateful API)——目前大部分token被浪費在上文的傳輸中,將來會有一個能夠記住對話歷史的API版本。

這恰恰與添加「記憶體儲存」的想法不謀而合。增加這項功能可以優化成本的原因有以下幾點:

– 新的快取功能與LangChain的記憶鏈(Memory Chain)原理類似,可以將先前的對話歷史轉化為嵌入式向量進行儲存。新的會話內容只需在增量標記中處理,而無需重新輸入整個上下文。

– 預設的角色和功能也無需重新輸入,只需進行相似性搜尋即可。

– 在模型運算過程中,CUDA圖形只需查看增量,而無需以歷史聊天記錄為基礎,再次進行全域瀏覽。

簡而言之,這將大大優化token數量。

所謂的「有記憶的API」的計畫發布,能夠使模型透過記住查詢的對話歷史,進而創建應用程式成本更低。

這可能會大幅削減,開發人員需要支付API費用。

根據OpenAI官網上的定價,目前,用GPT-4處理一頁文件可能需要10美分,具體取決於輸入和輸出的長度和複雜性。

另一個更新是視覺API,允許開發者建立可以分析影像的軟體。

這也標誌著,OpenAI繼續向前推進多模態能力重要的一步,未來必定還會有音訊、視訊能力的加入。

抓住開發者, 在做了

為了吸引更多開發者,OpenAI也做了許多努力。

去年,專門聘用了第一位負責建立OpenAI與開發者關係的工程師Logan Kilpatrick。

他常常會更新一些利好開發者的工具和內容。

微調使用者介面現在支援在使用者介面中進行端到端作業創建,無需程式碼即可啟動作業。

還有,OpenAI即將發布OpenAI Python SDK的1.0版本。

發布API 使用情況儀表板的更新,有助於更清楚地了解哪些模型在推動使用情況,而且總體上應該更加可靠。

除此之外,可以看到OpenAI面向開發者,做了很多模型適配、使用者介面等各種工作的最佳化。

而所有的這些,都是為了吸引更多開發者來付費使用OpenAI的模式。

根據PitchBook的數據,今年各家AI新創公司已經獲得了超過200億美元的投資。

雖然其中許多都依賴OpenAI提供的技術,但這些新創公司也在努力使它們使用的模型更加多樣化,例如採用Llama這種開源方案。而這也使得OpenAI必須將自己與Google等資金雄厚的競爭對手區分開來。

根據路透社報道,保持開發者的滿意度一直是OpenAI的關注重點。

然而,即便ChatGPT在消費者中取得了巨大成功,但OpenAI在贏得其他公司或開發者的支持上,卻並沒有那麼順利。

例如備受期待的ChatGPT插件系統,在最初引發了一大波熱潮之後,用戶和開發者的興趣就急劇下跌。

隨後Sam Altman也承認,外掛程式並沒有像想像中那樣獲得市場的認可。

價格一覽

GPT-4

GPT-3.5 Turbo

微調模型

參考資料:

https://www.reuters.com/technology/openai-plans-major-updates-lure-developers-with-lower-costs-sources-2023-10-11/

資訊來源:由0x資訊編譯自8BTC。版權所有,未經許可,不得轉載

Total
0
Shares
Related Posts