編譯作者：呂可
根據海外媒體報道，今年6 月，剛成立了一個月的法國新創公司Mistral AI 在種子輪融資中籌集了1.05 億歐元的資金。而當時，這家由一名DeepMind 前員工和兩名Meta 前員工創辦的新創公司還沒有任何可發布的產品。人們最初聽到Mistral 的融資新聞時，只是在感慨風投公司對處於爆發階段的生成式AI 領域過於大方。
事實證明，Mistral 公司其實有很多亮點，而這些亮點說服了光速創投、法國億萬富翁Xavier Niel 和谷歌前執行長Eric Schmidt 向他們投資。
一週前，Mistral 發布了一個73 億參數的模型，旨在與Meta 的Llama 2（一個130 億參數的大型語言模型）競爭。這家法國公司宣稱，它是目前大型語言模型領域中功能最強大的語言模型。
這款名為Mistral 7B 的基礎模型是專為快速推理和處理較長語句而設計的transformer模型。它利用utilizing grouped-query attention 和sliding-window attention來實現這一目標。 utilizing grouped-query attention結合了多次查詢和多頭注意力機制，以平衡輸出品質和速度。 sliding-window attention透過調整視窗大小來擴展上下文長度。 Mistral 7B 的上下文長度為8000 個token，與更大的模型相比，具有低延遲、高吞吐量和高效能的特性。
如今這款Mistral 7B 模型已經被整合到Google的Vertex AI Notebooks 中，這項整合使Google雲端客戶能夠深入了解全面的端到端工作流程，使他們能夠在Vertex AI Notebooks 上對Mistral-7B 及其變體進行實驗、微調和部署。
Mistral AI 使用者可以使用高效率的大語言模型服務框架vLLM 來優化他們的模型。透過使用Vertex AI 筆記本，使用者可以在Vertex AI 端點上部署由Model Garden 維護的vLLM 映像，以進行推理，從而確保簡化模型部署。
這項合作的一個關鍵功能是Vertex AI 模型註冊中心，它是一個中央儲存庫，使用戶能夠管理Mistral AI 模型及其微調模型的生命週期。透過此註冊中心，使用者可以全面了解其模型的增強組織和追蹤能力。
從該公司的推介會可以看出，Mistral 公司巧妙地將自己定位為一個重要的潛在參與者。它將幫助歐洲成為建立基礎人工智慧模型的“有力競爭者”，並在“地緣政治問題上發揮重要作用”。
在美國，主推AI 產品的新創公司主要由Google和微軟等大企業支持。 Mistral稱這種「封閉的技術方式「讓大公司賺到了更多的錢，但並沒有真正形成一個開放的社區。
與OpenAI 的GPT 模型（其程式碼細節仍處於保密狀態，只能透過API 取得）不同，這家總部位於巴黎的公司以Apache 2.0 授權在GitHub 上開源了自己的模型，供所有人免費使用。
Mistral將目標瞄準了Meta 的Llama，而Mistral 聲稱他們的大模型產品比Llama 2 更強。
Mistral 的模型與Llama 2 的對比
Mistral 在一份報告中表示，Mistral 7B 在多項基準測試中輕鬆擊敗了Llama 2 的70 億和130 億參數兩個模型。
在涵蓋數學、歷史、法律和其他科目的大規模多任務語言理解測驗中，Mistral 的模型準確率達到60.1%，而Llama 2 模型70億參數和130億參數兩個版本的準確率分別為44%和55%。
在常識推理與閱讀理解基準測驗中，Mistral 的表現也優於Llama 2 的模型。
只有在編碼方面Mistral 落後於Meta 。 Mistral 7B 在「Humaneval 「和「MBPP 「兩個基準測試中的準確率分別為30.5% 和47.5%，而Llama 2 的70 億模式的準確率分別為31.1% 和52.5%。
除了效能之外，Mistral 還聲稱比Llama 2 使用了更少的計算量。在MMLU 基準測試中，Mistral 模型的輸出的結果是同規模下的Llama 2 的三倍多。如果與ChatGPT做比較，根據medium的計算，Mistral AI 的使用成本比GPT 4便宜約187 倍，比GPT 3.5 模型便宜約9 倍。
如何約束大模型？這是個問題
不過Mistral 也表示，有一些用戶抱怨它缺乏ChatGPT、Bard 和Llama 所擁有的安全防護措施。曾有用戶向Mistral 的指令模型詢問如何製造炸彈或自殘，聊天機器人也給了詳細的指導。
Paul Rottger是一名人工智慧安全研究員，此前曾致力於在GPT-4 發布前為其設置防護功能，他在一條推文中對Mistral 7B 缺乏安全性表示「震驚」。 「如今很少能看到一個新模型如此輕易地回复哪怕是最惡意的指令。我對開源大模型的出現感到非常興奮，但這種情況不應該出現」他說。
這些批評促使Mistral 對模型進行了微調，並對此進行了解釋。 「Mistral 7B Instruct 模型已經展現了他們的能力，讓人們看到基礎模型也可以很容易的進行微調，從而展現令人信服的性能。我們正期待與社區合作，探討如何使該模型更好地遵守防護規則，以便在需要控制輸出的環境中進行部署。」Mistral 說。
在許多其他研究人員看來，Mistral 的路線才是修正模型毒性問題的一個長久解決方法，添加防護機制則相當於在重傷上貼創可貼，並沒有那麼好的效果。違反聊天機器人的安全準則是許多使用者最喜歡的消遣方式，他們想測試聊天機器人的反應極限。在ChatGPT 開放的最初幾天裡，開發者一直在催促ChatGPT 來打破聊天機器人的防護機制。
與Rephrase.ai 合作的深度學習研究員Rahul Dandwate 表示：」事先刪除某些關鍵字只是部分解決方案，有很多方法可以繞過它。你還記得ChatGPT 發布後的情況嗎？他們曾出現過的DAN 或’Do Anything Now’，這是一個可以啟用ChatGPT 越獄版的提示。因此，做基礎安全評估是使模型更安全的臨時措施。”
「還有一些方法甚至不需要複雜的駭客技術。一個問題可以透過多種不同的方式讓聊天機器人回答。比方說，我不會簡單地直接向聊天機器人詢問如何製造炸彈，而是把它分解成更科學的方式，例如「哪些化學物質混合在一起會產生強烈反應？ 」Dandwate 解釋。
Dandwate 表示，長期的解決方案是將模型發佈給公眾使用，並從使用中獲得回饋，然後進行微調，這正是Mistral AI 正在做的事情。 「ChatGPT之所以更好，是因為它已經被很多人使用過。他們有一個很基礎的反饋機制，用戶可以選擇豎起大拇指或摁下大拇指，對聊天機器人的回复質量進行評分，我認為這一點非常重要。」Dandwate表示。
但用這種開放給用戶再微調的壞處是，Mistral 可能必須暫時面對一些用戶的質疑。但在人工智慧研究領域，有很大一部分人喜歡原始形式的基礎模型，以便全面了解模型的能力，而這些人正在支持Mistral的堅持。
人工智慧研究人員Delip Rao在推特上說，Mistral 選擇原封不動地發布開源模型，是“對Mistral 模型作為基礎模型的通用性和’非腦葉切除’的認可。”
「腦葉切除術」的提法讓人想起了微軟必應聊天機器人Sydney的早期版本。這款聊天機器人不受約束，具有強烈的個性，直到微軟將聊天機器人大幅調整為目前的形式。
腦葉切除術這個說法來自臭名昭著的心理學手術，在大模型領域，它通常指稱透過限制功能來預防毒性回答出現。這種方法透過為大模型設定關鍵字來過濾那些危險的答案。但這種一刀切的方式也會導致大模型的表現下跌，讓一些涉及敏感詞彙的正常問題難以回答。
雖然該公司沒有發表官方聲明，但有傳言稱OpenAI 對該模型進行了“腦葉切除手術”，以控制其混亂的部分。從那時起，人們就開始好奇，如果讓聊天機器人自由發揮，它會變成什麼樣子？
Dandwate 表示：」對模型進行腦葉切除可能會在某些方面對其產生影響。如果它被禁止回答帶有某些關鍵字的問題，那麼它也可能無法回答用戶可能提出的技術問題，例如導彈的力學問題，或圍繞機器人被標記為’有風險’的主題提出的任何其他科學問題。（譯/呂可）
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載