原文來源：量子位元
圖片來源：由無界AI生成
谷歌人機驗證已經攔不住AI了
最新多模態大模型，能輕鬆找到圖中所有交通號誌燈，還準確圈出了具體位置。
表現直接超越GPT-4V。
這就是蘋果和哥倫比亞大學研究團隊帶來的多模態大模型「雪貂」（Ferret）。
它具備更強的圖文關聯能力，提升了大模型在「看說答」任務中的精確度。
例如下圖中非常細小的部件（region 1），它也可以分辨出來是避震器。
GPT-4V沒能回答正確，在細小部分上的表現不佳。
所以，Ferret是如何做到的呢？
「點一點」影像大模型都懂
Ferret解決的核心問題是讓引用（referring）和定位（grounding）兩方面空間理解能力更加緊密。
引用是指讓模型準確理解給定區域的語義，也就是指一個位置它能知道是什麼。
定位則是給出語義，讓模型在圖中找到對應目標。
對人類來說，這兩種能力是自然結合的，但是現有許多多模態大模型卻只會單獨使用引用和定位。
所以Ferret提出了一種新型的混合區域表示方法，能將離散座標和連續特徵聯合起來表示影像中的區域。
這樣一來，模型就能分辨出邊界框幾乎一樣的物件。
例如下圖中兩個物體的情況，如果只用離散邊界框，模型會感到很「困惑」。和連續的自由形狀混合表示相結合，能很好地解決這個問題。
為了提取多樣化區域的連續特徵，論文提出了一種空間感知的視覺採樣器，能夠處理不同形狀之間的稀疏性差異。
因此，Ferret可以接受各種區域輸入，例如點、邊界框和自由形狀，並理解其語義。
在輸出中，它可以根據文字自動產生每個定位物件的座標。
為了實現這一目標，Ferret模型的架構包括影像編碼器、空間感知的視覺取樣器和語言模型（LLM）等組成部分。
Ferret結合了離散座標和連續特徵，形成了一種混合區域表示。
這種表示法旨在解決表示各種形狀和格式的區域的挑戰，包括點、邊界框和自由形狀。
離散座標中每個座標都被量化為一個目標框的離散座標，這種量化確保了模型對不同影像大小的穩健性。
而連續特徵則由空間感知視覺採樣器提取，它利用二進制掩碼和特徵圖在ROI內隨機採樣點，並透過雙線性插值來獲得特徵。
這些特徵經過一個由3D點雲模型啟發的空間感知模組處理後，被濃縮成一個單一的向量, 並映射到大型語言模型（LLM）進行下一步處理。
為了增強Ferret的能力，論文還創建了一個名為GRIT的資料集。
這個資料集包含1.1M個樣本，涵蓋了個體物件、物件之間的關係、特定區域的描述以及基於區域的複雜推理等四個主要類別。
GRIT資料集包含了從公共資料集轉換而來的資料、透過ChatGPT和GPT-4產生的指令調整數據，並額外提供了95K個困難的負樣本以提高模型的穩健性。
實驗結果表明，該模型不僅在經典的引用和定位任務中表現出優越性能，而且在基於區域和需要定位的多模態對話中遠遠超過現有其他MLLM模型。
此外，研究還提出了Ferret-Bench，可以評估影像局部區域的引用/定位、語義、知識和推理能力。
Ferret模型在LLaVA-Bench和Ferret-Bench上進行評估，在所有任務中都表現出色，特別是在需要指涉和視覺grounding的三個新任務上，Ferret的表現很出色。
而且在描述影像細節上有明顯提升，幻覺有明顯下跌。
全華人團隊
Ferret大模型由蘋果AI/ML和哥倫比亞大學研究團隊共同帶來，全華人陣容。
有昊軒和張昊天為共同一作。
有昊軒現在為哥倫畢業大學電腦科學博士，畢業後將加入蘋果AI/ML團隊。 2018年自西安電子科技大學本科畢業。
主要研究方向為視覺語言理解、文字-圖像生成及視覺語言。
張昊天現在為蘋果AI/ML團隊視覺智慧研究員。
在加入蘋果之前，張昊天在華盛頓大學獲得博士學位，本科畢業於上海交通大學。
他是GLIP/GLIPv2的主要作者之一，GLIP曾經獲得CVPR2022的Best Paper Award的提名。
此外團隊成員還包括甘哲、王子瑞、曹亮亮、楊寅飛等前谷歌和微軟的多位優秀的多模態大模型研究員。
論文網址：https://arxiv.org/abs/2310.07704
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載