港中大聯手多家研究機構，推出三維多模態模型Point-Bind

據品玩9 月5 日報導，香港中文大學近日聯手上海AI 實驗室以及華中科技大學推出了一款三位多模態模型Point-Bind。據研究團隊表示，Point-Bind 將點雲與二維圖像、語言、音頻和視頻對齊。在ImageBind 的指導下，研究團隊在三維和多模態之間構建了一個聯合嵌入空間，實現了許多有前景的應用，例如任意到三維生成、三維嵌入運算和三維開放世界理解。在此基礎上，研究團隊還推出了首個遵循三維多模態指令的三維大語言模型Point-LLM。通過有效的參數微調技術，Point-LLM 將Point-Bind 的語義注入預訓練的LLM，使其不需要三維指令數據，就能獲得卓越的三維和多模態問題解答能力。