印度馬德拉斯理工學院（IIT Madras）與NVIDIA合作，利用人工智慧技術透過視覺問答和多模態檢索來增強大腦成像分析，推動神經科學研究。此創新框架結合VQA模型與大型語言模型，使研究人員更能探索大腦數據與最新研究之間的關聯。使用者可透過此框架輸入影像並查詢相關細節，提升資訊擷取的準確性和深度。 NVIDIA的技術支援此框架的成功，有助於加強數據分析和促進對複雜腦功能的理解，為未來的研究提供新機會。
丁俊暉2024年11月21日03:48
IIT 馬德拉斯大腦中心與NVIDIA 合作，利用人工智慧透過視覺問答和多模態檢索來增強大腦成像分析，從而徹底改變神經科學研究。
印度馬德拉斯理工學院(IIT Madras) 大腦中心採用先進的人工智慧(AI) 技術，處於神經科學研究的前沿。根據NVIDIA 最近的一份報告，大腦中心正在與NVIDIA 合作，利用視覺問答(VQA) 和多模態檢索來增強大腦影像資料的可近性和分析。
神經科學知識探索框架
印度理工學院馬德拉斯分校開發的創新框架使研究人員能夠將大腦成像數據與最新的神經科學研究聯繫起來。這是透過整合VQA 模型和大型語言模型(LLM) 的綜合處理管道來實現的。該框架使研究人員能夠探索與特定大腦區域和條件相關的進展，為理解大腦結構和功能提供了新的維度。
此過程的關鍵是攝取和問答部分。攝取階段將神經科學出版物索引到知識庫中，而問答階段允許使用者與知識庫進行交互，使用檢索增強生成（RAG）管道來過濾和檢索相關內容。這種多模式交互作用增強了研究見解的深度和準確性。
視覺問答與多模態檢索
該框架使用戶能夠輸入大腦區域的圖像並查詢有關它們的具體細節。採用Llava-Med 等高階VQA 模型來提供詳細的答案。此功能透過影像到影像檢索功能進一步擴展，該功能仍在開發中，旨在允許基於視覺相似性的搜尋。
利用NVIDIA 技術
NVIDIA 的技術堆疊對此框架的成功至關重要。 NVIDIA NeMo Retriever 和NeMo Guardrails 等工具可提高檢索準確性並確保使用者生成內容的相關性。該框架採用微調的嵌入模型，將檢索精度提高了15% 以上。此外，NVIDIA 的基礎架構支援高效的推理速度，這對於處理並髮使用者查詢至關重要。
用於多模式PDF 資料擷取的NVIDIA AI 藍圖透過準確解析神經科學出版物進一步補充了該框架，從而豐富了可用於分析的資料。
應用及意義
該框架的應用範例包括從影像中識別大腦區域和檢索相似的組織樣本。這種能力有望透過提供精確且易於分析的數據來推進神經科學研究，有可能在理解複雜的大腦功能和條件方面帶來突破。
透過此次合作，IIT Madras 和NVIDIA 不僅突破了神經科學研究的界限，還透過使複雜數據更易於獲取和理解，為拯救生命的發現鋪平了道路。
欲了解更多信息，請訪問NVIDIA 博客。
圖片來源：Shutterstock
資訊來源：由0x資訊編譯自BLOCKCHAINNEWS。版權所有，未經許可，不得轉載