當前，企業在AI市場的轉型正聚焦於邊緣計算和小模型的結合，這為市場注入了新活力。麥肯錫的Lilli案例展示了這一趨勢：通過整合內部文檔，這一AI助手在企業中獲得了70%的採用率，令人矚目。
首先，企業數據安全問題突顯出“數據不出本地，AI能力不打折”的需求，邊緣計算為解決此問題提供了可能。其次，企業更關注能針對特定領域問題提供精準解答的小模型，而非通用的大模型。其三，自建AI基礎設施的長期成本優勢在邊緣計算和小模型組合中明顯，尤其是對大中型企業而言。
此外，邊緣硬件市場也迎來新機遇，高通等芯片廠商針對低功耗、高效率的邊緣AI芯片正受青睞。最後，去中心化的web3 AI市場將隨之增強，資源調度的挑戰將催生新的需求。
總之，市場在邊緣計算和小模型的推動下，正快速挖礦AI的實用價值，創造更大的活力和前景。
相比過去比拼算力、算法的資源壟斷式躍進，當市場把重心放到邊緣計算+ 小模型方式時，會帶來更大的市場活力。
撰文：Haotian
麥肯錫的Lilli 案例為企業AI 市場提供了關鍵發展思路：邊緣計算+ 小模型潛在的市場機會。這個整合了10 萬份內部文檔的AI 助手，不僅獲得了70% 員工的採用率，而且平均每週使用17 次，這種產品粘性在企業工具中實屬罕見。以下，談談我的思考：
1）企業數據安全是痛點：麥肯錫100 年增持的核心知識資產以及一些中小企業增持的特定數據都有極強數據敏感性，都不是和在公共雲上處理。如何探索一種“數據不出本地，AI 能力不打折”的平衡狀態，就是實際市場剛需。邊緣計算是個探索方向；
2）專業小模型會取代通用大模型：企業用戶需要的不是”百億參數、全能型”的通用模型，而是能精準解答特定領域問題的專業助手。相比之下，大模型的通用性與專業深度之間存在天然矛盾，企業場景下往往更看重小模型；
3）自建AI infra 和API 調用的成本平衡：儘管邊緣計算和小模型的組合雖然前期投入較大，但長期運營成本顯著降低。試想若45000 名員工高頻使用的AI 大模型來自於API 調用，這產生的依賴，使用規模和品論的增加都會使得自建AI infra 成為大中型企業的理性選擇；
4）邊緣硬件市場的新機會：大模型訓練離不開高端GPU，但邊緣推理對硬件的要求則完全不同。高通、聯發科等芯片廠商針對邊緣AI 優化的處理器正迎來市場良機。當每個企業都想打造自己的”Lilli”，專為低功耗、高效率設計的邊緣AI 芯片將成為基礎設施的必需品；
5）去中心化web3 AI 市場也同步增強：一旦企業在小模型上的算力、微調、算法等需求被帶動起來，如何平衡資源調度就會成為問題，傳統的中心化的資源調度會成為難題，這直接會給web3AI 去中心化小模型微調網絡，去中心化算力服務平台等等帶來很大的市場需求；
當市場還在討論AGI 的通用能力邊界時，更喜聞樂見看到很多企業端用戶已經在挖礦AI 的實用價值。顯然，相比過去比拼算力、算法的資源壟斷式躍進，當市場把重心放到邊緣計算+ 小模型方式時，會帶來更大的市場活力。