幾乎所有人都希望在蘋果WWDC24上找到關於AI能力的答案，然而，發表會的前半部只是一些小功能集合，後半部介紹的AI能力並沒有令人驚訝。然而，蘋果為iPad帶來了一個新的助手，展示了強大的大模型能力。蘋果自研的30億參數的端側模型和強大的雲端模型表現出色，遠遠超出預期。儘管有與OpenAI的合作，但Apple Intelligence完全靠自研模式支援。蘋果展現了強大的AI能力，需求者可能需要升級設備，蘋果將持續證明AI策略的安全性是重要的。
幾乎所有人都希望在蘋果WWDC24上找到這個答案。 然而，在最重要的主題演講環節之後，人們也紛沓而來：發布的前半部分是被戲謔為“追趕安卓”的小功能集合，後半部分最重磅的AI，從表面上看和安卓手機目前已經對外發布的AI能力大差不差，被很多人認為「沒有驚喜」。段子開始在網路上傳播：「WWDC24最大的驚喜是蘋果為iPad帶來了一個新的助手」。
雖然真正意義上的AI硬體還沒有出現，但是大模型可能成為未來端設備中等同於作業系統的“核心”，建立了行業中的普遍共識。這樣重要的大模型能力，蘋果到底有沒有？蘋果在AI時代，難道還要靠OpenAI這樣的第三方大模型公司嗎？
主題演講的當天，蘋果的股價下跌了1.9%，似乎符合外界對武漢肺炎發表會的「平淡」評價。 然而，戲劇性的事情出現了，蘋果股價在主題演講的第二天，暴漲7%創下歷史新高。資本市場是市場力量的體現，對於蘋果3.18兆龐大的市場價值運用，資金背後巨大的情緒反差，值得引起關注。
順著先前的爭議焦點，我們將關注點中心化到了兩份資料：一份資料是蘋果在官網低調發布的大模型技術文檔，其中有很多值得深挖的細節。另一份是科技在現場的同事，發回的一份筆記，筆記記錄了主題演講之後舉辦的一個不起眼的閉門對談內容，對話中的兩個人是“蘋果公司的軟體工程高級副總裁雷格-費德里吉（Craig Federighi）和蘋果公司機器學習和人工智慧策略高級副總裁約翰-吉安南德雷亞（John Giannandrea），他們二位都直接向CEO庫克匯報。與OpenAI合作以避免隱私等。
本文圍繞著小學資料，試圖抽絲剝繭地探究一下，蘋果的「大模型論點」究竟如何。
重點一：
● 蘋果自研大模型的能力很強；
● OpenAI 並沒有為Apple Intelligence提供支持，兩者完全獨立。 Apple Intelligence完全由Apple自研模型提供支援。
深挖蘋果發布的模型技術文件：
兩個新確定的訊息，
這次發表會才是焦點
首先是訊息逐漸清晰：兩個人在發佈時並沒說明的訊息，在發佈時會逐漸清晰化。
1.蘋果低調部署的自研模型：不僅有側面的小模型，還有大模型
在Keynote 上，蘋果一直在講擁有了AI 能力的端設備，能給用戶多麼神奇的應用體驗。 但是這些模型到底是誰家的呢？ 哪些是蘋果自研的，哪些是和OpenAI 合作的？ 雖然承諾了隱私安全，但究竟具體如何保障？ 馬斯克連發推怒蘋果如果整合了OpenAI，將在公司禁用蘋果。 但蘋果整場主題演講出來，我們都沒找到明確答案。
直到發布會後，它發布了一篇技術博客，並在State of Union上公佈了關於蘋果設備上使用的模型細節：端和雲模型，都是蘋果自己開發的。
自研模型趕上GPT4
具體來說，蘋果設備上的端側模型是一個30億參數（3B）的小模型，雲端模型具體參數蘋果並沒有公佈。這兩個模型的性能都相當好。
3B級小模型和主流的幾個7B級模型能力上蘋果都能基本勝出（勝出+平手機率>50%）。而其雲端模型則直接打到了GPT-4 Turbo級（勝出+平手機率58.3%）。
這項發表是整個蘋果更新裡面最大的核心：蘋果自研的GPT4級大模型，而且一推出就可以直接存取蘋果的軟硬體系統了。
鑑於蘋果模型能力的質疑，我們現在無法依靠外部模型公司來建立自己內部循環的AI系統。除了谷歌之外，其他廠商在目前無法做到這一點。
這就是蘋果把OpenAI 列為其中之一，而且是作為外部調用的模型的底氣之一。
側面小模型
另外說端模型，在發表會上蘋果宣布大多數Apple Intelligents的操作都會在端模型上完成。但在發表會後所有人幾乎都在質疑，一個3B大小的模型是不是能真的完成發表會上展示的那些功能。
首先，3B大小的端側模型落地其實已經很不容易了。
看看蘋果的競品們的風格：谷歌在去年12 月首次把其端側模型Gemnini Nano部署到旗艦手機Pixel 8 Pro 上，它的參數大小不過是1.8B，而且能力非常有限。三星S24 在端側也用的就是Gemnini Nano。要知道Pixel 8 Pro 具有12G 內存，直到今年5 月谷歌剛剛讓8G 內存的Pixel 8 和8a 也跑上這個1.8B 的模型，還要下個月才能真正升級部署。而其他手機廠商部署的端側模型基本上都是在1B 核心參數規模。
而蘋果做到了讓我們8G記憶體的iPhone 15 Pro跑起來一個3B參數的模型。這工程能力就甩掉競爭對手一身位。
在此之前，蘋果已經為此做好了準備，在去年12 月引起轟動的論文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》裡，蘋果就提出了解決小內存運行大模型的方法，使用視窗化（Windowing）以及行列捆綁（Row-Column Bundling）兩項關鍵技術，來最小化生產力和最大化快閃記憶體吞吐量。
在這次的技術中，蘋果也提到了他們在模型中採用的分組查詢（grouped-query-attention）和LoRA適應器模型。這兩項技術一個避免重複映射，一個可以壓縮推理過程，都可以有效降低記憶體佔用和推理成本。
另外，為了確保AI模型的執行效果，大幅降低手機功耗，蘋果公司採用了功耗分析工具Talaria，並且及時優化了功耗。
在這一系列操作中，3B模型的端部署使巴基斯坦能夠獲得醫療服務。
其次，在這篇技術部落格裡，蘋果也展示了他們如何去保障小模型的交付能力：不完全能，但對具體任務做了加強。
: 具體來說，蘋果在基礎模型上增加了許多微適配器，該適配器疊加在通用模型的伺服器上，它們可以動態和交易所基礎模型，從而能夠根據當前任務進行針對性的處理。蘋果智慧包含一系列轉接器，針對緊急應變，並透過電子郵件向諸多用戶發送郵件，用戶可在這些用戶上進行自訂功能。
因此，至少端模型可以較好地完成摘要、寫郵件等工作。
綜合來看，蘋果在這次發表會上展示的綜合模型能力基本上可達遠超預期。從大模型到小模型都進入了第一梯隊。
只有新旗艦才能使用的AI，可能引發新的換機潮
另一個訊息也很重要：雖然iOS18系統升級可以適用於iPhoneXS以上的所有機型，但蘋果的AI功能只能適用於iPhone 15 Pro及以上機型，其它終端需要M1晶片以上的能力。這意味著為了能用上AI，使用者可能必須進行一波換機潮。
這其實並不是蘋果有意卡老用戶。端大模型的運行瓶頸一方面是算力，一方面是記憶體。對蘋果來說，算力問題可能不是那麼棘手。這次Apple Intelligent下放的產品從M1開始。 M1晶片負責AI推理的NPU能力其實還不上A16，但也不足以足夠處理蘋果端模型的推理需求了。那iPhone14 Pro至iPhone 15為什麼不行？還是因為內存不夠。
因為在模型進行過程中需要佔用大量的運行記憶體（DRAM），因此較少的記憶體會緩慢地導致無法完成模型的計算。因此iPhone 15 Pro以上的蘋果手機才有8G內存，就是當下經過一系列優化的3B端模型所需的最小內存。
但事實上，它仍處於開發階段。昨天發布的PowerInfer2.0也為GeminiNano帶來了創新的改進，那就是在Pixel 8上開發PowerInfer2。
但記憶體需求小了，還有7B，14B的模型排隊等待上端。長遠來看，機器還是得換。畢竟只有更大的端模型才能帶來更多讓使用者買單的體驗。
圓桌對話透露了和OpenAI的聯繫
既然蘋果自研的大模型能力如此強大，為何還要和OpenAI合作？蘋果的軟體工程高級副總裁克雷格-費德里吉（Craig Federighi）和約翰-吉安南德雷亞（John Giannandrea）在Keynote之後的閉門對話環節揭示了這些細節，騰訊科技在WWDC現場的同事發回了與新冠病毒對話的內容記錄。 「現有的擁有豐富公共資訊的語言模型，如ChatGPT，也有其用途。這些非常大的前沿模型有一些用戶很喜歡的有趣功能，我們將其整合到我們的體驗中可以更豐富我們的用戶體驗。
考慮到這一點，Apple在WWDC官宣了與OpenAI合作，在該平台上提供更強大的AI服務。然而，請不要認為OpenAI的ChatGPT並沒有為Apple Intelligence提供支持，兩者完全獨立。 Apple Intelligence完全由Apple自研模型提供支援。
這就意味著，雖然Apple在WWDC現場官宣了和OpenAI的合作，但是這種合作並不是如外界猜測的，整合到蘋果系統中。這種合作更像是和第三方大模型公司合作的一個範式，Federighi解釋說Apple與OpenAI合作是因為GPT-4o 目前最好的LLM，但Apple可能會在接下來的其他LLM提供者合作，我很想選擇外部LLM提供者。 SamAltman的態度也很曖昧，一向高調的他，在「如此重要」的合作達成之後，他僅僅發布了一則推文。
圖註：傳言Sam Altman 去了Apple Park，但並沒有上台
根據費德里吉所說，Apple Intelligence被設計為高度個人化的智能，需要利用個人設備上的數據，如照片、聯絡人、訊息和訊息等，執行任務。 當使用者有更成熟的AI請求時，OpenAI的ChatGPT可以生效。 例如，某人可以使用他們的Mac或iPhone向ChatGPT發送查詢，他們希望為ChatGPT編寫電影劇本。
此外，Apple在設計其與ChatGPT的整合時也採取了隱私優先的措施。未經用戶許可，任何用戶資料都不會在OpenAI上運行。在請求在ChatGPT處理之前，用戶必須先手動允許。 「例如，我是醫生，我可能希望將來引入一個醫療模型；我是律師，我可能有一個針對法律工作精煉的模型，我想將其引入我的個人設備中。」蘋果認為這最終是將對用戶在個人智能方面所做工作的很好補充。 」
透過與OpenAI的合作探路，未來蘋果是否會像今天打造APP生態一樣，繼續在蘋果的設備上引入百花齊放的模型，為用戶提供無比個性化和智能化的體驗？這些還是未知數，我們拭目以待。
打造未來的AI端點設備，
蘋果在第一天的生態優勢
雖然蘋果在WWDC上展示的這些應用場景看起來並沒有多麼神奇，但不得不說，這些確實用戶實際應用中比較好的落地場景。例如iPadOS上筆記學習的功能，計算器全螢幕辨識的功能，iOS上Gen emoji的功能等等，既有趣又有用。都是做應用，但是蘋果顯然做的更討巧，更容易被用戶深度感知。
在發表會後，騰訊科技主編李楠就表示：「蘋果的端側模型具有系統級的權限和資料存取能力。如果你問蘋果真的在AI能力上做到了什麼？它是全產業第一個真正把手機的API與端側模型無縫銜接的，是全行業第一個真正把用戶疫情給端側模型進行微調的。端側AI核心技術能力一定會非常強大。
這種強大的本源力量來自蘋果獨特的生態體系，這是蘋果希望做而難以做到的，而蘋果可能短時間內，能打通所有硬體終端設備AI體驗和流轉，唯一的一家公司。
我們這些年立足於科技業這片不曾跌落的重要護城河。 他們擁有極其重要的生態壁壘，這不單單是產品和系統之間的，包括底層的晶片和開發工具，蘋果都可以做到完全統一。
這有助於蘋果在端側AI時代，即便是後來者，也能提供前人無法實現的AI生態，甚至他們能提供更多的AI應用生態場景，比如此次WWDC24上，蘋果就展示了包括AI生成emoji、AI驅動的數學預言等等讓人眼前一亮的功能，這相對於許多廠商只在宣傳AI摳圖能力相比，顯然會更有魅力。
「我們希望人工智慧不是取代我們的用戶，而是增強他們的能力」。克格-費吉在對話中談到了對於人工智慧的看法，「我們地球上的每個人都不多」。
但問題也隨之而來，
蘋果或許將在下次證明中
和OpenAI的關係確定之後，隨之而來的問題是「蘋果如何將已存在的用戶資料交給第三方，在完成AI生成內容的過程中，確保它們的安全」。
這一點對於蘋果來說極為重要。
作為今年WWDC最重要的產品，克雷格-費德里吉在發布Apple Intelligence的時候，用了很重的篇幅去試圖告訴用戶，Apple Intelligence所打造的這種「端+私有雲」對組合方式，是多麼的安全。蘋果透過系統級的安全晶片加密貨幣，以及完全封閉的傳輸路徑，去保證這一點…
蘋果在主題演講中著重提及了這部分的流程，他們在系統中增加了一個開關，所有輸出到GPT-4o的內容，都請確保用戶主動發起確認的內容。
克雷格還在桌上表示蘋果處理用戶需求的進程，如果要上雲，他們擁有一套重建演算法，用戶資料脫敏，處理之後資料會隨即銷毀，蘋果對於這個進程的資料被完全幹預。
蘋果希望透過這種方法，去告訴用戶這足夠的安全問題。甚至他們也找到了一些卸載工具，開放了他們的Apple Intelligence，並向第三方機構證明用戶資料的安全性與外洩的無關。
但這並不意味著能夠消除外界對隱私資料安全外洩的擔憂，尤其是在Siri 接入GPT-4o 之後，用戶資料如何脫敏、源自蘋果-OpenAI-蘋果的這條傳輸路徑中不走錯路口等等問題，都一股腦的拋向蘋果了。
面壁智慧首席研究員在和騰訊科技的英語直播中也表達了擔憂，他表示只要蘋果的數據來自第三方，它就會提供OpenAI的GPT或Google的Gemini，蘋果可能會丟失對於數據安全的控制權，這也確實對蘋果的隱私安全提出新的挑戰表示感謝。
但好消息是，這不是我們第一次面臨這樣的問題。
蘋果在選擇搜尋供應商的時候，曾經陷入類似的討論。當蘋果將Google確認為iPhone預設的（海外）搜尋引擎時，曾經被質疑如何保證用戶隱私資料不會被洩露。庫克在接受外媒專訪時，闡述的內容和他們如今選擇OpenAI出奇的標準。
蘋果選擇Google，庫克表示谷歌在搜尋引擎這一方面做得最好。
蘋果選擇OpenAI，克雷格也表示目前OpenAI是蘋果最好的選擇。
庫克在談到搜尋引擎時，表示蘋果也融入了許多的控制選項，例如在Safari瀏覽器開發了隱私模式，並配備了智慧防追蹤器等，為用戶提供全方面的幫助。
而克雷格在談到AI時，更多的還只是談論他們在端側+私有雲的加密貨幣策略，但對於OpenAI部分，顯然還沒有透露更多。
或許可以預見，在未來很長一段時間裡，蘋果都會無數次的證明，自己的人工智慧策略是安全的，包括自己的和第三方的，對蘋果來說，是紅線。
資訊來源：0x資訊編譯自網際網路。版權歸作者郝博陽郭曉靜吳彬所有，未經許可，不得轉載