作者:Melissa
這次在矽谷前後呆了有六週,來時盛夏,離開時剛剛過了立秋。加州的陽光永遠燦爛,在科技最前沿的這裡,湧動著AI的浪潮。因為希望更深入地了解AI發展和方向,我見了不少人(包括大廠的朋友們、創業者和投資人),參加線上線下活動,真切感受到大潮初起時的澎湃。這裡採擷幾朵浪花,跟大家分享。
疫情過後:人力短缺和遠程工作
疫情已成為過去時,不過也許因為我是初來乍到,看到三年留下的痕跡格外清晰。其中感觸最深的是人力短缺和遠程工作的影響。
人力短缺
矽谷人力短缺明顯,加之近來通貨膨脹,結果就是人工非常貴。有次我用Uber Eat叫了subway外賣,三明治本身8元,但是外賣費用林林總總加起來,一共17元,多了一倍還不止!我之前在西雅圖生活多年,一直知道美國人工不比中國,但是看到這個還是吃了一驚。了解了下,一大原因是疫情期間,因為擔心傳染等,不少人離職或提前退休。加上前兩年政府發錢,工作的人少了很多。跟一位做AI教育的創業者聊,他說教師的短缺非常嚴重。這是整個美國面臨的問題,不知道將如何解決。
遠程工作
而疫情期間開始的遠程工作影響更大,尤其是新畢業的大學生們。有兩位朋友自己創業,他們都分別跟我提及這個問題。疫情要求隔離,大學生在校時就沒有機會去公司實習。畢業後工作又是遠程,沒有過跟同事相處的經歷。這些導致他們不知道如何進行團隊合作,lead也很難遠程指導。他們招過很好學校的畢業生(包括斯坦福),學生潛力很好,因為不會合作最終都不得不讓他們離開,很可惜。
現在大廠陸續開始要求員工來公司上班,不過還沒有恢復到疫情前。多年前我在Expedia團隊招的畢業生,現在是一家AI公司創始人。他覺得遠程工作很影響效率。疫情期間,他不敢要求員工來,擔心要求了員工離職。目前他在看大廠的節奏,等大廠明確要求了,他就會跟上。我在大廠和創業公司看到的實際情況,來辦公室上班的人還是有限。跟朋友們討論,大家對此的態度也不完全一致。總體上一個人管理的團隊越大,對遠程工作這個方式越不滿。大家覺得慢慢會恢復到從前,但是也不太可能一蹴而就。
說個有趣的觀察。 Google、Meta等大廠都在Palo Alto和Mountain View,導致附近的房價很貴,遠些的地方房子就便宜很多。因為遠程工作不用來公司,結果這兩年遠些地方的房價也漲勢甚好。
AI大潮:格局初定,非常早期
我關注的重點是AI。總結一下,這一個多月以來在矽谷關於AI的幾點觀察和判斷。
大模型和GPU
大模型本身的行業格局初定。跟中國百模千模大戰不同,矽谷有幾個大模型勝出,閉源主要是OpenAI和Google,Anthropic也可以算上,開源是Meta Llama-2等。因為通用大模型的投入極高,需要大量人力、算力和資金,格局看上去基本確定,沒有什麼新的入場者。
GPU依然短缺,無論是大廠還是創業公司。大家都在找GPU。 NVIDIA的學弟給我科普了GPU生產過程,是從準備礦砂講起的。硬件不是我關注的重點,我了解有限。聽上去由於生產週期很長,導致短期內GPU的短缺,長期應該ok。
AI非常早期
說起AI領域現狀,一位投資人朋友形容得很生動。他說現在就像天還沒亮,每個人都拿著個手電筒在四處照來照去,尋找方向。還沒有到當年移動互聯網真正興起的情形。我跟不少朋友聊過,包括大模型開發者、使用大模型的大小公司、以及圍繞大模型提供產品服務的Infra/工具的創業公司。總體的判斷是大模型應用還在非常早期。
有個例子很有代表性。我有位朋友,之前是一家非常有名的上市公司的VP of Engineering;這幾年出來創業,做eCommerce平台相關,有一百多員工,背後有美國幾家知名基金投資。她的業務用得上大模型,最近她在探索怎麼做,做了兩個嘗試。一是在MosaicML模型上,對私有數據進行fine tune。一是用GPT-4,把私有數據放在vector database,用search-retrieval把對應信息放到prompt裡。兩者對比,出乎她意料的是GPT-4居然比fine tune的結果要好。她很困惑,不知道fine tune應該怎麼做才有效果。需要什麼樣的數據,用多少數據,如何finetune, 這些都不大清楚。而且,大模型是個黑盒,她覺得做大模型的人也未必對此很明白。另外,她說MosaicML用起來的體驗並不好,不過也沒有別的工具供選擇。 GPT-4雖然效果不錯,她的私有數據又不可能公開,用來測試可以,正式產品是不行的。她覺得現有團隊這方面的技術力量有限,接下來計劃招AI工程師來解決這個問題。
我聽了有點吃驚。因為她本人很資深,整個創業團隊背景光鮮,技術實力不錯。她如果還不清楚如何有效地fine tune,那其他公司可想而知。她的這個結果對比(fine tune不如GPT-4 search-retrieval),也不是特例,我聽到多個類似的例子。我另一位朋友的創業公司是提供AI工具,服務大的企業客戶。他說,大模型對大企業是全新的技術,他的客戶們都是剛剛開始考慮,他們對於模型的精準度、速度、需要準備的數據質量和隱私問題,尤為關注。客戶對於具體要用AI解決哪些業務問題,也在探索中。他判斷至少要6-12個月大企業才可能在內部落地使用。
可見這一輪AI還處於非常早期的階段,C端還沒有看到killer app(除了ChatGPT), B端落地也需要時間,AI infra和工具層,應該還有很大的發展空間。比如Databricks花13億美金收購MosaicML,就是希望盡快建立起AI能力賦能給客戶。
這裡我看到兩個積極信息:
正是因為還在早期,工具不完善,大企業沒有現成的技術可用,才給創業公司留出了空間。如果大公司馬上就能用起來,他們有自己的數據和場景,創業公司的機會就少多了。這是跟矽谷徐老師Howie討論時,他提的觀點,我很有共鳴。
大企業迫切地想利用起AI,至少很有危機感。我了解到,針對這輪GenAI,很多企業內部都設立了專門的預算。錢既然準備好了,即便在早期發展慢些,AI的前景還是很光明,不太容易涼涼。
為什麼感覺這兩個月AI發展慢下來了?
不知道大家感覺如何,比起年初,最近兩三個月我感覺AI領域的節奏明顯慢下來了。為什麼是這樣?觀察下來,大致如下:
跟OpenAI的策略有關。這波節奏主要是OpenAI引領,它之前一直在憋大招,把過去兩三年的成果(比如GPT-3),從去年年底起用兩三個月的時間都放出來,讓人感覺目不暇接。經過這段時間追趕,Google成為強有力的對手,如今OpenAI也不敢隨便推出沒有ready的產品,否則得不償失。所以,最近沒有特別大的變化,感覺上可能比之前慢了。其實,我覺得這才是技術應有的節奏,本來就沒有那麼快。
創業者在埋頭Build了。我在矽谷AI社區做了個講座,談到這個問題。社區的反饋,年初時創業者們忙著參加各種會議/講座/meetup學習討論,想弄明白GenAI是怎麼回事。最近大家對大模型技術基本清楚了,開始忙著花時間構建自己的產品。外面看起來,好像沒之前那麼熱鬧了。
在研究領域,一篇篇論文還是在不斷發表,並沒有變慢。
一級市場的確慢下來
整體一級市場的投資節奏感覺有所減慢。主要跟大環境相關。人們覺得未來經濟走勢不明朗,而俄烏戰爭又增加了不確定性,影響人們投資的信心。另外,疫情期間政府大放水導致很多創業項目估值漲得很高,現在還在估值回調的過程中。在這個大背景下,AI領域的一級市場其實相對算好的。不過因為還在很早期,我觀察到除了真正做大模型的有競爭力的項目(包括character.ai 其實也是在做大模型)拿到了很多錢,其他的AI創業項目,現在融資並不容易,投資人很多在觀望。
大廠探秘:OpenAI,Google,NVIDIA
這波AI大潮中,OpenAI & Microsoft、Google和NVIDIA成為時代的弄潮兒。其中三家總部在矽谷,我特地去了解了下,總結下可以分享的信息。
OpenAI
OpenAI對信息保護非常在意,員工對此也很敏感。我了解到的不是很多,有幾點印象相對深刻。
跟OpenAI合作的人都提到,他們的員工很能幹,非常高效。它的系統性能和監控做得尤其好,工程能力很強。也許,Infra的工程能力– 如何更高效地利用硬件、提升性能等,是它的一個核心壁壘。
OpenAI執著於AGI,這點我具體聊下來才真正有些體會。他們內部判斷工作優先級,會看這個能不能幫助AGI發展。如果能夠更好地訓練模型,幫助模型學習,那會去做;否則不會花功夫。比如他們之前做過機器人,覺得受實際物理世界的製約很大,對AGI幫助有限,後來就停了。照此推斷,它大概率不會去做垂直領域。
ChatGPT出現前,用戶對LLM效果如何是沒有感知的。讓用戶感知到是非常重要的。除了AGI,ChatGPT和API也是OpenAI的重點。
之前Google在AI推進上比較慢,除了跟廣告業務衝突,還跟兩件事相關。一是有位研究員覺得大模型有意識,被解僱。再之前,有位黑人女性員工因為發論文被拒,告Google。這些讓Google對AI變得非常謹慎,減緩了AI的進度。
Google一直覺得自己是領先的,直到ChatGPT出現,給到Google很大的壓力。 12月份內部開始code red(最高優先級),是比較少見的。現在公司上下對GPT非常重視,有專門團隊做GPT(DeepMind和Google Brain合併),也鼓勵其他團隊盡快把AI用上。我有不少朋友在Google,聊起來,他們對Google有信心,覺得這方面Google至少不會落後。
NVIDIA
這次LLM大潮,NVIDIA成了最大的贏家。我其實對這家公司一直關注不多,因為我的經歷和興趣都在軟件方面。這次好好了解了一下,發現很有意思,這裡多分享一些。
一個人的Startup
NVIDIA的風格,概括說,是老黃Jason一個人的創業公司。在那里工作的朋友對Jason非常佩服,我聽下來感覺Jason是個Superman。 Jason一直相信Compute,無論股價如何,從2012年開始堅持做,從來沒猶豫過。 Jason對技術懂得非常深,對項目實際情況了解,又平易近人。如果有的事情決定不了,大家都去問Jason,他做決策又快又好。
Jason很有同情心。比如疫情剛開始時,本來公司平時是9月份做員工評估,他決定提前做。結果3月份全公司完成了評估,提薪和獎金,讓大家提前拿到錢。同時Jason有洞察力,也有危機感,很受員工歡迎。即便在之前股價不好的時候,員工對他的評價也很高。
強調技術,組織扁平
它的公司文化跟我了解的其他公司有明顯差異。作為一家近3萬人的公司,NVIDIA至今沒有people manager(只管人的管理者)。公司強調技術能力,管理者無論級別高低,技術都非常強。
組織扁平。全公司好像只有Jason有個助理,其他人都沒有。我問那團建之類怎麼辦。朋友說公司沒有團建,沒有聖誕節晚宴,只有全公司的大會。會上Jason一個人脫稿講兩個小時,是個段子手,講完後不少員工上去跟他合影。
NVIDIA生態
聽說已久NVIDIA生態做得好,我特地去問指的到底是什麼,朋友講得挺清楚:
提供完備的工具。芯片從下到上是個deep stack,需要有各種支持的工具,包括compiler、debugger、profiler等等。研發人員的需求各不相同,比如有人想做深度優化,這樣僅僅把功能封裝成API就不行。
系統的速度和易用性。
公司的內部和外部,橫向溝通都做得很好。比如,公司有團隊負責跟客戶溝通,同時他們對內部技術也非常懂。客戶有什麼需求,他們很早就直接跟內部研發團隊討論。內部也如此。軟件團隊跟硬件部門密切合作,不是等硬件做好了再開發軟件,而是在過程中及時交互配合。
華人企業國際化
中美關係的變化跟矽谷息息相關。我這次注意到兩個明顯的變化。創業者在市場選擇上更專注,要么做美國市場,要么做中國市場,很少有人兩邊兼顧。國內一些好的創業者和基金也在這裡尋找新的機會。
華人企業如何做好國際化是個大家普遍關心的問題。週末參加了一個閉門沙龍,討論的主題就是這個,我覺得嘉賓挺有代表性:有做全球市場的華人上市公司CEO,有聚焦投資中國企業出海的基金合夥人,有管理中國和美國兩邊團隊的創業者,我也是其中一位。大家分享了不少洞察。中國在研發成本、完備的供應鏈、互聯網產品運營和勤奮度上有優勢,但是出海面臨著完全不同的挑戰,涉及市場銷售、產品、團隊文化和管理等等。嘉賓有共鳴的一點,是要做國際化業務,創始人的思維首先要國際化。
我的感慨更多是在討論之外。國際化這個話題我並不陌生,多年前討論的,是美國企業如何拓展到中國。如今是反過來,討論中國企業如何做國際市場。世界的重心在變,經過這些年的努力,中國真的強大了很多,讓人自豪。
流動的矽谷
我一直非常羨慕矽谷的人才資源和自由交流的氛圍。這裡的人才密度大,我經常聊著聊著,發現是清華校友。我的大學本科班30人,其中6位在這裡。週末參加一位好友組織的燒烤聚會,隨便聊聊,發現好幾位都談吐不俗。再多問一句,原來是深藏不露的成功人士。
因為是矽谷,創業風氣一直盛行。隨之而來的是各種講座、論壇等等。我剛來時,朋友給了我一個Google doc, 上面密密麻麻列了舊金山城裡的AI線下活動,幾乎每天都有。我進城不方便,只選擇性地參加了幾次。後來自己搜了下,對於感興趣的話題,都找得到各種線上Webinar和社區討論等等。後來熟悉了,發現灣區這邊的活動也很多。無論線上還是線下,這些活動的質量普遍非常好,有大廠或頭部創業公司核心成員,有年輕的創業者,分享的信息密度大、更新快,講的人獨立思考態度真誠技術前沿。我一向喜歡學習新東西,在這裡過得興致勃勃。
矽谷是流動的,流動的人才、流動的信息、流動的資金。這些流動帶來了活力和創新,讓每天都在變化,感覺永遠年輕。