被Google收購後,我終於知道為什麼大模型競爭落後於OpenAI了
轉載自機器之能
編輯:sia
儼然一部豪門生存指南。
2018 年 3 月,一家科技教育初創 Socratic 被Google收購。當時這家僅 10 人的小公司打造了一款家庭作業助手(也被國內媒體稱為海外「作業幫」)——學生拍下家庭作業的問題,助手就能幫助解答。除了數學,Socratic 還可以解決科學、文學、社會研究等學科的問題。
「一入豪門深似海」,成為Google旗下一款產品後,Socratic 歷經了一系列變化,並以Google的方式重建自身。如今,Socratic 在豪門爭鬥中活了下來,每年處理大約 50 億次查詢,但距離創業團隊願景中的 AI 導師還很遠。兩位創始人也相繼離開Google。
最近,Socratic 創始人之一 Shryans Bhansali 在一篇部落格中回顧了這段「豪門歲月」。「提供了一個罕見窺見Google內部運作的視角,也解釋了儘管大多數基礎技術都起源於Google,為什麼領導 LLM 革命的卻是 OpenAI 。」英偉達 AI 科學家 Jim Fan 在推文上轉發了這篇文章並評論說。
其實更早之前,被Google收購的 Nest 創始人 Tony Fadell 為宣傳新書接受媒體專訪時就談到過Google的大公司病。他指出「戀愛和婚姻是兩碼事」,Google正在扼殺創新。
比如,強勢業務對創新的影響。廣告業務收入就像印鈔機,以至於他們更多的從財務角度看待創新( 誰會積極推進蠶食搜尋份額的創新?),而不是出自一種生死攸關的緊迫感。
公司福利文化也導致很難做到以客戶為中心,造就偉大作品。「(我)看不到團隊合作,沒有看到人們試圖改善公司。他們在互相改進,改進自己,但在當時這些不一定是在為客戶做正確的事。」
不過,就像 Jim Fan 所言,「責怪任何人都不公平。官僚主義是Google規模的公司的自然產物。10 年後,如果 OpenAI 和 Anthropic 增長到這個數量級,可能也會遭受同樣的痛苦。」
許多收購以失敗告終,有抱負的人相繼離開Google。但對於還在或者想要進入豪門的人來說,有所作為仍然有跡可循,儘管要為此付出巨大的努力,Socratic 活了下來並且有所壯大就是一個例證。
以下是這篇博文全文,我們做了不變更原意的編譯。
Google應用商店裡的 Socratic 產品介紹
2017 年, Socrates 開始 B 輪融資時,我們很快意識到通過犧牲收入來獲取使用者的做法會造成很多負面影響。成功邁出了第一步,但每個風投都要我們制定盈利計劃,制定計劃過程中我們發現,使用者群是沒有信用卡的高中生的應用做不成大生意。
大約在同一時間,我們被介紹給 Snapchat CEO Evan Spiegel。他建議大家合作,將作業助手整合到他們的應用程序中。但我們的一位顧問認為,如果他把你介紹給他們的企業發展主管,最終可能會建議收購,如果是這樣,我們應該引入競爭。於是,我們聯繫了微軟、Chegg、Byju’s 還有Google。
另一位聯合創始人 Chris Pedregal 曾在Google工作過,他和以前經理取得了聯繫並從對方那裡知道Google的一款攝像頭應用 Lens。不過,當時我們並不知道這位前經理已經和可汗學院和安卓聯合創始人一同創業,也是面向教育領域。見面後,大家發現彼此對 AI 導師的前景都很看好。這或許也幫助我們贏得Google 2017 年「最佳應用」,那次會面後不久,我們啟動相關流程,Google在 2018 年 3 月收購了 Socrates。
我們與一個同樣規模團隊合併,該團隊由多位長期供職的Google員工組成。Chris 和我成為了產品和工程負責人,任務是打造一個 AI 導師並把它帶到Google最大的產品中。
接下來的三年裡,我們重建 Socratic,並以「Socratic by Google」的名字重新發布了它——搜尋、Lens 都具備 Socratic 功能,我們還發布了一個數學求解器,並原型化了一個數學導師,並把這些能力帶到更多產品中。
這一路上,我也學到了一些東西:
在Google工作如同懷揣第二本護照:去世界上任何一個大城市,憑藉徽章(Google徽章有些分級意味。白色徽章適用於全職員工。實習生佩戴綠色徽章。紅色徽章適用於臨時工、供應商和承包商。不同徽章的福利和訪問許可權不同——譯者注)都可以解鎖一間漂亮的辦公室,裡面有美味的食物、辦公桌,還能高速連接Google 20 多萬人中的每一個。
令人驚訝的是,你可以立即接觸到他們龐大的 monorepo,其中包含幾乎所有產品的數十億行程式碼;覆蓋全球的資料中心的實時狀態;橫跨二十年的戰略檔案還有一些傳奇人物(比如 Jeff Dean)。
Google用Google的方式做事。Google使用的所有軟體和基礎設施幾乎都是自己建造的,這也是因為他們比大多數公司更早面臨艱鉅的工程挑戰。
身處Google這座巨大堡壘,外部世界變得不再存在,只有少數外部世界的東西被允許進入堡壘,而且還得小心翼翼。
這意味著我們沒有機會保留現有的程式碼庫,要從頭開始,與新團隊重新發現產品,再在Google堆疊上重建它。我們已經解決的問題,比如利用機器學習系統對作業主題進行分類,必須使用搜尋技術和標準來解決。不用說,這些標準比我們的要高。
我們能夠打破Google模式的一個地方是應用的吉祥物「 Ceebo 」。Google的應用程序圖示包含四種顏色和簡單形狀。這種設計對他們有用,但對我們來說,很無聊。可是我們太小了,無足輕重,他們施壓,我們反擊直到最後獲勝。
圖示繼續沿用 Ceebo ,如今它在Google中已經有了幾十個變體,也會在Google文件和網站中突然閃現。
攜帶Google家族基因的圖示
「Ceebo」看起來確實「血統不純」
簡單的事情重複做,很神奇。與搜尋老手一起重新構建我們的查詢分類系統,也讓我們有機會窺視如何構建搜尋。一方面,資訊檢索工具的深度難以置信,計算並在網際網路上的每個頁面添加新信號的能力也令人難以置信。
另一方面,我們發現大多數搜尋改進都是由工程師通過「並排」比較新舊結果來手動審查的……而且,是在電子表格上!
人們可能預期的是Google工程主要由實現博士水平的演算法組成,有時這是真的,但搜尋或 AI 工程師的大部分工作包括查看示例,發現模式,手動標記資料以及其他不可擴展、非常瑣碎的分析。這大概就是世界頂尖 AI 團隊的真實情況。
我注意到一個模式,優秀的AI研究人員願意手工檢查大量資料。更重要的是,他們建立了基礎設施,使他們能夠快速手動檢查資料。儘管並不光鮮亮麗,但手工檢查資料可以讓我們對問題產生很有價值的直覺。
OpenAI研究人員 JasonWei
大多數問題都不值得你浪費時間,但令人驚訝的問題卻值得。大多數牽涉 1000 萬到 5000 萬使用者的問題不值得Google花時間,也不適合他們的策略。但他們會花大量精力解決那些符合他們天性、策略和某人晉升目標的問題。
比如,Socratic 界面的重要組成部分是計算機視覺,因為需要靠它來拍照、識別圖像裡的文字。作為一家初創,我們採用了第三方工具,結果發現要在Google中繼續使用它太難了——從暴露敏感資料到複雜的供應商審核流程。有時,直接收購一家公司把它們的技術帶進來反而更容易。在我們這個案例中,正好有一個 AI 研究團隊對這個問題感興趣,就僱了一個頂尖博士人才來研究,並在 6 個月內提供了一個世界級的數學問題識別 API。
當然,如果你讀過 Steve Yegge(程式設計師,曾在亞馬遜和Google工作——譯者注)那篇比較Google和亞馬遜平臺的經典博文,就會知道這種世界級服務還沒有被Google外部化。
Google是一個不斷變化的目標和努力的網路。令人驚奇的事情也不是不可能發生,如果有合適的人物關心這個問題。比如一個能理解它的副總裁、一個有相關章程的研究團隊,或者它與組織目標兼容。產品經理一半的工作都是在駕馭這些錯綜複雜的關係,然後你還要得到諸如隱私、信任、安全和基礎設施容量等批准方的認可。要想知道一個想法是否可行,需要進行幾十次對話,而要把它變成現實,需要進行數百次對話。
這是一條幸福之路,如果有合適的人持續關注,神奇的事情還是可能的。團隊目標可以在任何特定季度發生變化,整個團隊可能會在「重組」面前消失,這種現象非常普遍,以至於Google員工可以透過悲劇看到喜劇。
即使躲過這些暗箭,你還有可能發現自己和一個相距遙遠的團隊「撞車」,對方也在做同樣的事,是時候進行鬥爭了,因為只有一個團隊可以繼續。丟失項目的內部使用者會發現,他們所依賴的 API 現在已經被「棄用」,但是替代品還沒有完全準備好。
Google人想要發佈偉大作品,但往往做不到。毫無疑問,有些人來這裡是為了吃,每天工作 3 小時,提前享受退休生活,但我遇到的所有人都是認真努力工作,想要把工作做好。
打敗他們的是審查、頻繁的重組、過去失敗留下的制度性傷疤,還有一個世界級平臺把簡單的事情也搞複雜了。初創公司可以忽略很多問題,但Google人很少能做到這些。
阻礙我們前進的還有員工本身——那些聰明的人可以反對任何事情,卻不支持任何事情;缺乏勇氣說出令人不安的真相的領導;還有那些被聘用時沒有明確工作計劃,必須通過捏造工作留下的人。
頭重腳輕,不好駕馭。另一個阻礙進步的因素是頂級團隊導致的失衡(頭重腳輕)。擁有多名成功的聯合創始人和 10-20 年從業經驗的團隊,聽起來可能是創造偉大事物的秘訣,但也可能導致僵局。
如果是在多個探索領域,目標清晰,需要強大的自主權力去試錯抵到目標的不同路徑,這種結構可能適合。但如果是做一個統一的產品,它要的是一個明確的領導者、方向還有一群實幹家而不是思想家。與直覺相反,項目早期階段增加過多的人並不會讓進度變得更快。
技術債真實存在。繁冗流程債也存在。工程師們習慣於談論技術債:今天為了節省時間發佈一個功能而削減一個角落,等於欠下一筆債,要麼及時還,要麼就等著這筆債越滾越大。優秀的團隊通常會悶聲清理這些問題,償還欠債。
但是,繁冗流程導致的債務也真實存在。因為發佈瑕疵而增加一道審查關口、為了防止法律爭議又增設一道法律審查,層層積累,準備好的新功能被卡在流程中,幾個月後都無法發佈,生死未卜。
在一些罕見情況下,流程才會被壓縮——Google最近改變了他們繁重的績效評估程序,比如從一年兩次改為一次,從一份長問卷改為一份短問卷。
有時,變化迫於外部競爭,有時壓力也會加速公司衰落。Google發明了 ChatGPT 背後的技術,但並不是發佈該產品的人。現在,它必須解決一對日益緊張的關係:一邊是想要奪回Google AI 領先地位的建造者,另一頭是想要防範對所有可能出現麻煩的審查者。
在Google,如果你玩對了遊戲,神奇的事情就有可能發生。Google曾經有一套內部價值觀,他們稱之為「三尊重」:尊重使用者,尊重彼此,尊重機會。前兩個比較容易理解,但第三個讓大多數人感到困惑。我的理解是:你在Google,一個利潤豐厚、人才濟濟的企業。收入豐厚,吃得好,生活在矽谷天堂。有了這麼好的運氣,你能做的最好的事情是什麼?
我對這個問題的回答與 Richard Hamming 在《你和你的研究》(Richard Hamming 是著名美國計算機學家,圖靈獎得主,這是他二十多年前在貝爾通訊研究中心給200多名科學家們做的一次演講。——譯者注)中所說的相呼應——你必須找到所在領域中最重要的問題,然後想盡辦法解決它。
這意味著首先要做好交給你的工作。一旦盡在掌握,就可以藉由Google網路去了解正被計劃或者研發的事物,從中整合出你對未來的一個判斷,並用文件、 demo 等方式將它清晰展示出來,找到與你的願景契合的領導,持之以恆地「兜售」它。
我在某種程度上做到了這點。我最喜歡的例子之一就是我們花了三個月在新的數學求解器上做了一個 AI 數學導師的 demo,它可以循序漸進地講解數學。這個 demo 具象化了我們的 AI 導師願景——它會有一個連結,可以使用,可以共享。它以對話為基礎,為使用者提供一些反饋,然後獲得「生命」,被使用者傳遞、討論並最終構成閉環。
同時,我也看到了問題。一位領導清楚地看到了我們的發展方向,讓設計師做出了很棒的 demo 並隨時與我們分享。但他被困在一個錯誤的部門,而他的老闆將目標指向了別處。最終,他轉投了一支更和諧的團隊,現在他的夢想有機會成為現實。
許多收購都以失敗告終。Socratic 的故事是複雜的。一方面,我們成功融合了兩種截然不同的文化,我們的產品活了下來,每年處理大約 50 億次查詢,而且整個 Socratic 團隊的職業生涯也有了發展。
另一方面, Chris 和我都離開Google去創業了,而且無論是 Socratic 團隊還是Google,都還沒有生產出一個配得上Google能力的 AI 導師。但一些蘇格拉底式的Google人可能會實現這一目標,除非他們進行重組。
參考連結:https://shreyans.org/google