你好，我是王煜全，這里是王煜全要聞評論。

隨著AI的迅猛發展，時不時會有人站出來說人類的種種缺陷會制約AI發展，劉慈欣說算力會不足，馬斯克說電力會短缺，還有人說大模型讓數據中心更費水了，現在又有人開始說人類數據不夠了。

(相關資料圖)

最近，《金融時報》的一篇報道稱，微軟、OpenAI和Cohere等公司正準備用合成數據來訓練AI，也就是用AI生成的數據反過來訓練AI，這樣做有什么好處呢？

首先是彌補訓練數據不足。 以前，OpenAI等公司都是從互聯網上抓取現成的信息來訓練大模型，包括新聞、博客、Twitter推文、Reddit帖子等等。

但是，如今來自互聯網的通用數據已經不足以提升大模型的性能了，也就是說，人類創造的數據已經滿足不了AI的胃口了。

但是最前沿的AI模型已經能夠在寫作、編程等領域接近人類水平，還能通過美國律師考試等基準測試，這意味著AI生成的數據質量提高了，開始有利用價值了。

比如，估值20億美元的大模型初創公司Cohere就在使用合成數據。為了訓練高等數學模型，Cohere讓AI扮演兩種角色，一個是數學導師，另一個是學生，他們兩個討論三角形相關的數學問題，由一個人類員工監督對話過程，糾正其中的錯誤，最終將AI生成的結果做成合成數據。

這還只是合成數據的好處之一，更重要的是，合成數據比人工數據更便宜。 合成數據服務商Al.Reverie指出，人工標注一張圖片可能需要6美元，但人工合成的話只需要6美分。

互聯網平臺已經意識到了數據的價值，紛紛抬高了數據抓取的收費，今年3月，推特宣布推出新的API（應用程序接口）定價策略，企業用戶最低價為每月4.2萬美元，約合人民幣30萬元，卻只能獲得5000萬條推文，約等于推特全部推文的0.3%。

這還只是普通數據，一些專業領域的數據，需要科學家、醫生、工程師等專業人士或者機構來提供，也就更加昂貴。

看起來，合成數據對AI公司來說確實是一種經濟實惠的解決方案，所以大受歡迎，OpenAI的CEO Sam Altman說，未來所有數據都將成為合成數據；Cohere的CEO Aidan Gomez認為，合成數據有可能加速超級智能的發展。

實際上，合成數據并不是新生事物，在生成式AI爆火之前就已經廣泛應用于自動駕駛領域。 2016年，Waymo從現實世界收集了300萬英里的駕駛數據，之后生成了25億英里的模擬駕駛數據，來訓練自動駕駛系統，這大大提高了自動駕駛的訓練效率。

但是，當合成數據應用于生成式AI時，卻會出現一些不容忽視的問題。

斯坦福大學和萊斯大學的科學家發現，將AI生成的內容輸入AI模型，似乎會導致AI能力退化，他們的結論是，如果沒有人類原創的“新鮮的真實數據”，只用AI生成內容進行訓練，就會導致輸出質量和多樣性逐漸下降，他們把這種現象稱為Model Autophagy Disorder，翻譯過來是模型自噬障礙，簡稱MAD，也就是“瘋狂”的英文單詞。

他們起這個名字更多的是一種隱喻，如果只是簡單粗暴的用合成數據訓練AI，就可能把AI訓練成瘋子。

但是，這并不意味著合成數據就沒有價值了，只是需要技術調優，利用生成式對抗網絡等技術，提升數據質量。不過，這還只是一部分的解決方案，未來，人類的真實數據仍有巨大的挖潛空間。

我在科技特訓營中提出，人工智能的訓練數據將從文本，擴展為圖片、視頻等2D數據，甚至3D數據，雖然現在的技術能力還不足以把這些數據都利用起來，卻是未來的必然趨勢。除了這些泛化的數據，一些專業領域的數據也很有利用價值。所以，并不是人類創造的“新鮮”數據見頂，而是AI公司可以免費抓取的互聯網數據見頂了。

換句話說，就是數據領域的低垂果實基本被摘完了，平臺接口費用的上升，以及專業數據的成本問題，導致AI公司傾向于利用更便宜的合成數據。

對于大模型基礎平臺公司來說，數據的數量可能比質量重要，因為他們訓練的是全知全能的“通用型”AI。

但是，對AI創業者來說，我們一直強調要從應用需求切入，利用專家級數據，不斷打磨AI的專業素質與能力，復制頂級專家經驗，打造出高端化、個性化、持續化、普惠化的AI服務，所以，最關鍵不是盲目跟風使用合成數據，而是學會數據掘金，挖掘高質量數據，發揮數據的最大價值。

以上是今天的內容，更多詳細的產業分析和底層邏輯，我會在科技特訓營里分享。歡迎關注全球風口微信號，報名加入！

另外，2024年CES展在明年的1月9日～12日舉行，我們還會組織“CES前哨創新考察”活動，我和萬維鋼老師、一苒老師帶隊，為大家帶來最前沿的科技產業洞察 ，歡迎感興趣的朋友掃描下方二維碼報名。

明年1月的拉斯維加斯，咱們一起同行！

王煜全要聞評論，我們明天見！