大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
(資料圖片僅供參考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf關鍵詞：
大語言模型中的涌現現象是不是偽科學？
2023-04-15 22:55:04 
今日快看!溫州南到龍灣機場怎么坐地鐵_溫州南到龍灣機場
2023-04-15 20:50:43 
上海屹鋰新能源固態電池等10個項目在江蘇如皋高新區落戶
2023-04-15 19:51:00 
“五一”搶火車票堪比春運，淄博旅游訂單同比增長超2000%
2023-04-15 18:55:25 
當前動態:關曉彤曬華為nova 11 下周17日發布
2023-04-15 18:49:46 
7000MB/s！三星旗艦980 PRO僅599元
2023-04-15 18:49:02 
小米13 Ultra支持應急模式 1%電量續航60分鐘
2023-04-15 18:40:08 
當前資訊!小米平板6 Pro搭載8600mAh電池 待機47.9天
2023-04-15 18:39:19 
【天天新視野】曝三星Galaxy S24 Ultra手機取消3倍長焦鏡頭，主攝F1.2-F4.0可變光圈
2023-04-15 17:57:33 
【焦點熱聞】銀保監會將加大金融支持力度 全面推進鄉村振興
2023-04-15 17:29:22 
榮獲“河南省省長質量獎”，仰韶交出“高質量”答卷！
2023-04-15 16:12:41 
通訊！央行：為實體經濟提供更有力支持
2023-04-15 16:02:08 
【時快訊】重慶舉行紀念盧作孚先生誕辰130周年文藝演出
2023-04-15 15:36:40 
天天即時看！復刻MacOS！微軟“Win12”用戶界面曝光
2023-04-15 14:38:30 
怎么去拘留所看人
2023-04-15 14:00:04 
散熱穩了！小米13 Ultra自研環形冷泵散熱：能力提升300%
2023-04-15 12:42:41 
天天要聞：性能可期！摩托羅拉Edge 40現身跑分網站
2023-04-15 12:33:26 
新動態：全民國家安全教育日|增強保密意識 筑牢安全防線
2023-04-15 12:14:36 
速訊：首輛法拉第未來FF 91量產車下線
2023-04-15 11:43:44 
全球動態:Bug合集版本關閉了！蘋果關閉iOS 16.4驗證通道
2023-04-15 11:42:15 
世界熱訊:煩人通知退散！谷歌安卓14史詩級新功能曝光
2023-04-15 11:33:47 
每日速讀!勝利圖片_勝利花圖片
2023-04-15 10:55:32 
環球今亮點！小米平板6黑科技曝光
2023-04-15 10:35:10 
全球速遞！4月份拍牌下周六舉行，警示價91500元
2023-04-15 09:27:19 
環球熱文：在合規使用中激活數據價值
2023-04-15 08:08:22 
環球最新：如何與孩子溝通最有效_如何與孩子溝通
2023-04-15 06:15:56 
大疆全畫幅8K電影無人機發布：79888元！
2023-04-15 05:49:38 
環球今日報丨影馳武漢線下體驗會！買新品送鍵盤，各種獎品拿到手軟
2023-04-15 05:48:05 
精彩看點：B站《原神》活動上傳用戶真人照片 隱私被看光光
2023-04-15 05:47:39 
每日快報!超輕羅技GPW385元
2023-04-15 05:41:42 
報道：性能穩了！vivo X Fold 2跑分曝光：驍龍8 Gen 2、12GB內存
2023-04-15 05:35:40 
梁靖崑4-2打爆林昀儒！小林生死時刻發球發到衣服上，送大胖贏球
2023-04-15 03:14:18 
通遼五中是什么學校_通遼五中是啥學校
2023-04-14 22:53:59 
小米與QQ音樂聯手LHDC5.0，無線釋放“母帶級” LHDC5.0臻于無線，超越高清
2023-04-14 21:53:47 
【熱聞】陽光人壽“播撒陽光 用愛守護”主題捐贈活動圓滿結束
2023-04-14 21:40:41 
紅牛之父的中國心
2023-04-14 21:24:10 
全球播報:新華全媒+丨沙從哪來？為何回流？為何難“根治”？——今春沙塵天氣頻發三問
2023-04-14 21:20:56
每日快報!今年已8次，沙塵天氣為何多發？近期還有嗎？
2023-04-14 20:04:01 
環球實時：小米發布新充電寶：79元 10000mAh
2023-04-14 19:53:59
世界熱訊:發布時間差一天！華為手環8、小米手環8你選哪個？
2023-04-14 19:53:10
天天日報丨治“凸”還得看容聲！4月15日一起玩抖音躲貓貓，緩解冰箱容貌焦慮！
2023-04-14 19:44:24 
世界新動態：綠色計算標準迎來新階段 英特爾聯手PC產業鏈推動商用電腦低碳轉型
2023-04-14 19:40:42 
前沿資訊!小米13 Ultra攝影套裝亮相 手機變相機
2023-04-14 19:36:51 
每日播報!紫陶適合存放什么茶葉_紫砂罐適合裝什么茶葉
2023-04-14 19:08:15 
整治線路桿號牌 為桿塔補全“身份證”
2023-04-14 18:00:51 
全球通訊！中國新聞技術工作者聯合會AIGC應用研究中心（廣西實驗室）成立
2023-04-14 17:58:50
當前通訊！傾情幫扶 鞏固脫貧攻堅成果
2023-04-14 17:58:18 
天天微動態丨整治線路桿號牌 為桿塔補全“身份證”
2023-04-14 17:58:01 
環球觀速訊丨第二屆“設計+”論壇在三亞舉辦
2023-04-14 17:54:28 
每日信息：2023年英雄聯盟職業聯賽春季賽總決賽將采用杜比全景聲直播
2023-04-14 17:50:31 
全力滿足群眾金融服務需求
2023-04-14 17:48:23 
天天報道:三星條形音響連續九年蟬聯全球銷量冠軍！
2023-04-14 17:40:59 
老蛙2X變形寬熒幕鏡頭開啟預售
2023-04-14 17:39:19 
全球速看：沉浸式體驗再進化！ROG 7搭載瑞聲科技觸聽體驗解決方案
2023-04-14 17:36:41
世界消息！華碩顯卡助力Ai加速 創造獨特紋理人物
2023-04-14 17:34:37
2023年山東一級建造師考試報名時間
2023-04-14 16:55:39 
健康辦公 生態護航 北京復星國際中心賦能企業行穩致遠
2023-04-14 16:22:08 
當前最新：骸麒的骨戒是什么？關于骸麒的骨戒的資料介紹
2023-04-14 16:13:54
周華健妻子是誰？關于周華健妻子的資料介紹
2023-04-14 16:13:31 
光纖怎么接入？光纖接入的方法介紹？
2023-04-14 16:12:28 
【環球熱聞】全國211大學錄取分數線排名是怎樣的？全國211大學錄取分數線排名一覽表？
2023-04-14 16:11:54 
方方是誰？方方個人資料介紹？
2023-04-14 16:10:45 
世界今日報丨全國人均存款曝光！這個城市最高 27萬！遠超上海
2023-04-14 16:10:37 
何鴻燊原配是誰？關于何鴻燊原配的資料介紹
2023-04-14 16:10:27 
pc電源是什么？關于pc電源的資料介紹
2023-04-14 16:09:39 
淘寶試客檔案怎么修改？淘寶試客檔案的修改方法？
2023-04-14 16:09:13 
環球觀點：家庭來料加工項目有哪些？家庭來料加工項目介紹？
2023-04-14 16:08:29 
【環球熱聞】利比亞的首都是哪里？關于利比亞的首都資料介紹
2023-04-14 16:03:39 
環球熱頭條丨上海出入境邊防檢查總站在哪里？關于上海出入境邊防檢查總站的資料介紹？
2023-04-14 16:01:17
拼多多鞋子怎么改銷量？拼多多鞋子修改銷量技術介紹？
2023-04-14 16:01:07
也門是哪里？關于也門資料的介紹
2023-04-14 16:01:01 
北京十大爛大學資料介紹？北京最差的大學是什么？
2023-04-14 16:00:23
40歲還能學什么技術？40歲能學的技術有哪些？
2023-04-14 15:59:34 
抖音福袋必中技術是什么？搶福袋注意事項有哪些？
2023-04-14 15:59:05 
世界報道:什么是企業精神？關于企業精神的相關介紹？
2023-04-14 15:58:52
【世界播資訊】喬布斯資料介紹？關于喬布斯去世時間的介紹
2023-04-14 15:58:23 
體育館路小學怎么樣？關于體育館路小學資料介紹？
2023-04-14 15:56:37 
環球速看：秀城在哪里？關于秀城的資料介紹
2023-04-14 15:55:55 
微動態丨橋殼是什么？關于橋殼的資料介紹
2023-04-14 15:55:51 
今日訊！雙11喵糖超級糖果怎么獲得？雙11喵糖超級糖果的獲得方法？
2023-04-14 15:55:41 
天天微頭條丨抖音10分鐘福袋必中技術是什么？抖音發福袋的方法介紹？
2023-04-14 15:53:00 
每日熱聞!天貓店鋪退店技術年費退不？退店以后是企業店嗎？
2023-04-14 15:52:51
布萊特妮墨菲是誰？關于布萊特妮墨菲的資料介紹
2023-04-14 15:52:45 
雙11剩余喵糖每天會清空嗎？怎么組隊呢？
2023-04-14 15:52:22
全球快資訊：治安監控是什么？關于治安監控系統有哪些應用？
2023-04-14 15:52:04 
格陵蘭島屬于哪個洲？關于格陵蘭島資料介紹？
2023-04-14 15:51:31 
可以個人做的家庭作坊有哪些？可以個人做的家庭作坊介紹？
2023-04-14 15:50:20
天天看點：河北滄縣在哪里？河北滄縣資料介紹？
2023-04-14 15:49:16 
當前關注：戴森洗地吸塵器正式上市 特別針對中國消費者推出
2023-04-14 15:46:50
世界滾動:阿里云推出一顆7.8平方厘米、126克的云電腦
2023-04-14 15:38:02
全球微動態丨北方華創、大族激光發布2022年業績報告
2023-04-14 15:28:19
廣州國際旅游展將于5月19日召開，數字科技成展會新亮點
2023-04-14 14:58:02 
要聞速遞：一季度住戶存款飆升 儲蓄轉消費動能待增強
2023-04-14 14:52:57
當前焦點!小米Sound Move高端智能音箱官宣：便攜設計、高保真
2023-04-14 14:45:57 
前沿資訊!金秀賢金智媛新劇 期待12月播出
2023-04-14 14:40:30 
世界新資訊：更換更容易了！三星Galaxy Z Fold 5/Z Flip 5電池曝光
2023-04-14 14:40:29 
天天快播：“紀檢+關鍵崗位”加強“小微權力”監督
2023-04-14 14:39:08 
【全球時快訊】軟通智慧入選IDC數字政府數據要素流通市場廠商圖譜
2023-04-14 13:54:50 
全球新動態：銀企協作促發展 數字賦能助共贏
2023-04-14 13:52:13 
世界熱訊:“五星”黨支部創建促社會治理效能提升
2023-04-14 13:49:15 
相關新聞