首頁 行業 活動 項目 快訊 文娛 時尚 娛樂 科技 汽車 綜合 生活

    大語言模型中的涌現現象是不是偽科學?

    2023-05-19 22:56:53 來源:程序員客棧

    Datawhale干貨


    (資料圖片僅供參考)

    作者:平凡@知乎,諾桑比亞大學,在讀博士

    今天晚上,花了一點兒時間看了兩篇文章:

    《Emergent Abilities of Large Language Models》[1]

    《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

    這兩篇講的都是emergent behavior,即涌現現象。

    大規模神經網絡下的涌現現象

    在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。

    第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。

    我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。

    意想不到的效果

    第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

    作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

    從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。

    還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。

    甚至可能把人類的生產力解放提前很多。

    參考

    1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

    關鍵詞:

    上一篇:萬茜張新成《向往的生活》中開啟卡拉OK專場 陳喬恩掰筍被說“差生文具多”

    下一篇:古人被滅九族時,親人為何不逃跑?其實逃跑的才最傻-聚看點

    責任編輯:

    最近更新

    點擊排行
    推薦閱讀

    亚洲国产精品成人精品小说| 久久久无码精品亚洲日韩按摩 | 亚洲视频在线观看不卡| 亚洲国产成人精品无码区在线观看 | 亚洲人成网77777色在线播放| 午夜亚洲国产成人不卡在线| 久久亚洲色WWW成人欧美| 亚洲国产精品无码观看久久| 亚洲精华国产精华精华液| 亚洲精品无码高潮喷水A片软| 亚洲欧美日韩综合久久久久| 亚洲精品无码不卡在线播放| 亚洲gay片在线gv网站| 精品久久久久久亚洲综合网| 日韩精品电影一区亚洲| 亚洲а∨天堂久久精品| 亚洲第一成人影院| 亚洲综合区小说区激情区| 中文字幕精品无码亚洲字| 亚洲乱码一区二区三区在线观看| 亚洲精品少妇30p| 婷婷精品国产亚洲AV麻豆不片| 亚洲国产二区三区久久| 亚洲高清无在码在线电影不卡| 亚洲女人18毛片水真多| 亚洲不卡1卡2卡三卡2021麻豆| 亚洲精品天堂在线观看| 亚洲国产成人精品无码区二本 | 亚洲中文字幕无码久久2017 | 亚洲人成片在线观看| 亚洲一区二区三区高清不卡 | 亚洲精品99久久久久中文字幕| 久久精品亚洲乱码伦伦中文| 亚洲精品成人无码中文毛片不卡| 亚洲av无码专区在线播放| 亚洲黄色网址在线观看| 国产精品亚洲片在线va| 国产精品国产亚洲区艳妇糸列短篇| 亚洲精品成人久久久| 亚洲国产婷婷六月丁香| 亚洲综合网美国十次|