214.【達人聊產業】BEYOND ChatGPT ! 大型語言模型 AI 全集中解析 Ft. 台大李宏毅教授

2023-04-26·1 小時 22 分鐘

本集介紹

本集節目由 Hahow 好學校 贊助播出
Hahow 好學校,全台最大線上課程學習平台 ,累積千堂影音課程,超過 80 萬會員在此學習。
致力在 AI 領域上開立更多課程, 即日起推出一系列 AI 新課程及免費直播,將 AI 打造成屬於你的武器。
現在到 →  https://lihi3.cc/Zr9JC 領取折扣券, 或輸入狗狗粉絲專屬優惠碼【sd2023】, 單堂 92 折,兩堂 86 折優惠,全領域課程皆適用。
#Hahow好學校

ChatGPT 的熱潮引爆。本集節目邀請到我們最近的偶像,台灣 AI 領域的權威人物、台大電機副教授——李宏毅老師,與大家分享究竟 Open AI 領先同業的關鍵是什麼?語言模型技術下一個世代又會是什麼?台灣目前在此賽道扮演的角色?本集內容相當 Hardcode, 我們將最近研究累積的滿坑滿谷的問題,藉由本次訪談來解惑!

【AI 的現況】

06:09 ChatGPT 引起社會熱烈討論,但這並非 AI 突然的大幅躍進。

10:56 目前大公司的 LLM 皆是使用既有技術,本質上並無差異。OpenAI 目前較突出的原因是它知道大量的應用場景。

【AI 還能進步多少?】

07:11 多數研究單位都沒有能力自行訓練模型,短期內自然語言處理進入了高原期,多數研究將會圍繞在如何更好的使用既有模型。

18:18 未來會有更進步的模型推出,但已非大多數參與者有能力推出。

22:37 目前的 LLM 使用了遠超人類能閱讀的資料,但成果卻與人類成果相差不大。未來將聚焦如何提升 AI 的訓練效率,這需要仰賴新的演算法變革。

25:19 資料量、參數量、訓練方式是三個訓練 AI 的重要面向。

27:35 超大的 LLM 展現出來的效果不如相同資料量,但參數量較小的模型。

【訓練資料量的瓶頸將導致 AI 產業出現變革】

32:38 資料量出現瓶頸,AI 的進步需要仰賴新的演算法出現。

34:40 未來 LLM 賽道上的算力軍備競賽將會轉變,專注在訓練效率上的提升。

36:38 ChatGPT 都是建立在過往的既有技術,今天 AI 有如此成果與近代硬體上算力的增加,以及社會對 AI 的信心提升,更願意參與有關。

【AI 產業與供應鏈將來會有哪些轉變?】

42:03 目前的 AI Training 是建立在 GPU 上,短期內 ASIC 仍很難獲得廣泛使用。

46:29 LLM 使用非常大的資料訓練才跑出與人類相仿的成果,GPU 不會是最終的解法。未來能夠提出解方的企業應該要能同時整合軟硬體。

48:32 未來個人使用 AI 的成本將透過使用 ChaptGPT 與其 API 變得非常低,但有些政府與公司有隱私等疑慮,這可以用預訓練好的模型如 LLaMA 投入。

58:27 研究指出 AI Training 時使用少量的標注資料,對於模型成果將有顯著提升。所以在通用的應用上可以透過 AI 進行資料標注,而企業若能在特定需求的單點資料標注優於 AI,將產生機會。

【封閉 VS 開源】

1:01:38 未來封閉、開源的應用將同時存在。

【台灣目前 AI 賽道上的策略是什麼?】

1:06:12 政府與企業仍有自有模型的需求,對於政府主導 AI 計畫,並授權給其他企業做使用樂觀其成。

【面對 AI 快速發展,該如何進行管制?】

1:13:31 從政府角度目前沒有立即解方,但從技術上,由於目前的模型像是黑盒子,我們無法知道他有什麼能力與漏洞,所以缺乏了自動檢測 LLM 有什麼漏洞、特定偏見的技術。

本集重點、提到的股票和相關連結:https://statementdog.com/blog/archives/13497

訂閱財報狗新聞: https://statementdog.substack.com/

Podcast 業務合作聯絡信箱: business@statementdog.com

財報狗社群

財報狗智囊團

財報狗 Discord


Powered by Firstory Hosting