本集介紹

親愛的，你今天過得好嗎？
今天想和你分享的啟發關鍵詞是：
「刷題與閱讀」。
常覺得這是個專屬於人類學生的議題。
但最近看到一些AI如何被訓練的研究，忽然覺得：
也許閱讀與刷題，原本就在學習過程中訓練兩種不同的能力。
當然，人腦不是AI，兩者不能直接畫上等號。但如果把AI的訓練當成一面鏡子，反過來看看人的學習，倒是很有意思。

今天的大型語言模型，在真正能回答我們的問題以前，通常要先經歷漫長的所謂「預訓練」。
簡單來說，AI 在預訓練時，會根據前面的文字，反覆預測下一個最可能出現的詞。
它一開始未必像人一樣「理解」句子的意思；它先學到的，是哪些詞、哪些語句、哪些情境，常常會一起出現。
但當這件事重複無數次後，為了把下一個詞猜得更準，它不能只背字典，也得逐漸掌握語言、事實、情境，甚至某些因果關係。
2022 年，DeepMind 著名的 Chinchilla 研究發現：
在相同計算資源下，並不是模型愈大就一定愈好；
模型也需要足夠多的訓練資料。
換成人的語言來想：
腦筋再好，
如果沒有足夠的閱讀、經驗與見識，
也很難憑空長出理解世界的能力。
這讓我們想到閱讀。
我們讀過的歷史、小說、科學、心理學，甚至旅行過的地方、做過的工作、遇見的人，都像是在腦中留下不同的素材。
今天讀一本歷史，也許沒有立刻派上用場。
讀一篇小說，也不會明天就讓工作能力提高。
但某一天，當我們碰到一個陌生的問題，腦中突然浮出以前讀過的一段故事；兩件原本毫無關係的事情，忽然接了起來。
那時才發現：
閱讀不一定是在提供答案，而是在腦中增加更多通往答案的路。
AI研究裡還有一個很有趣的現象，叫做「grokking」。
研究者曾讓模型反覆學習一些數學規則。
一開始，它很快就把練習題背熟了，碰到沒見過的題目卻還是不會。
奇妙的是，繼續訓練很久之後，有些模型會突然開始掌握背後的規律，能把學到的東西運用到新的題目。
這當然不能直接等同於人的「開悟」，卻很容易讓人想起一句老話：
「讀書百遍，其義自見。」
有些內容，
第一次讀，只記住一句話；第二次讀，似乎懂了一點；直到自己真正經歷過某件事，才忽然明白：
原來作者當年說的是這個。
可是，光讀得多，還有另一個問題：
真正需要的時候，我們用得出來嗎？
AI完成大量預訓練後，還會經過不同形式的所謂「後訓練」：看好的示範、接受回饋，或在數學、程式等可以驗證答案的領域，不斷嘗試與修正。
AI研究裡有兩個很有意思的指標。
一個叫pass@k：另一個叫pass@1
pass@k 衡量的是：模型對同一道題產生k 個候選答案時，
至少有一個
通過測試的機率；
pass@1 則是只產生一個答案時的成功率。只給一次機會，第一次就要答對。
pass@k 有點像：
「如果多給幾次嘗試，能不能找到正確的路？」
pass@1 則像：
「只給一次機會時，能不能直接走對？」
前者比較接近「能力是否曾經出現過」；
後者則更接近「第一次能否穩定叫出這份能力」。
這不禁讓我們回想當學生常說的一句話：
「這題我會啊，只是考試的時候沒有想到。」
公式學過、老師講過，訂正時一看也懂。
問題是—考試的時候就是沒有出現。
而刷題的功能，可能正在這裡。
它不只是增加知識，而是在練習：
看到什麼線索，要想到什麼工具？
哪裡容易犯錯？
下一次碰到類似情況，能不能更快找到入口？
這件事情，其實不只發生在學生身上。
我們讀過「確認偏誤」，知道人會特別尋找支持自己觀點的證據。
但當別人批評自己的作品時，還想得起來嗎？
我們知道「倖存者偏差」，可是看到一位成功企業家說：「我就是因為敢All in才成功」，會不會立刻想到：
那些同樣All in，最後卻失敗的人在哪裡？
我們也知道投資應該分散風險。
但當一個自己非常看好的機會出現時，還做得到嗎？
這些其實都是人生的考題。
只不過人生不會在題目前面註明：
「本題請使用倖存者偏差。」
所以，或許，
閱讀比較像是在擴大能力的上限；刷題，則是在提高能力的下限。
閱讀讓我們見過更多世界，腦中增加更多案例、知識與可能性。
刷題則讓已經存在的能力，經過一次次練習與回饋，在真正需要的時候，更穩定地被叫出來。
一個人讀了很多書，卻從來沒有練習，可能知道很多道理，真正遇到事情時卻不一定用得上。
反過來，一個人只是不斷練習熟悉的題型，雖然做得又快又準，碰到真正陌生的問題，也可能找不到新的路。
用「道路」來想這件事也很有趣。
閱讀是在開路。
讀歷史，開一條路；讀心理學，再開一條；小說、科學、旅行與人生經驗，也都在慢慢拓展我們心中的地圖。
路愈多，遇到陌生問題時，就愈可能找到新的方向。
而刷題比較像：
在那些路上反覆開車。
哪裡要轉彎、哪裡容易走錯、什麼時候該換一條路，走得夠多之後，就慢慢成為直覺。
也許這就是兩者最好的關係。
閱讀，讓我們看見更多可能；練習，讓可能變成可靠。
一個讓我們走得更遠，一個讓我們走得更穩。
而真正的學習，也許就在這兩件事情不斷交替之間，慢慢發生。
願我們都能在探索新知與熟悉做題間，找到完美的平衡與模式。
——企鵝不捨小書房
--
Hosting provided by SoundOn