Description
本集 Podcast 是《拉馬科技趨勢》的第二集，由現居新加坡的機器學習工程師——拉馬主持。
在這一集中，拉馬深入剖析了 NVIDIA 的多項核心技術，並提出一個觀點：未來三到五年間，NVIDIA 將持續穩坐 AI 運算領域的霸主地位。從 CUDA 的歷史轉變談起，他引導我們理解 NVIDIA 如何從單一 GPU 運算能力的領先者，轉型成為多 GPU 架構與雲端市場的關鍵推動者。
本集有提供Youtube與Podcast方式收聽：
Youtube: https://www.youtube.com/channel/UCQkGA70R88-vG0N6JDycqzg
Podcast: https://open.firstory.me/user/cm8lk6wf007od01zj5oe2gxvi/platforms
本集重點章節
- NVIDIA 技術轉型的核心原因：從 CUDA 到 NVLink 的演進
- 雲端市場與大型語言模型（LLM）對 GPU 架構的需求
- 多 GPU 串聯的硬體實現：NVLink 與 NVL72
- 記憶體瓶頸與 HBM 的出現
- Unified Memory 架構與 CPU/GPU 協同運算
- 軟體優化：Deepseek、Triton Kernel、Liger Kernel 的記憶體存取技巧
- 未來競爭：UALink、In-Memory Computing、ASIC 的挑戰與限制
時間斷點與重點
02:12 - NVIDIA 為何在未來 3–5 年仍具壟斷性地位
05:40 - 為什麼 HBM 是運算效能關鍵
08:57 - DeepSeek 用 PTX 強化效能的實作
10:50 - Triton 與 Liger Kernel 記憶體優化原理
12:30 - Unified Memory 架構與蘋果的啟發
16:50 - attention的運作與多 GPU 串聯的挑戰
18:21 - NVL72 的設計與效能解析
20:30 - Infiniband（矽光子）與超大規模叢集
23:00 - UALink 是 NVLink 的挑戰者？
24:30 - 為何 ASIC 難以威脅 NVIDIA 的推論地位
提及技術概念
- HBM：HBM 是 High Bandwidth Memory 的縮寫，是一種高速記憶體，提供比傳統 DDR 記憶體更大的頻寬，常用於 AI 加速卡中。
- PTX：PTX 是 NVIDIA CUDA 架構中的中間語言（Parallel Thread Execution），用於優化 GPU 程式的編譯與效能。
- Triton Kernel：OpenAI 開源的深度學習編譯器，可優化記憶體存取模式。
- Liger Kernel：專為大型語言模型打造的記憶體優化內核，提升推論效率。
- Unified Memory: Unified Memory 指 CPU 和 GPU 共用一塊記憶體，避免重複搬移資料，能大幅提升運算效能。
- Grace CPU：Grace 是 NVIDIA 自家設計的伺服器用 CPU，為 AI 計算最佳化，常與 Blackwell GPU 搭配使用。
- Blackwell GPU: Blackwell 為 NVIDIA 最新一代的 GPU 架構，用於大規模訓練與推論任務。
- NCCL library: NCCL 是 NVIDIA Collective Communication Library，用來加速多 GPU 之間的資料同步與通訊。
- NVLink：NVIDIA 自研的高速 GPU 互聯協定，可實現多 GPU 間高速資料交換，遠超 PCIe。
- UALink：由多家科技巨頭提出的開放式 GPU 串聯協定，企圖挑戰 NVLink，尚處早期發展階段。
- Infiniband：Infiniband 是一種高速資料傳輸協定，廣泛應用於超級電腦與資料中心中，用以連接多個伺服器或 GPU 機架。
- Flash Attention：用於高效實作 Self-Attention 的演算法，降低記憶體負擔。
- KV Cache：KV Cache 即 Key-Value Cache，是 Transformer 架構中用來儲存先前注意力結果以提升推論速度的技術。
- MOE（Mixture of Experts）: MOE 是一種模型架構，在每次推論只啟用部分子模型（Experts），以提升效能與計算效率。
- ASIC (Application-Specific Integrated Circuit): 專用邏輯晶片，效能高但缺乏彈性，難以應付 AI
模型快速演進的需求。
關於主持人 拉馬
拉馬，目前任職於新加坡科技公司，擁有深厚的機器學習與軟體開發背景，致力於以簡單、有趣、專業的方式解釋複雜技術，幫助更多人理解科技趨勢背後的核心邏輯。
Youtube: https://www.youtube.com/channel/UCQkGA70R88-vG0N6JDycqzg
Podcast: https://open.firstory.me/user/cm8lk6wf007od01zj5oe2gxvi/platforms
Facebook: https://www.facebook.com/profile.php?id=61574639850979
Threads: https://www.threads.net/@llamatechtrend_zh
留言告訴我你對這一集的想法： https://open.firstory.me/user/cm8lk6wf007od01zj5oe2gxvi/comments
Powered by Firstory Hosting