Description

NVIDIA業績、市值與股價都再創新高，它在高效能運算與AI市場的領先，讓公有雲服務商、晶片商都開始努力追趕，甚至為此各自推出軟硬體生態系。本集由數位時代創新長黃亮崢James，邀約戴伊爾斯Botsnova的創辦人兼執行長劉詩彥Sean，談其在AI推論應用的軟體堆疊端所推出的NIM是什麼？以及其佈局和不同廠商間的競爭態勢。

NVIDIA推出了NIM（NVIDIA Inference Microservice，輝達推論微服務）5.0版本，作為其企業級AI軟體服務的一部分，目標在加速大規模AI應用（推論端）的部署。微服務是一種將單一應用程式劃分為小型獨立服務的架構模式，適用於大規模開發團隊、複雜業務和長期維護的專案。NIM的優勢在於它可以包含各種類型的AI模型，從開源到專有模型，並且可以在任何配備NVIDIA GPU的環境中運行，從雲端伺服器到本地系統。NIM還強調自主託管，確保敏感資料不會離開企業客戶的掌控，這對於處理機密資訊的應用尤為重要。

主要的雲端服務供應商（CSP）如Google、Amazon、Microsoft等都在開發自己的AI晶片，目的是減少對NVIDIA的依賴。這些公司不僅提供硬體，還開發配套的雲端服務和微服務架構，形成完整的生態系統。面對這種競爭，NVIDIA推出NIM來鞏固其市場地位。NIM與多家大型軟體供應商和資料平台供應商合作，包括SAP、Adobe、Cadence等，這些合作夥伴大多面向企業客戶，提供垂直領域應用和企業級訂閱服務。

NVIDIA在AI軟體生態系統的投入與AMD和Intel有顯著差異。NVIDIA的CUDA平台經過10多年的發展，已成為AI研究和開發的重要工具，支援所有現存的NVIDIA GPU產品。相較之下，AMD的ROCm平台仍面臨一些技術挑戰，過去世代的AMD GPU不支援高品質GPGPU運算。Intel雖然在軟體工程師總數上可能超過NVIDIA，但在AI方面的投入相對較少。NVIDIA不僅是一家晶片設計公司，更像是一個綜合性的技術平台供應商，其員工中有相當高比例的軟體工程師。這種軟硬整合的策略使NVIDIA能夠在AI時代提供更全面的解決方案，在市場中保持領先地位。

Powered by Firstory Hosting