WEKA 推出 NeuralMesh Axon，用於百億億次級人工智能部署

新產品以該公司最近發佈的 NeuralMesh 儲存系統為基礎，該系統透過強大嵌入式功能，增強容器化微服務架構，協助人工智能先驅、人工智能雲端和雲端新秀服務供應商加速大規模人工智能模型發展，特別是它結合 NVIDIA AI Enterprise 軟體堆疊時，實現高級模型訓練和推理最佳化。NeuralMesh Axon 還支援即時推理，顯著改善第一個權杖時間和整體權杖流通量，協助客戶更迅速地將創新推向市場。

每秒百億億次運算下，人工智能基礎設施障礙的複合性能 
是大型語言模型 (LLM) 訓練和推理工作負載的成敗關鍵，尤其是在極端規模運行時。那些機構在倚靠繁重複製方法的傳統儲存架構上，運行大量人工智能工作負載。這除了浪費 NVMe 容量，也面對嚴重低效率的問題，並難以應付不可預測的效能和資源分配。

哪些原因？傳統架構的設計，並非為了即時處理和儲存大量資料。它們在數據工作流和人工智能工作流程中，製造延遲和瓶頸，這能阻礙百億億次人工智能部署。未充分利用的 GPU 伺服器和過時的數據架構，將優質硬體變成閒置資本，造成訓練工作負載出現高昂代價的停機時間。推理工作負載面對記憶體限制障礙，包括鍵-值 (KV) 快取和熱數據，導致降低流通量和增加基礎設施壓力。有限 KV 快取卸載容量造成數據存取瓶頸，而傳入提示的資源分配變得複雜，直接影響營運支出和洞察時間。許多機構正在轉用 NVIDIA 加速運算伺服器，並搭配 NVIDIA AI Enterprise 軟體，應對這些挑戰。然而，由於他們缺乏現代儲存整合，而仍然會遇到重大工作流效率和整體 GPU 利用率限制。

專為全球最大兼最高要求加速運算環境而建 
為了應付這些挑戰，NeuralMesh Axon 的高效能兼彈性儲存結構，透過利用本機 NVMe、備用 CPU 核心及其現有網絡基礎架構，直接整合至加速運算伺服器。這種統一兼軟體定義的運算和儲存層，為本地和遙距工作負載提供一致微秒延遲——超過 NFS 等傳統本地協定。

此外，當利用 WEKA 的增強記憶體網格功能時，它可以為大規模的 KV 快取負載，提供近乎記憶體的速度。這有別於浪費聚合容量和故障時崩潰的繁重複製方法，NeuralMesh Axon 的獨特抹除碼設計可容許最多四個節點同時遺失，在重建期間維持完全流通量，並支援跨現有 NVMe、CPU 核心和網絡資源的預先定義資源分配——轉換隔離磁碟為百億億次級及以上的類似記憶體的低延遲儲存池，同時向全部可定址數據，提供一致低延遲存取。

在百億億次級運算下，雲端服務供應商和人工智能創新者需要能夠配對模型複雜性和資料集大小呈指數成長的基礎設施解決方案。NeuralMesh Axon 專為處於人工智能創新前沿的機構設計，這些機構需要即時、極大規模效能，而非隨著時間逐漸擴展。這包括建立人工智能服務的人工智能雲端供應商和雲端新秀、區域人工智能工廠、為企業客戶開發人工智能解決方案的主要雲端供應商，以及部署最高要求人工智能推理和訓練解決方案的大型企業機構。這些機構必須靈活擴展和最佳化自身的人工智能基礎設施投資，而支援迅速的創新週期。

提供改變遊戲規則的效能，加速人工智能創新 
早期採用者，包括業界領先兼安全第一企業人工智能公司 Cohere，已經看到轉型成果。

Cohere 是 WEKA 首批部署 NeuralMesh Axon 的客戶之一，支援客戶的人工智能模型訓練和推理工作負載。Cohere 面對高昂創新成本、資料傳送瓶頸和未充分利用 GPU，率先於公有雲中部署 NeuralMesh Axon，從而統一人工智能堆疊和簡化操作。

Cohere 工程副總裁 Autumn Moulder 表示：「對於人工智能模型建構者來說，速度、GPU 最佳化和成本效益是任務關鍵。這表示更少硬件，生成更多權杖，並運行更多模型——而毋需等待容量或遷移數據。嵌入 WEKA 的 NeuralMesh Axon 至我們的 GPU 伺服器中，協助我們盡量提升利用率，並加速我們的人工智能工作流的每一步。效能提升已改變遊戲規則：過去推理部署需時五分鐘，現在可以於 15 秒內完成，檢查點速度提升 10 倍。我們的團隊現在可以不斷疊代，並以前所未有的速度，將完全創新人工智能模型（例如 North 等）推向市場。 」

該公司為了改善培訓和幫助發展 Cohere 的安全人工智能代理平台 North，正在 CoreWeave Cloud 上部署 WEKA 的 NeuralMesh Axon。這創建堅實基礎來支援即時推理，並為 Cohere 的最終客戶提供卓越體驗。

CoreWeave 技術總監兼共同創辦人 Peter Salanki：「我們正在進入人工智能進步超越原始運算的時代——它是由智能基礎設施設計爆發的。CoreWeave 正在透過消除限制人工智能規模發展的複雜性，而重新定義人工智能先驅的可能。我們透過無縫整合 WEKA 的 NeuralMesh Axon 至 CoreWeave 的人工智能雲端基礎設施，而正在直接賦予數據處理能力，實現微秒延遲，從而減少 I/O 等待時間，並為單個 GPU 伺服器提供超過 30 GB/s 的讀取速度、12 GB/s 寫入速度和 100 萬 IOPS。這種突破性方法提高 GPU 利用率，並為 Cohere 提供效能基礎。他們需要打破推理速度障礙，並為客戶提供先進人工智能解決方案。」

NVIDIA 解決方案架構和工程副總裁 Marc Hamilton 表示：「人工智能工廠正在定義基於 NVIDIA 加速運算和我們的 NVIDIA 雲端合作夥伴生態系統建構的人工智能基礎設施的未來。機構透過大規模最佳化推理和，並於靠近 GPU 的地方嵌入超低延遲 NVMe 儲存，而可以釋放更多頻寬和擴展可用 GPU 記憶體為任何容量。我們與 CoreWeave 一起部署的合作夥伴解決方案（例如 WEKA 的 NeuralMesh Axon），為加速推理提供關鍵基礎，同時帶來卓越效能和成本效益，協助新一代人工智能服務。 」

融合儲存和運算對人工智能創新的好處 
NeuralMesh Axon 為百億億次級人工智能建構者和雲端服務供應商，帶來即時兼可量度的改進，包括：

• 擴展記憶體配加速權仗流通量：提供 WEKA 增強記憶體網格技術的緊密整合，透過利用它為權仗倉庫來擴展 GPU 記憶體。在多個客戶部署中，這提升第一個權仗效能 20 倍，從而實現更大上下文窗口，並顯著提高推理密集型工作負載的權仗處理效率。此外，NeuralMesh Axon 協助客戶動態調整運算和儲存資源，並無縫支援即時訓練和即時推理。
• 巨大 GPU 加速和效率提升：客戶透過 NeuralMesh Axon 而實現顯著效能和 GPU 利用率提升，人工智能模型訓練工作負載超過 90%——較行業平均水平高三倍。NeuralMesh Axon 還降低機房數據中心所需的機架空間、電力和冷卻要求，透過利用現有伺服器資源，協助降低基礎設施成本和複雜性。
• 立即擴充大規模人工智能工作流程：專為需要立即實現極端規模（而非隨著時間而成長）的人工智能創新者設計。NeuralMesh Axon 的容器化微服務架構和雲端原生設計，協助機構獨立地擴展儲存效能和容量，同時保持混合和多雲環境一致效能特徵。
• 協助團隊專注建立人工智能，而非基礎設施：在混合和雲端環境中無縫運行，並整合現有 Kubernetes 和容器環境，從而無需外部儲存基礎設施並降低複雜性。

WEKA 產品總監 Ajay Singh 表示：「百億億次人工智能面臨的基礎設施的挑戰，有別於業界過去面對的任何挑戰。在 WEKA，我們看到很多機構在訓練期間面對 GPU 利用率低和推理期間 GPU 過載的問題，而每個模型和代理的人工智能成本卻高達數百萬美元。這就是我們設計 NeuralMesh Axon 的原因，它源於我們深度關注從 GPU 開始的每層人工智能基礎設施最佳化。現在，人工智能為先的機構可以在百億億次級及更高規模運作中，實現具有競爭力人工智能創新所需的效能和成本效益。 」

可用性 
NeuralMesh Axon 目前僅向大型企業人工智能和雲端新秀客戶限量提供，預計將於 2025 年秋季全面上市。如欲更多資料，請瀏覽：

• 產品網頁：https://www.weka.io/product/neuralmesh-axon/
• 解決方案簡介：https://www.weka.io/resources/solution-brief/weka-neuralmesh-axon-solution-brief
• 網誌文章：https://www.weka.io/blog/ai-ml/neuralmesh-axon-reinvents-ai-infrastructure-economics-for-the-largest-workloads/

關於 WEKA 
WEKA 正在透過其智能自適應網格儲存系統 NeuralMesh™，改變機構建立、運作和擴展人工智能工作流程的方式。NeuralMesh 有別於（隨著人工智能環境擴展而變得更脆弱）傳統數據基礎設施，而隨著規模擴大而變得更迅速、更強大兼更有效率。它隨著您的人工智能環境而成長，為企業人工智能和代理式人工智能創新提供靈活基礎。NeuralMesh 獲 30%《財富》雜誌 50 強企業和全球領先雲端新秀和人工智能創新者信賴。它可最大化 GPU 利用率，加速取得首個權杖，並降低人工智能創新的成本。如欲了解更多，請瀏覽 www.weka.io 或追蹤我們的 LinkedIn 和 X。

WEKA 和 W 標誌乃 WekaIO, Inc. 的註冊商標，而此處其他商品名稱可能是其各自擁有人的商標。