NVIDIA英偉達H200人工智能服務器可大幅強化人工智慧和高效能運算工作負載。
NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能,可大幅強化生成式人工智慧和高效能運算工作負載。H200 是*款搭載 HBM3e 的 GPU,更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM),同時強化高效能運算工作負載的科學運算。
NVIDIA英偉達H200人工智能服務器GPU算力租賃配置:
項目 | 標準配置 |
框架 | 8U 機架式服務器 |
處理器 | 2顆第4代/第5代至強系列* 64 核/3.9GHz/320MB緩存 |
內(nèi)存 | *容量 4TB |
GPU | NVIDIA HGX H200 GPU模組 |
系統(tǒng)硬盤 | M.2 NVMe PCIe接口 2TB SSD |
數(shù)據(jù)硬盤 | 2*10TB 企業(yè)級 SATA 硬盤 RAID 10 陣列配置 |
InfiniBand 網(wǎng)絡 | ConnectX-7 400Gb/s |
Ethernet 網(wǎng)卡 | OCP 網(wǎng)卡/雙電口/10G |
PICE 插槽 | 9 個 PCIe 5.0 擴展插槽 |
電源 | 6*3000W,2*2700W,AC220 輸入 |
風扇 | 10 個 54V 風扇模組 |
操作系統(tǒng) | Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
工作溫度 | +5°~+35° |
其他接口 | 機箱后部:1 個 RJ45 管理接口,2 個 USB 3.0,1 個 VGA 機箱前部:2 個 USB 3.0,1 個 VGA |
整機凈重 | 120KG(以實際配置為準) |
高效能、*效率
NVIDIA H200 採用 NVIDIA Hopper 架構(gòu),是*款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU,容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍,記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM,同時提升高效能運算工作負載的科學運算,而且能源效率更高、總體擁有成本更低。
透過高效能 LLM 推論取得洞察
在人工智慧不斷演進的狀況下,企業(yè)仰賴 LLM 來因應各種推論需求。為龐大的使用者大規(guī)模部署人工智慧推論加速器時,必須運用*低的整體擁有成本達到*的吞吐量。
與 H100 GPU 相比,H200 在處理類似 Llama2 的 LLM 時,可將推論速度大幅提升到* 2 倍。
大幅強化高效能運算
就高效能運算方面的用途而言,記憶體頻寬相當重要。因為這能加快資料傳輸速度,並減少複雜的處理瓶頸。對於需耗費大量記憶體的高效能運算應用程式,如模擬作業(yè)、科學研究和人工智慧,H200 的記憶體頻寬較高,可保障資料存取和操作時的效率,因此取得結(jié)果的速度與 CPU 相比提升達 110 倍。
降低能源使用量與整體擁有成本
隨著 H200 的推出,能源效率和整體擁有成本將達到全新境界。這項*技術可提供無與倫比的效能,並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和級運算系統(tǒng)不僅速度更快也更環(huán)保,所具備的經(jīng)濟優(yōu)勢可推動人工智慧和科學界持續(xù)進步。
NVIDIA H200 Tensor 核心 GPU規(guī)格:
尺寸規(guī)格 | H200 SXM1 |
FP64 | 34 TFLOPS |
FP64 Tensor 核心 | 67 TFLOPS |
FP32 | 67 TFLOPS |
TF32 Tensor 核心 | 989 TFLOPS2 |
BFLOAT16 Tensor 核心 | 1,979 TFLOPS2 |
FP16 Tensor 核心 | 1,979 TFLOPS2 |
FP8 Tensor 核心 | 3,958 TFLOPS2 |
INT8 Tensor 核心 | 3,958 TFLOPS2 |
GPU 記憶體 | 141GB |
GPU 記憶體頻寬 | 每秒 4.8 TB |
解碼器 | 7 NVDEC |
*熱設計功耗 (TDP) | 高達 700W (配置) |
多執(zhí)行個體 GPU | *多 7 個 MIGS,每個 16.5GB |
尺寸規(guī)格 | SXM |
互連技術 | NVLink:每秒 900 GB |
伺服器選項 | 搭載 4 或 8 個 GPU 的 NVIDIA HGX H100 合作夥伴與 NVIDIA 認證系統(tǒng)? |
NVIDIA AI Enterprise | 包含 |
其他推薦產(chǎn)品
NVIDIA英偉達H200人工智能服務器可大幅強化人工智慧和高效能運算工作負載。