当地时间11月13日,英伟达发布了新一代人工智能(AI)芯片H200,旨在培训和部署各种人工智能模型。
H200芯片是H100芯片的升级产品,集成了141GB的内存,更加擅长进行“推理”。在用于推理或生成问题答案时,性能较H100提高60%至90%。
据英伟达官网消息,基于英伟达的“Hopper”架构的H200也是该公司第一款使用HBM3e内存的芯片,这种内存速度更快、容量更大,因此更适合大语言模型。
借助HBM3e,英伟达H200以每秒4.8TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽增加了2.4倍。
H200预计2024年第二季度上市,将与AMD的MI300X GPU展开竞争。与H200类似,AMD的芯片比其前身拥有更多的内存,这有助于大语言模型来运算推理。
英伟达表示,H200将与H100兼容,这意味着已经在使用H100进行训练的人工智能公司,不需要改变他们的服务器系统或软件来适应H200。
英伟达副总裁伊恩·巴克表示:“为了训练生成式人工智能和高性能计算应用程序,必须使用高效能GPU。而有了H200,业界领先的人工智能超级计算平台可以更快地解决一些世界上最重要的挑战。”综合