亞馬遜云科技和英偉達(dá)宣布了一項(xiàng)多方合作，致力于構(gòu)建全球最具可擴(kuò)展性且按需付費(fèi)的人工智能（AI）基礎(chǔ)設(shè)施，以便訓(xùn)練日益復(fù)雜的大語(yǔ)言模型（LLM）和開(kāi)發(fā)生成式AI應(yīng)用程序。據(jù)了解，亞馬遜云科技和英偉達(dá)合作已超過(guò)12年，為人工智能、機(jī)器學(xué)習(xí)、圖形、游戲和高性能計(jì)算（HPC）等各種應(yīng)用提供了大規(guī)模、低成本的GPU解決方案。

借助由NVIDIA H100 Tensor Core GPU支持的下一代Amazon Elastic Compute Cloud（Amazon EC2）P5 實(shí)例，以及亞馬遜云科技最先進(jìn)的網(wǎng)絡(luò)和可擴(kuò)展性，此次合作將提供高達(dá)20 exaFLOPS的計(jì)算性能來(lái)幫助構(gòu)建和訓(xùn)練更大規(guī)模的深度學(xué)習(xí)模型。P5實(shí)例將是第一個(gè)利用亞馬遜云科技第二代Amazon Elastic Fabric Adapter（EFA）網(wǎng)絡(luò)技術(shù)的GPU實(shí)例，可提供3200 Gbps的低延遲和高帶寬網(wǎng)絡(luò)吞吐量。因此客戶能夠在 Amazon EC2 UltraCluster中擴(kuò)展多達(dá)2萬(wàn)個(gè)H100 GPU，滿足按需訪問(wèn)超級(jí)計(jì)算機(jī)的AI性能需求。

點(diǎn)擊查看：亞馬遜云科技免費(fèi)套餐

新的Amazon EC2 P5實(shí)例構(gòu)建于亞馬遜云科技和英偉達(dá)十多年來(lái)在AI和HPC基礎(chǔ)設(shè)施交付方面的合作基礎(chǔ)之上，也立足于雙方在P2、P3、P3dn 和 P4d(e）前四代實(shí)例方面的合作。P5實(shí)例是基于英偉達(dá)GPU的第五代亞馬遜云科技產(chǎn)品，與最初部署的英偉達(dá)GPU（始于CG1實(shí)例）已相隔近13年。

Amazon EC2 P5實(shí)例非常適合對(duì)日益復(fù)雜的LLM和計(jì)算機(jī)視覺(jué)模型進(jìn)行訓(xùn)練和運(yùn)行推理，并應(yīng)用于要求嚴(yán)苛的計(jì)算密集型生成式 AI 應(yīng)用程序，包括問(wèn)題回答、代碼生成、視頻圖像生成和語(yǔ)音識(shí)別等領(lǐng)域。

對(duì)于致力于以可擴(kuò)展和安全的方式將 AI 賦能的創(chuàng)新推向市場(chǎng)的企業(yè)和初創(chuàng)公司而言，Amazon EC2 P5實(shí)例是不二之選。P5 實(shí)例采用 8 個(gè)英偉達(dá) H100 GPU，能夠在一個(gè)Amazon EC2 實(shí)例中實(shí)現(xiàn) 16 petaFLOPs 的混合精度性能、640 GB 的高帶寬內(nèi)存和3200 Gbps 的網(wǎng)絡(luò)連接（比上一代實(shí)例高出 8 倍）。P5 實(shí)例性能的提升使機(jī)器學(xué)習(xí)模型訓(xùn)練時(shí)間加快了 6 倍（將訓(xùn)練時(shí)間從數(shù)天縮短到數(shù)小時(shí)），額外的GPU內(nèi)存可幫助客戶訓(xùn)練更龐大更復(fù)雜的模型。預(yù)計(jì)P5實(shí)例的機(jī)器學(xué)習(xí)模型訓(xùn)練成本將比上一代降低 40%。相比靈活性較差的云產(chǎn)品或昂貴的本地系統(tǒng)，它為客戶提供了更高的效率。

Amazon EC2 P5 實(shí)例部署在 Amazon EC2 UltraCluster 的超大規(guī)模集群中，該集群由云端最高性能的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)系統(tǒng)組成。每個(gè) EC2 UltraCluster 都是世界上功能最強(qiáng)大的超級(jí)計(jì)算機(jī)之一，助力客戶運(yùn)行最復(fù)雜的多節(jié)點(diǎn)機(jī)器學(xué)習(xí)訓(xùn)練和分布式 HPC 工作負(fù)載。

它們采用PB級(jí)無(wú)阻塞網(wǎng)絡(luò)，基于 Amazon EFA，這種面向 Amazon EC2 實(shí)例的網(wǎng)絡(luò)接口使客戶能夠在亞馬遜云科技上運(yùn)行需要在大規(guī)模高級(jí)節(jié)點(diǎn)間通信的應(yīng)用程序。EFA 的定制操作系統(tǒng)繞過(guò)硬件接口，并與英偉達(dá) GPUDirect RDMA 整合，可降低延遲、提高帶寬利用率，從而提升實(shí)例間通信性能，這對(duì)于在數(shù)百個(gè) P5 節(jié)點(diǎn)上擴(kuò)展深度學(xué)習(xí)模型的訓(xùn)練至關(guān)重要。

借助 P5 實(shí)例和 EFA，機(jī)器學(xué)習(xí)應(yīng)用程序可以使用 NVIDIA Collective Communications Library（NCCL）擴(kuò)展到多達(dá) 2 萬(wàn)個(gè) H100 GPU。因此，客戶可以通過(guò)亞馬遜云科技的按需彈性和靈活擴(kuò)展能力，獲得本地 HPC 集群的應(yīng)用性能。除了這些出色的計(jì)算能力外，客戶可以使用業(yè)界最廣泛最深入的服務(wù)組合，比如面向?qū)ο蟠鎯?chǔ)的 Amazon S3、面向高性能文件系統(tǒng)的 Amazon FSx，以及用于構(gòu)建、訓(xùn)練和部署深度學(xué)習(xí)應(yīng)用的 Amazon SageMaker。P5 實(shí)例將在今后幾周提供有限預(yù)覽版。

借助新的 Amazon EC2 P5 實(shí)例，Anthropic、Cohere、Hugging Face、Pinterest 和Stability AI 等客戶將能夠大規(guī)模構(gòu)建和訓(xùn)練最龐大的機(jī)器學(xué)習(xí)模型?；谄渌鼛状?Amazon EC2 實(shí)例的合作將幫助初創(chuàng)公司、大企業(yè)和研究人員無(wú)縫擴(kuò)展來(lái)滿足各自的機(jī)器學(xué)習(xí)需求。