在最近的re：Invent开发者大会上，AWS宣布推出了新的AI培训芯片AWSTrainium，这是该公司用于培训机器学习模型的下一代定制芯片。该公司承诺，通过对TensorFlow，PyTorch和MXNet的支持，它可以提供比云中任何竞争对手更高的性能。据亚马逊称，AWS Trainium是由AWS设计的第二个定制机器学习（ML）芯片，旨在为在云中训练ML模型提供最佳的性价比。除了提供最具成本效益的ML培训外，Trainium还为云中的ML提供最高的性能和最大的万亿运算（TFLOPS）计算能力，并支持更广泛的ML应用。从他们提供的数据中可以看出，与标准AWSGPU实例相比，亚马逊的新芯片使吞吐量提高了30％，每次使用成本降低了45％。亚马逊指出，Trainium芯片针对深度学习训练工作负载进行了优化，适用于图像分类，语义搜索，翻译，语音识别，自然语言处理和推荐引擎等应用。据Amazon称，随着ML的使用加速，我们迫切需要通过推理和培训来提高性能并降低基础架构成本。去年，AWS推出了一种定制芯片AWSInferentia，它可以为客户提供云中成本最低的高性能ML推理。尽管Inferentia解决了推理成本，但是即使成本占ML基础架构成本的90％，许多开发团队仍然受到固定ML培训预算的限制。这限制了改进模型和应用程序所需的培训范围和频率。 AWSTrainium通过为云中的ML培训提供最高的性能和最低的成本来应对这一挑战。借助Trainium和Inferentia，客户将拥有从扩展培训工作量到部署可加速推理的ML计算的端到端流程。亚马逊进一步指出，AWS Trainium和AWS Inferentia共享相同的AWS Neuron SDK，这使Inferentia开发人员可以轻松开始使用Trainium。由于NeuronSDK已与包括TensorFlow，PyTorch和MXNet在内的流行ML框架集成，因此开发人员可以轻松地从基于GPU的实例迁移到AWSTrainium，而只需进行最少的代码更改。根据报告，可以通过AmazonEC2实例和AWSDeepLearningAMI以及托管服务（包括AmazonSageMaker，AmazonECS，EKS和AWSBatch）使用AWSTrainium。由于没有基准测试结果，因此在将Trainium与Google的张量处理单元（TPU）的性能进行比较时，我们不知道谁更好。后者是Google的芯片，用于托管在Google Cloud Platform中的AI培训工作负载。谷歌表示，即将推出的第四代TPU为矩阵乘法提供了数万亿的计算能力，是第三代TPU的两倍以上。 （矩阵通常用于表示输入到AI模型的数据）。内存带宽增加，同时受益于互连技术的进步。过去，机器学习的部署受到算法的大小和速度以及对昂贵硬件的需求的限制。实际上，麻省理工学院的一份报告发现，机器学习可能正在接近计算的极限。一项单独的Synced研究估计，华盛顿大学的Grover假新闻检测模型在大约两周内花费25,000美元进行培训。据报道，OpenAI花费高达1200万美元来训练其GPT-3语言模型，而Google估计它花费了6,912美元来训练BERT，这是一种双向转换模型，可用于11种自然语言。处理任务。定义最先进的技术。随着企业需求的增长，亚马逊越来越倾向于使用AI和机器学习培训以及推理服务。据估计，2017年全球机器学习市场的价值为15.8亿美元，预计到2024年将达到208.3亿美元。11月，亚马逊宣布将把部分Alexa和Rekognition的计算转移到Inferentia支持下实例，旨在使工作更快，更便宜，同时将其从Nvidia芯片中删除。当时，该公司声称将Alexa的部分工作转移到Inferentia，从而将延迟减少了25％，并将成本降低了30％。