GPU在中国市场供应确实紧缺。相比5月份英伟达芯片上涨了百分之小几十，A100和H100都已经买不到了；未来几个月推理的算力需求总量可能远高于训练算力。
(相关资料图)
据媒体报道，百度、字节跳动、腾讯和阿里巴巴等互联网巨头正争相收购英伟达的高性能芯片，已订购了价值10亿美元的A800处理器，这些订单价值50亿美元，将于今年交付。此外，这些公司还采购了40亿美元的英伟达图形处理器（GPU），将于2024年交付。
对此，《科创板日报》记者询问百度、腾讯和阿里巴巴方面，均未有回应。
不过，阿里巴巴集团董事会主席兼CEO张勇在财报沟通会上坦言，GPU在中国市场供应确实紧缺。“新一代人工智能发展带来的模型训练和推理场景，对AI云服务的需求非常旺盛，但是由于短期内GPU在中国市场供应的紧缺，使得这样的需求只得到了部分满足，AI相关服务所带来的增量机会刚刚开始得到释放。”
有大模型创业公司高层向《科创板日报》透露，”相比5月份英伟达芯片上涨了百分之小几十，A100和H100都已经买不到了。”
一家算力服务平台的相关人员告诉《科创板日报》记者，当前算力资源较为紧缺，有几百家企业都在排队。
▌未来推理算力需求或远高于训练算力
随着AI大模型加速在实际场景落地，算力需求也随之激增。
以AI应用“妙鸭相机”为例，其上线不到一个月，算力需求暴涨数百倍。据相关负责人透露，“妙鸭相机”已在阿里云上进行紧急扩容，应对暴涨数百倍的算力需求。虽然算力一边加，但另一边用户也在涨，但高峰期排队现象已经有了缓解。
“此前，大家对大模型训练需要的算力关注较多，尤其是GPT类的模型训练，动辄需要上万张显卡。”某资深人士分析，随着Llama2等开源大模型的流行，大模型应用推理端的算力需求更值得关注。随着各个行业的AIGC开发逐步完成，对业务开展阶段使用的推理算力需求开始大幅增长，未来几个月推理的算力需求总量可能远高于训练算力。
优刻得董事长兼CEO季昕华认为，未来对GPU的需求会继续增长。“国产大模型的玩家越来越多，算力需求越来越高涨，同时大模型训练的数量、数据和参数越来越大，也导致需求越来越多。其中，对推理算力的需求会更大。
“这是因为推理和用户数直接相关。目前，优刻得用于客户训练的GPU和推理的GPU的比例大概在3:7。假设三万张卡做训练的话，对应到七万张卡做推理，这也是为何ChatGPT会限制大家使用和注册，就是因为推理（的卡）不够。” 季昕华说，“如今受限于整个供应链，全球缺货。虽然我们能买，但是到货时间会很难。此外，也受限于整个美国的政策，对A100和H100有限制。”
▌国产芯片相比英伟达仍有差距
当下，已有不少国内企业入局AI芯片，包括华为昇腾、 寒武纪 、天数智芯、燧原科技、沐曦科技、壁仞科技等。
“国内真正已经参与大模型训练的厂商，主要是华为昇腾、寒武纪。”一位AI专家指出。“其他初创企业的痛点，主要是生态上不够成熟，但在细分领域可以落地，比如，燧原科技在某些领域的加速表现不错。”
另有大模型创业者对《科创板日报》记者表示，目前已经与昇腾、燧原等国产芯片进行适配。“虽然距离英伟达高端芯片还需要加油，华为昇腾在国产芯片中已经很优秀了。”
一位相关芯片技术人员则向记者强调，昇腾芯片在某些深度学习的特定场景上性能已经赶上英伟达。
天数智芯相关负责人则对记者表示，其产品已成功支撑大模型训练、推理，取得一定程度的突破。此外，在数据中心、能源、教育以及医疗等方面都有订单，整体销售额已经突破5亿。
“国产芯片和英伟达的差距主要在于生态和通信性能。”季昕华指出，“现在大部分的人工智能方案都是基于英伟达的CUDA平台，国产芯片需要兼容CUDA架构，对生态要求还是比较高的。其次，在整个通信的性能上仍有挑战，推理今年能够实现使用，但训练方面还需要一点时间。不过进步非常快。我们现在也积极地与国产GPU对接，能让他们用起来。”
本文源自：科创板日报
作者：黄心怡
关键词：
