GPU不够用了。
中国科技公司和创业者竞相追逐大模型,引发GPU芯片需求量的暴增,以及价格的疯狂上涨。
GPU是ChatGPT训练和部署的关键部件,这是强大算力的基础设施。根据公开消息,微软的Azure云服务为ChatGPT构建了超过1万枚英伟达A100 GPU芯片的AI计算集群。
(资料图片仅供参考)
千芯科技董事长陈巍告诉《中国企业家》,以A100芯片为例,从去年年底到现在,其单价涨了超过50%,从之前约5万元涨到了近10万元。由于A100已经被美国禁止售往中国内地,国内同行预估仅有3万枚存量。英伟达推出的A100替代版A800,国内厂商也是排队拿货,并且常常无货。
国内某大型服务器厂商的员工王石也感受到了这股浪潮。他告诉《中国企业家》,近期供应的压力比较大,包括英伟达等供应商的压力也比较大,但这并不代表错过了这一波就没有机会了,“相信今年年内供需回归到相对理性的水平”。
“我要给大家降温。这是一个突发的需求,大家不要着急,不是说我错过了这两个月或者三个月,我就失败了,远远没有到那个时候。”王石强调。
据《中国企业家》统计,除了阿里巴巴、百度等互联网巨头之外,商汤科技、昆仑万维、毫末智行、360等公司也官宣了自己的大模型,如果再加上王小川、王慧文、李开复等创业者,中国年内推出的大模型数量已经超过了10个。
一些行业人士预测,国内需要有8至20个大模型,比如生物医药计算、材料计算、化学计算、自动驾驶、气象等大模型,甚至未来四五十个也说不定。
算力、算法和数据构成了AI时代的三要素,而算力又是电力般的基础设施,有多少枚GPU,有多少算力,成为外界评估大模型研发和创业成败的关键。
在这一轮由ChatGPT掀起的大模型创业潮里,黄仁勋和英伟达成为了大赢家。
据统计,2020年,全世界跑AI的云计算与数据中心,80.6%都在用英伟达的GPU驱动。截至发稿,英伟达股价为270美元,比2022年9月时的低点119美元翻了一番,总市值为6669亿美元,成为美国第五大上市公司,比德州仪器、超威半导体(AMD)、高通、英特尔等芯片企业市值相加还要多。
五分之二的预算买算力
英伟达已经供不上货了。
近期,马斯克为推进推特内部的新AIGC项目,购买了大约1万枚GPU。从2022年末,微软就实行了GPU资源配额供给,但今年1月以来审批时间越来越长,如今部分申请需要等待几天甚至几周才能获批。同时,微软向英伟达预订的数万枚GPU芯片,交货无期。
2月份,出门问问CEO李志飞和美团联合创始人王慧文,讨论了大模型创业要花多少钱、入门门槛什么样。李志飞认为,门槛至少需要5000万美元,其中的2000万美元就是用来购买算力的。王慧文和李志飞不久前相继宣布在大模型领域创业。
根据陈巍测算,国内如果想要直接训练出一个ChatGPT3级别的大模型,常规最少需要1000枚A100级别的GPU芯片,而如果想要实际部署,不考虑冗余和响应速度,对于搜索引擎级别的服务,至少需要6000枚A100级别的GPU芯片。仅仅芯片一项,最小投入就到了近10亿元人民币。
一份流传的《阿里AI专家交流纪要》显示,百度年初紧急下单3000台8张芯片的A800服务器,这意味着需要2.4万枚A800,而预计全年百度会有A800和H800共5万枚的需求。阿里云预计在今年需要1万枚左右,其中6000枚是H800。此外,阿里云也会用到平头哥这种自研的芯片,每年采购大概3000枚。
2022年9月,英伟达发布H100型号GPU,但被美国禁止出口至中国,但英伟达怎会忍心错过中国的大模型热,为了出口,英伟达牺牲了部分性能,在今年推出了H800版本。
对照百度发布的文心一言,陈巍测算,按照国内成本估算单次应答成本5分钱,如果日访问量10亿人次,以月租价格评估,每天云计算成本约5000万元人民币,一个月将增加成本15亿元,一年增加成本180亿元,远远高于训练成本。此前媒体估算,ChatGPT光3月份的电费就得交近200万美元,这差不多跟27.5万中国居民一个月用电量相当。
《中国企业家》了解到,对于不缺钱的巨头来说,A100存储量也不多,未来采购以A800和H800为主,但仍需要V100等老式芯片补充。V100性价比高一些,在云上跑的成本是A100的三分之二左右,但运行速度较慢,如果是ChatGPT4级别大模型就不够用了。
也就是说,要想大模型算得更快、更准,必须适配*进的GPU芯片。虽然拿不到*进的GPU,但大模型玩家依然在积极囤货。按照上述数字估算,国内对A800以及H800的需求已经到了数十万级别。
王石说,目前来看,对于算力的需求可以说是上不封顶,有多少算力,都希望能够投身进来,“只能这么说,越多越好”。
仅仅靠资本似乎已经玩不转了,大模型之战,最后结局可能还是巨头之间的游戏。
一位头部投资机构的负责人告诉《中国企业家》:“创投界这点资本是不值一提的,资本它对整个行业的格局不造成影响,本来就这点钱也投不起,中国这几个VC加上PE,今年不在ChatGPT上投下10亿、20亿美元,水漂都打不起来,做不了几个训练级,但是百度和华为如果愿意在上面努力去做的话,我觉得投得起。”
瘸腿奔跑的中国大模型
不管是阿里巴巴、腾讯、百度等巨头,还是王慧文、王小川等创业者,他们不得不戴着枷锁跳舞:一方面,迫于美国的芯片禁令,他们得不到*进的芯片源源不断的支持;另一方面,他们还要追赶国外已经到了ChatGPT4水准的技术。
陈巍感慨中国AI企业的不易。如果得不到国外先进的芯片,中国企业只能使用比较老旧或者工艺成熟但不那么先进的芯片,综合性能可能只有A100的60%,数量需要更多,跑得却更慢,综合成本要高出20%至30%,对于企业来说,这很有可能是赚钱和不赚钱的分水岭,活下去和活不下去的分水岭。
处处受限,起步又晚,但大模型也得干下去。
王小川在接受媒体采访时说,晚了也得干。美国人之前把核弹造出来,中国就不造了吗?这跟创业公司本身没关系,是中国要不要做的问题。
王石认为,中国企业没必要“芯片焦虑”。他提到了前几年“挖币”造成的硬盘泡沫,结果造成了SSD(硬盘)的一地鸡毛,整个硬盘厂商在2022年整年可能都在消耗库存。
GPU只是大模型创业链条中的一环,机房环境、算法、人才等等也必须配套跟上。
IT设备特别是计算设备的迭代和更新太快,如果在没有准备好的时候,放在库房里没有用,放一年,价值就浪费了。“现在都在用A800,今年下半年就有H800,性能提升很快,这个时候抢到了A800,但如果还没有用起来,是没有价值的,永远会有新产品出来。”王石表示。
王石还补充说,现阶段,算力的供应无论如何是不够的。这有两个策略,一个是把后台的产能跟上,另一个则是优化效率,通过算法等技术手段提升可用算力的效率。
英伟达成*赢家
阿里和腾讯近期在算力市场都有重大动作。
阿里云在4月11日峰会上说,阿里云进行有史以来*幅度的一次降价,通用计算将大幅降低,对比上一代主售产品最高可下降40%,还发布了“飞天免费试用计划”,开放计算存储、数据库、机器学习等核心产品免费试用。
腾讯则发布了新一代高性能计算集群HCC,采用了国内首发的英伟达H800 GPU。有数据称,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。
但不管哪家,他们都摆脱不了一个名叫英伟达的厂商,其创始人黄仁勋,江湖人称“黄教主”,他多次为此次ChatGPT浪潮鼓风。
“我们正处于AI的iPhone时刻。”黄仁勋在3月2023年GTC大会上说,“初创公司正在竞相打造颠覆性产品和商业模式,科技巨头也在寻求突破。”
在此次大会上,黄仁勋发布了ChatGPT专用芯片H100,而且他宣布,将会把由八块旗舰版A100或H100芯片集成的超级AI计算系统通过租赁的方式开放给企业。每月租金为37000美元,以加速推动这轮大语言模型引领的AI繁荣。
外媒一份数据显示,英伟达占据了95%图形处理器的市场份额。IDC数据显示,国内GPU服务器在2021年占国内服务器市场规模的比例超过88.4%,英伟达的产品占比超80%。
联想集团CTO芮勇说,目前来看,还是英伟达的天下,但未来不确定,因为大家对算力的需求只会越来越大。
行业人士说,未来GPU和算力的需求一定是多元的,或者说异构的。到了现在算力需求大爆发的时候,带来的*个变化就是在这个领域多元化的蓬勃发展。
水大鱼大,但虾米和浮游生物等也会有存活机会。多元带来了更多的机会,但是最后谁能胜出,就看谁的战略定力,能持续地投入。
(应采访对象要求,文内王石为化名)
标签:
GPU不够用了。中国科技公司和创业者竞相追逐大模型,引发GPU芯片需求量的暴增,以及价格的疯狂上涨。GPU是ChatGPT训练和部署的关键部件,这是
东方网通讯员沈昊4月18日报道:近日,一位浙江阿婆步行17公里来沪探亲,不慎迷路,独自一人冒雨在路边徘徊。所幸群众及时发现报警求助,最终在
2023上海车展中,仰望汽车发布了旗下的大型SUV产品——仰望U8,同时开启预售,预售价为109 8万元。新车将配备四轮四电机独立驱动,提供纯电动
上证报中国证券网讯(记者宋薇萍实习生谭镕)2023上海车展上,刚刚上市的别克ELECTRAE5亮相上汽通用汽车别克品牌展台。作为一款满足中国主流用
4月18日,由王宝强导演,王宝强、陈永胜、史彭元领衔主演,王迅、张祎曈主演的现实题材电影《八角笼中》发布定档海报,正式宣布定档7月6日,也
今天(4月17日),记者从在上海国际汽车城举行的上海市智能网联汽车示范应用创新项目成果发布暨首批智能网联出租示范运营启动仪式上获悉,上海
一、开发投资信心恢复力度减弱,首轮土拍热度支撑下后续开发投资同比降幅有望收窄 1—3月份,全国房地产开发投资25974亿元,同比下降5 8%,
你需要的东西丙酮基指甲油去除剂棉签或棉方块干净的湿布各种模型的粘合使用模型胶水,这与强力胶非常相似。模型制作是一种流行的
智通财经获悉,瑞信发布研究报告称,加上次季大多数水泥公司积极开展错峰生产,预计未来水泥价格将平稳中带波动,同时预计淡季销
一季度全国居民人均可支配收入10870元比上年同期名义增长5 1%,人均收入,净收入
换手率大于8%说明了该股票当前处于比较活跃的局面,得到市场上资金的关注,如果在股价上涨途中,换手率5%,说明个股处于被拉升的状态,成交量
希澈cy汇总,希澈cy这个很多人还不知道,现在让我们一起来看看吧!1、可我身边却有一个奇怪的家伙,脾气好的出奇。2、我向
新疆库车-阿拉尔-巴楚750千伏输变电工程第二次环境影响评价为了满足阿拉尔市负荷增长需要,提高新疆主网向南疆四地州电网送电能力,缓解南疆四
环城东路883弄26,27,28号,关于环城东路883弄26,27,28号介绍这个很多人还不知道,我们一起来看看!1、环城东路883弄26,27,28号位于
4月17日北向资金减持1 0万股荣晖国际(00990 HK)。近5个交易日中,获南向资金增持的有3天,累计净增持601 0万股。近20个交易日中,获南向资金
今天来聊聊关于平安保险95512,95511平安保险官网的文章,现在就为大家来简单介绍下平安保险95512,95511平
长安汽车(000625):2022年净利润77 98亿元,同比增长119 52%,拟10派2 36元
今年以来,江苏省灌南县新安镇紧紧围绕全年工作目标任务,高点定位、勇争一流,铆足干劲、统筹兼顾,掀起招商引资“攻坚突破年”热潮,全力...
专访上海财经大学校长刘元春:当前并非通缩,中国经济复苏正从第一阶段迈向第二阶段,刘元春,宏观经济,货币政策,中国经济复,上海财经大学
随着春季赛的结束,亚运会准备工作紧锣密鼓地开始了。最近有不少消息传出,涵艺说EDG三位教练朱开、茂凯和阿布都能入选,十九号开始集训,名单
记者近日从国网内蒙古东部电力有限公司获悉,作为全国电力外送基地,内蒙古特高压外送电量持续增长。今年一季度,内蒙古通过“四
2023年奥斯卡颁奖典礼在周日晚上举行,电影艺术与科学学院在此之前发布了一段视频,其中一些动画类别的提名者画出了他们赢得奥斯卡奖的主角
对于速卖通商家买需要去注册商标,速卖通商标的申请注册都是需要符合条件的,针对这一方面的问题,还有很多的速卖通商家不太了解,不知道具体
2023年4月自考《语言学概论》真题及答案(网友版)由自学考试栏目提供,查找更多2023年4月自考《语言学概论》真题及答案(网友版)请访问zikao exam8 com
4月17日电,横店东磁接受机构调研时表示,公司光伏Q1单瓦盈利与去年同期相比实现了翻番以上的增长。公司认为今年上半年PE
1、2001年参加当地一家事业单位招考被录用,在2006年当地进行实名制定编的时候,核定身份依然为干部,并停缴养老保险。2、进入,组织部门在档
笔者自中国工程机械工业协会西安年会获悉,将于今年9月举办的第十六届中国(北京)国际工程机械、建材机械及矿山机械展览与技术交流会(BICES202
数据来源:自然资源部制图:蔡华伟近日发布的《2022年中国自然资源统计公报》显示:截至2022年底,全国耕地面积19 14亿亩(12760 1万公顷),较20
人民网南昌4月16日电(时雨)2023靖安生活年新闻发布会暨靖安旅游(南昌)推介会15日晚在南昌举行,靖安县县委副书记、县长黄为民在发布会上就
一、打电话骚扰怎么处理打电话骚扰可以报警处理。受到手机骚扰,情况严重的,可以报警,由警方调查处理。找法网提醒您,报警流程
Copyright © 2015-2022 华中服装网版权所有 备案号:京ICP备12018864号-26 联系邮箱:2 913 236 @qq.com