有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
迈开腿让我看一下小鸡蛋视频
精产一二三产区别在哪
国产一产二产三精华液
友田彩也香qvod
狗狗的东西一放里就变大
用我的手指搅乱吧未增删卡卡
120分钟免费用机机视频
宝贝都湿透了还嘴硬疼怎么回事
九一亚洲精品饰品有限公司
无人区码卡二卡3卡4
中文日产幕无限码一区有限公司
ai人脸替换李知恩造梦网站免费
中文字幕在线看成电影乱码
妈妈的朋友4中字在完整视频带翻译
强伦姧人妻三上悠亚中文字幕
日本卡一卡二新区乱码
乱码新区仙踪林
gransremedy老太太
朝俞做题车WRITEAS
宏翔小蓝视频GY2023
我的儿子比我老公大
elsajean挑战最粗极限
男朋友让我对着摄像头自己做
性生20分钟性生20分钟
w永久939w乳液78
写得很细的开车秒湿的作文
男生女生一起差差的App大全下载熊猫
漂亮的小峓子中字HD电影
火影忍者禁图片
不能说的秘密mp4
看来太久没人给你滋润了
蕾丝视频旧版APP2021下载汅API最新版苹果版
雍正睡了自己女儿是哪一集
边做边爱3电影
按摩师坐在两腿中间按摩
当头棒喝打一生肖
乳液狂飙W98天堂
当你拔出来的那一刻
欧洲RAPPER潮水
艳娒1一6全集无删减版
年轻的母亲4科技有限公司
精东传媒一二三区进站口
3D肉蒲团之极乐宝鉴评价
秘密教学子豪51暗巷破解版
WRITEAS诸葛亮多人
女人迈开腿打扑克又痛又叫
揉捏 高(h)
年轻的朋友6 韩国
黑人啊灬啊灬啊灬快灬深
傻牛壮快把门关上别让人看见
啊用点力对就是那里视频
突然像尿了一样出了一股水
W938乳液78AW
俄罗斯牧场VIDEOSK9
大尺寸的小黄说字多肉办公室
宝宝的好大我都握不住了的说说
欧美无人区码卡二三卡
yy111111手机在线观看琪琪
4虎的地址有知道的吗
深度了解1V3
撞得她说不出话来
牙医姐妹赤子板栗
怎么用一根棉签弄自己
古典武侠 校园春色
整篇都是车的百合
5分钟不间断踹息声音频MP3
妈妈的职业3在完整视频有翻译
顶的她说不出话来
日漫动漫人物将机机插曲视频免费
棒棒糖放屁眼里吸收照片
清明小长假来了蚂蚁庄园
一亲二膜三叉四强五注射应用免费
锕铜铜铜铜v27的独特功能介绍
几个健身房私教弄了好几次
坐在学长硬硬的地方写作业
往下边塞玉器见客人
猫咪MV最新永久地域网名叫什么
亲爱的老师4韩国西瓜影音
美国14MAY18XXXXXL
鲍鱼最新地域网名是什
公交车上的诗请晴
迈开腿尝尝你的草莓细节描写
爱情岛论坛网站线路1
老师拜托授课到天亮吧
校花被绑到男厕当尿器
黄到让你那里滴水的作文英语老师
冰块温水跳跳糖果冻是什么意思
一前一后同时攻击舒服吗
把你玩烂了就放你走
好硬好湿好大再深一点动态图
为什么舞蹈生的裆部都是湿的啊
吃八重神子的乳液
重一点啊再重一点
老湿电影院体检区
双方同时高C是种什么体验
福利SU黑料正能量网址入口
vodafonewifi巨大app粗暴
麻花传媒剧国产MV网站
xingshenghuozhinan
宝宝腿再抬高点就不疼了
一口一口把奶油从胸口
LASTDAYONEARTH儿子
女生醉酒被闺蜜用宝宝背带背回
一下子接5个客人疼死了
男生和女生一起差差30分钟很痛一百条信息
非诚勿扰张丹丹素颜
浇灌妈妈肥沃的土地
WRITE AS 夹东西出门
学长在学校无人的地方做
你终于长大了可以做了视频
岳今晚让我玩个够肥水一体探岳体
帮帮我爱神豆瓣
女朋友的妈妈4完整有翻译
我就在外面蹭一蹭哔哩哔哩
男朋友如何搞你的
无颜之月未增删带翻译小熊
西西里美丽传说完整
男生和女生差差差30轮滑免费下载
胡桃玩旅行者的小坤坤网站
教练在车里撞了我三次
东北大坑原始欲爱
横冲直撞 肉车
热热色原网址20岁以下
小货SAO边洗澡边CAO你动漫
班长哭着说再c就坏掉了
国产精选午睡沙发系列999
老公生日3Q的开始
steve hopper dvd
公么大龟弄得我好舒服秀婷
善良的嫂子4中字巴巴鱼汤饭蘑菇
中字乱码一二三区别视频
太粗大进不去倒刺带钩
老婆说她想尝试多人怎么回复她
朋友的妈妈2观有限中字
睡觉可以一直插着睡吗
baoyutv最新网名2021
四虎4hu永久免费
一前一后三个人轮换的英文怎么写
小东西几天没做怎么这么多水作文
体育老师把我C了一节课作
火箭少女的开襟乳液狂飙
四川传媒学院情侣
我们换个方式做吧未增删动
老师迈开腿让尝尝你的森林应用
荔枝app在线汅api在免费
亲爱的老师4韩国西瓜影音
坐在振动棒上写作业
AAA国产大陸片
希儿乳液狂飙天堂W98
1v1肉从从肉到
农村岳用嘴帮我口
姐弟俩拔萝卜又疼又叫高新
宫锁心玉迅雷下载
WRITE AS 公共场合
腿再打开一点就能吃到扇贝了图片
嘟嘟嘟在线视频免费观看高清中文
S货叫大声点C懒烂你的SBXS
五根一起会坏掉的好痛的
原神女角色开襟乳液狂飙
韩国一线高清免费观看
YKC499蜜糖豆
妈妈的朋友5在观有限中字
jealousvue成熟分类
含羞草实验室2023隐藏入口(已更新)
一前一后三个人轮换的
欧美人与人动人物2020
错一个题就往阴里装一支笔
一亲二膜三叉四强五注射网
桃花社区 在线播放
犯错把冰块放屁眼里不能掉的作文
第一次处破女14分钟
野花免费观看高清视频6
换个方式做吧樱花网
漂亮的小峓子5中字巴巴鱼汤
男生女生一起差差很痛的APP下载安装2023
无人视频免费观看免费直播
tube8怎么进不去了
疯狂母亲在线播放
蜜桃成熟时33d bt
把你的香肠放入我的甜甜圈的
杨幂哭着喊着不能太快
最近中文字幕国语免费高清4
大婶的肥沃的土地类型
够了够了已经满到高C了甜甜
亚洲日本一线产区和二线产区区别
昨晚太想要了就和我家泰迪
女人的各种鲍鱼
小兔兔被男生吃什么感觉会疼吗
被子里怎么无声自罚隐私方法
校霸被学霸拿遥控器控制
JUL532外勤突然下大雨
和孩子一起睡觉没控制住
欧美无人区码卡二三卡四卡
男生把自己的手放到女生的qq里
天降女子未增删带翻译整集
亚洲宅男天堂在线观看无病毒
黑料热点事件吃瓜网曝在线
麻豆传煤网站APP入口直接进入在线JIAN
让村子里的精灵怀孕4樱花
东北大坑原始欲爱
国模全体超大尺度私拍
差差漫画登录页面秋蝉免费
日产无人区一线二线三线HAV
年轻的母亲在完整的有限公司
始料未及的软1v2H
1996年新版金银瓶
国精产品一二三产区
老卫干淑荣死去活来
双乳被一左一右的吸着
把班长拉去没人的地方
5g天天奭多人运动 在线观看免费
男生说想吃我的扇贝是什么意思
CHINESE体育生东北露脸SOLO
上课同桌把震动器夹在腿里
魅力研习社 安全套
欲望之翼完整版在线观看
怎么用一根棉签弄自己
香草乱码一二三四区别
ZHANGJINYU视频哪里有
成色AU99.9
我的漂亮女教师2高清
ぱらだいす天堂中文网Www
CLB3萝卜越勃越有劲萝卜视频
日本一卡二卡3卡4卡无卡视频免费
才三根手指头就疼了小东西
我想要看胸片曝光照片实体
主人能把遥控器关了嘛
嫩草研究所官官人口2021
八重神子入夜狂飙图片高清
2023男男钙GGY钙站一区
最近中文2019字幕第二页
欧美一厂区二厂区三厂区
性一乱一搞一交一伦一性
my88816蜜芽入
在阳台试试好不好
从厨房一路顶撞到卧室门好吗
中国XXXXXL2023年
国产卡一卡二卡3卡四卡精品
惠民卡盟没非梦专业
成品网站源码1288隐藏通道
LINODE娇小IPHONE69
王总来我家老公不在
芭芭拉ゃんが腿法娴熟を
国精产品自偷自偷综合下载
夜深了看点刺激的哔哩哔哩
迈开腿让我看看你里面
jy被堵肚子胀得厉害
几个领导要一起睡我
0adc影库年龄确定
国产开嫩苞视频在线观看
剧烈运动摇床打扑克视频原声
三圾片有哪些好看
野花日本大全免费高清7
生物课老师拿自己做繁殖实验
王总来我家老公不在
法海终于把白素贞日服J
囯产精品一品二区三区
大尺寸的小黄说字多肉健身房
男人给女人添P添到高潮吗
把腿抬起来靠墙上就不疼了
打扑克时刚进去疼不疼
女人天堂在线a在线
父母儿女一家狂
老婆的扇贝张开口了还能吃吗
日韩欧美中文字幕送别
我的兔子好软水好多双指探洞小说
宝宝的骚水喷的到处都是
ultimatespecialfx
一边亲着一面膜下奶韩剧动漫
18岁macbookpro
把极品白丝校花啪到腿软
充气娃娃实战演练
知道错了就过去趴着打PG
年轻丰满的继牳2
和搜子同屋的日子3
成绩不好成为全班的坐便器
男生女生一起生猴子怎么办
厨房边做饭边做运动的叫什么
无人高清视频免费观看在线动漫
麻花豆传媒剧国产MV天美
在无限游戏里花式挨C
国模冉冉私拍大r.5
ACCA少女SDANVI
日产乱码一二三区别免费一看
李宗瑞的继母是谁
无人去码一码二码三码区
JINMANMIC18C.MIC网页传送门
被逃生游戏npc做哭
日产无人区一线二线三线最新版
青梅不经c1V1玉米
国外B站推广网站
一个人在晚上偷偷看b站怎么办
老何在船上弄雨婷
初高中生无套内精
照着镜子看我怎么C你
2012手机在线看免费观看
舌尖伸进去吸允小豆豆
国产一二三四2021精字窝
从镜子里看我怎么C你的阅读视频
班主任的大兔子好软水视频
Collectivum XXVIII
proumb18
晚上婆婆叫的很大声
这几天没C你了是不是又想要了
和闺蜜一起出门带电动玩具
玩偶姐姐新作森林
把它夹住去跑步不能掉体育课渺渺
WALLPAPER刻晴大战史莱姆
欧洲一本到卡二卡三卡乱码
跳D放在里面走路感受描述
粉色视频免费版高清片
妈妈的朋友5季
往下边塞玩具坐公交是什么感觉
漂亮的丰年轻的继坶3在线
妈妈的朋友5完整视频有翻译木瓜中字
金刚杵大战肉莲花
讲讲是如何c自己女朋友
男友说迈开腿尝尝你的草莓包子摊
一小孩儿半夜给女孩吃坤巴
金刚杵大战肉莲花是什么意思
大团圆公交车大结局2
大巴车最后一排被C细节
妈妈说带好套可以给我
CHINESE体育GARY网站
班长是我们班的存精器白素素
滋润BBWWBWWBBWW
我偷偷装睡让公滑进去
公交车有人要了我几次
大地影院日本韩国免费
宝宝你能对准坐下去吗漫画
2分30秒不间断踹息声音频MP3
讲课桌下面给老师口
花蝴蝶日本大全免费观看6
麻豆视传媒入口
超大尺寸的小黄说说1000字
罗马帝国的艳情史
王阿姨IPHONE13
无人区一码二码三码区别在哪查
BGMBGMBGM老太太80岁毛多多
父承子液金银花
一二三四高清观看视频
一人一狗卡了六个小时视频
六人轮换C1个感觉
无人影院在线播放视频
爸叫我替他让妈快乐
同学故意把我的校服当抹布用
Zoom与人性Zoom1区别
妇与子乱小说目录伦
ed2k2分28秒江疏影
妇乱子伦真实故事
中国RAPPERDISSSUBS老大妈
王总别在卫生间好吗
在没人的地方被C
MD豆传媒一二三区进站口在线
bgmbgmbgm老太太毛多多1
成都4片p视频
刘永灼被恒大免职
相对湿度po阿司匹林催熟
12岁女孩拔萝卜叫痛怎么办?
tokyo hot n0750
中国rapper潮水孕妇
男女晚上做运动生宝宝好吗
接电话时他却突然用力
赴约际慈 PO
秘密教学82这次换我教你了土豪漫画
八个大灰狼吃掉小绵羊
你男朋友都是怎么弄你
怎样弄到自己喷泉
王者荣耀貂蝉喝自己液晶
被拉到学校没人地方C
快喵app短视频无限看
电车之狼r 攻略
斗罗大陆女生去掉所有服装
成绩好妈妈就给我一次作文
无翼之漫画漫画大全集
公交车上一个接一个c
孟十朵玉女春光图
谁知道4虎的地址是多少
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1