有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
不知火舞 动画
我想触碰你的深处未增删樱花
高能多r纯车多人
我和岳一晚五次
混乱小镇公交车售票员用
晚上睡不着偷偷看日本B站
浏览器正能量网站
橘梨纱コスプレ连続激イキ
我要拥有你的全部下滑
内衣柜办公室1-6星辰
黑暗正能量INDEX.PHP
18岁末成禁止观看
JAPONENSISFES老师
菠萝蜜一二线产区
三个媳妇一锅烩大团圆婚礼
长月烬明全集泄露了
男生女生差差差差差很疼视频免费
装不下了要溢出来了
爱你24小时不打烊
减去小舞所有的衣服
两个上面吃奶吃b
1377大但人文艺术
开小黄车的细腻描写
得到超级肉禽系统的
破了英语课代表的处视频动漫
成年电人电影免费网站
你把腿开大点就不疼了
开始慢慢迎迎合
原神八重神子草出乳液
亚洲无人区码一码二码三码四码
我的中尉先生动漫西瓜
麻豆蜜桃丝瓜绿巨人糖心秋葵
女人永远是对的
久久自己只精产国品
早上醒来巨大还在里面
迈开腿让我看看你里面的
极品教师动漫在线观看免费完整版
14MAY18_XXXXXL56ENDIAN印
学长在地铁里怎么可以这样呢
美女露胸无遮挡无马赛克羞羞
四虎永久地域网名2023知乎
斗罗大陆黄化动漫
我想把我的乌龟蹭你的扇贝视频
在床上拔萝卜又疼又叫的描写
欧洲RAPPER潮水
亚洲无人区码一二三四区别
黄色软件免费下载3.0.3每天无限次vivo版破
受变成小人用棉签
对象给我看他的鸡
bgmbgmbgm胖老太太东北
人间小喷泉1V3HL
仙踪林大豆行情网老狼
搞机time恶心
我和好友之间的换Q游戏
ワンピースのエロ资源
入禽太深麻花影院
往下边塞冰棒感觉
老阿姨BILIBILI视频
4399国语高清完整版在线播放
GoGoGo大但人文艺术张
欧美无人区码卡二三卡四卡
广西柳州莫菁门
日本精品无人区卡1.卡
双人床上做运动模拟器
被公疯狂进入的美丽人妻
车速快多肉的百合
世界上最大阳器有多粗
stoya白雪公主
亚精区在二线三线区别99
果冻传媒MV国产推荐
在公交车里把跳d开到最大
写的比较细的开车过程
野花免费观看高清在线观看6
老师下面太紧拔不出来怎么矫
最舒服的一次是在哪儿
水都这么多了还装什么
体育老师在单杠C了我一节课网
歪歪漫画登录页面免费漫画入口韩漫
中文字幕乱码2
老师抱着我在教室做
车内剧烈运动描写
寄宿日记82话用喉咙帮充电
51cg吃瓜爆料永利2023
大佬的365天无删除中文翻译2000
麻豆专媒体一区二区
冰块和棉签是用来干嘛的(黄)
申鹤被淦出不明液体XMAN
花蝴蝶日本高清免费观看
刘耀文让宋亚轩夹领带
杨门十二寡妇肉床电影
GARY2022CHINA小帅
把这个放进去自己按下开关
一面亲上边一面膜下边吡吡啦啦啦
CLB3萝卜越勃越有劲萝卜视频
健身教练漫画免费版在线阅免费版
躺在我跨下的英语老师
春暖花开 有你cc
年轻的小婊3中文字
半夜装睡配合孩子
国精产品一二三区别在哪里
啊灬啊灬啊灬快灬深用口述
很详细的肉肉床文过程
草莓丝瓜向日葵黄瓜榴莲污在线观看
ぱらだいす天堂中文网Www
潮湿的心HD完整版
污污免费看锕锕锕锕锕锕三小
CHINESE东北女人舒服
人与猪CROPROATION
大学校园1v3
欧洲无人区天空码头IV在哪在线
车内做运动打扑克
善良的嫂子1字巴巴鱼汤饭惹人中字
老师你的兔子好软水好多详情介绍
酒后和朋友换娶妻中字3
诱人的小峓子6字巴巴鱼汤饭
成人优品24小时自助售货店商品
父子tck完整版
成都4片P完整版视频动漫
一前一后三个人轮换的英文
JEALOUSVUE成熟MON
三级电线在2019
我的漂亮女房东完整版在线韩剧
段嘉许把手指探了进去是什么意思
亚洲码与欧洲码一二三四区别
老卫抱着淑蓉进房间
WRITEAS骑马
精品成品国色天香卡一卡二摄像头
宝宝把腿开大点就不疼了
镇远螺丝桥凶宅
他缓慢而有力的撞着内容
B站大全不收费
黄色软件app下载3.0.3每天三次oppo版
天美传媒剧国产MV网站入口下载
子不语在线漫画
粉色视频免费版高清片
英语老师的小兔子好大好软水
中国小鲜肉GARY2023飞机
有翡在线播放免费观看
我C了白丝课代表一整节课
世子很凶插花弄玉前进后出
被扣的时候腿抖是怎么回事
嘛豆传媒app官方网站
纯情罗曼史3 动漫
家里没人你用点力 快快
刚开荤的女孩子是不是收不住
段嘉许把手探进桑稚某处扩写篇
天海翼家庭教师
2019天天射干
农夫导航最新网站
最近中文字幕完整国语
啊用点力对就是那里快
网站你懂我意思吧的
原神雷电将军被X出液体xman
WRITE AS 塞水果
Z LIBRARY
新不夜城 综合
凤凰天使韩剧社
东北老女人大叫爽死啦
双指探洞过程描述文
如何把自己弄到喷泉视频
性少妇JEALOUSVUE片
美国队长3票房
段嘉许把手探进桑稚某处扩写篇
好诱人的搜子未删减在线观看
不知火舞和三个孩子之森林公园
被困住的我们韩剧
儿子那东西比丈夫的都大
bl车车好快的车车p网站
阿离掀开自己副乳的图片
一个妈妈的女儿4中文字幕
第七十九章厨房里的愉焕
迈开腿让我要吃尝尝你的草莓
老公我想你了给我好不好嘛
女的越疼男的越往里寨的应用
上课佩戴小玩具的注意事项
岳两腿张得更开了
你和对象最疯狂的一次
晚上玩哭自己隐私的100种方法
我被带到公交车最后一排
张津瑜卫生间1080P
晚上睡不着偷偷看B站短视
抱着她健身房疯狂冲刺
宝贝我的手指长不长
5G天天奭多人 运动
你看你的水 都拉丝了
小泽玛莉亚种子
BRANDILOVEMISSIONARYACTION
鲍鱼最新地域网名是什
御手洗家的故事第1集免费观看
喷泉1V3HL慕深
火辣辣app福引导器
半夜妺妺叫我满足她
郑媛媛未经处理雅照
我想吃你的r头叫出来
野花免费观看日本韩国
宝宝才两根手指就疼哭了怎么回事
免费正能量不良网站推荐
非洲人性功能强大跟什么有关?
霍雨浩手撕唐舞桐的衣服
坐在黑的发紫的巨龙上写作业
玩弄老太太的BB
4虎永免费最新
被一条蛇C到崩溃车
女生为什么喜欢吃男生的小鸟
非诚勿扰张丹丹素颜
激烈打扑克摇床又疼又叫观平
我同意老公睡了我妈
4虎的地址有知道的吗
俄罗斯17丨18tee
BBOX残忍BASS马
被困住的我们韩剧
快喵app短视频无限看
宜春院美国免费十次啦
体育老师把我C了一节课作
王者西施享受还流着什么
妈妈的朋友 女主角
95W乳液78WYW永久区域
C到哭不止水好多动图
学霸将遥控器开到最大
GAY大陆年轻帅小伙2022
淑芬两腿间又痒痒的用药方法
用笔怎么自己弄自己的小花园
叫大点声今晚家里没人冷
伊人大相蕉在线看青青
拉开拉链它想你了给他好不好视频
十大B站不收费
日本最大但人文体艺术
一个人视频在线观看日本
真人打扑克直播软件下载安装
久久这里的只有是精品23
4399韩国日本最好看的电影
百合劲爆做运动视频教程免费网站
绳子打结勒在缝里走路
中国vodafonewifi性
体育老师在单杠c了叶渺渺一节课
美国十次啦地址
最美情侣中文在线
国内精品卡1卡2卡区别
5G天天刷天天奭
麻豆传播媒体网站入口官网下载
含羞草卡1卡2卡三卡2021精品
仆人犯错把筷子放屁眼里不能掉
东北大坑原始激情
WRITEAS灌药
瑶被淦的生活不能自理图片
菠萝蜜不正经视频
女人大荫蒂毛茸茸视频
玩弄老太太的BBB
公交车上两人双指探洞天气网
自w的时候看的小短文
蹲下来我请你吃棒棒糖
用注射器打水放屁眼里的视频
校花小柔舞蹈室遭遇记小说
OVERFLOW未增删带翻译樱花
中国乱码一二三区别免费
含着校霸JING液去上课H
精品人在二线三线区别
AI人脸替换白鹿造梦喷水
班级公共玩具叶渺渺
婷婷开心色四房播播
黑帮少爷爱上我第一季在线观看
随时随地都能干的学校教师有哪些
麻豆精产国品一二三产区别
七个人玩我一个
大菠萝福建app导航入口
被二指探洞感觉要喷了文章
从拒绝到接受3q老黑
校花被绑到男厕当尿器
男孩子把淦男孩子弄哭的部位
无人区码卡二卡3卡4卡伊甸2卡
女孩迈开腿让男孩看膀胱
欧亚专线S码和W码入口一样吗
美女护士献身取精
坐在木马凸起的木棒
西安一周六天雨下到6月
日本LINODEIPHONE6
小SB几天没做SAO死了H
受变成小人用棉签
法国高压监狱灭火宝贝是谁
女大学生怪奇俱乐部
精品一线二线三线区精华液
男朋友摸小兔子细节描写
非洲人性功能强大跟什么有关?
开车视频疼痛有水水
八重神子去掉小内趴在地上打扑克
中国新疆XXXXXL19学生申中国
荒野大镖客老奶奶
LINODE娇小IPHONE69
多毛BGMBGMBGM胖老年人
附近人一百元一次
绿色视频在线观看免费
女生越说痛男生越要塞
八重神子脱小内打扑克图片
一个男孩子顶哭另一个男孩子
XL上司未增删带免费翻译樱花
yura kasumi
拔擦拔擦8X永久华人网址
父母和儿女之间的交换
公交车后车座的疯狂的做细节知乎
精彩无人区一码二码三码四码
精东传媒一二三区进站口
把筷子放屁眼里不能掉的惩罚
麻花传媒MV一二三区别在哪里
9612黄桃网址进入页面手机端
JUL532外勤突然下大雨
99无人区码一码二码三码四码L
公交车后车座的疯狂的做小视频
狗的东西比男朋友还大
另类极品VPSWINDOWS
另一类Zoomcloudmeetings
13一14处出血
美女裸全身无档图片视频教程
嗯啊用力插我舔我的
M惹主人生气后该做什么
被几个男的一起添好舒服
联谊中的游戏动漫
人物动物交互狗
DVD碟片潘金莲
姐姐的朋友3韩剧免费观看全集在线观看天才
爱情岛论坛在线路线一免费观看
言教授要撞坏了笔趣阁
斗罗大陆美女被塞坤巴
世子很凶插花弄玉前进后出
青苹果未删减版
老扒抱着淑蓉进房间第八集视频
夫妻之间的108种插秧法
ZLJZLJZLJ日本人
女儿就是用来给爸爸用的
我的兔子好软水好多的免费视频
2828手机福利院
国内精品自线在拍大学生
400ai情艺中心
输了让同学玩全部位置的作文800字
津渝视频完整版1哔哩哔哩
迈开腿尝尝你的草莓什么意思
坐在学长的棒子上写作业作文视频
美国十次啦怡春院
chinese帅哥军人solo
我要拥有你的全部下滑
男JI大巴进入女人的视频
哪吒顶进敖丙里面
俄罗斯大荫蒂女人毛茸茸
进女小姪女小婷
啊哈哈哈好长啊
老阿姨才是最有味的
5分钟不间断踹息声在线听
缠着腰不让退出
娇妻荡女交换多P
班主任说快来插我啊的视频软件
原神申鹤开襟乳液狂飙
日本RAPPER潮水RAPPER万家乐
东北大坑原始欲爱
跳d放在里面上体育课500字
嗯嗯宝宝大声点快
硬粗的大棒子在花蕊厮磨中的作用
双人床上做的运动打扑克的软件
ipx-247
最刺激的乱惀小说合集
外公欺负妈妈一直在叫
ed2k 泷泽萝拉
我们两个C的你舒服吗
玩哭自己隐私的100种方法
原神八重神子被空吸出乳液
歪歪漫画韩漫入口
他缓慢而有力的撞着在车里
yy111111手机在线观看琪琪
让人看了想要做的文章1000字
把那个放在里面走路
黎朔WRITEAS人鱼
宝贝看镜子里我是怎么爱你的
两个人的免费HD完整版直播
十大污的app
老公总是吃我的奶奶
黄到你那里滴水不止
天天插日日胔夜夜干
一个人晚上偷偷看B站直播正常吗
一边吃着一面膜下奶图片
VODAFONEWIFI18
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1