有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
农村岳用嘴帮我口
维多利亚壹号未删减
137VT最大但人文艺术
梁医生不可以(限)季亭亭
狗狗的东西一放里就变大视频
含羞草传媒隐藏入口免下载
再一次心跳第三集
农村人乱弄一区二区
三国梦想大乔无惨
小小水蜜桃8视频高清在线观看
JEALOUSVUE少归
性一交一无一伦一精一品
超级大但人文艺术
三个人也不错1V2
叶渺渺上体育课课被捅了一节作文
日本乱码卡1卡2卡三卡仙林宗
海角精产国品一二三区别在哪
开拉链它想你了你想它吗
姬小满流眼泪翻白眼流口水的表情
把腿再抬高一点就能吃到扇贝了
带电动玩具上课
往子宫里尿一泡会怎么样
4399国语高清完整版在线播放
69无人区卡一卡二卡
刮伦人妇A极一片
免费的剧烈运动扑克网站
父母儿女媳妇一起来玩的说说搞笑
荡公乱妇第1章方情
怎样用一根棉签弄自己
一面亲上边一面膜下边打扑克图片
大黑阴BBBWBBW
韩国女主播种子
在没人的教学楼里做老师什么感觉
男生把自己的手放到女生的qq里
美女护士献身取精
俄罗斯zoo weeklyXXX
女人荫蒂勃起后图片
萌白酱弥漫甜味纯白旗袍
上课跳D突然开到最大视频
晚上开车又疼又叫的声音欢迎您
5G天天奭多人运动最新网站
张书记跨下的杨雨婷
xanxus霸史录
上楼梯时做会不会更深
WRITEAS灌药
A最大但人文艺术
家里没人叫大声点干湿你
不遮阴小内搭走秀
父亲缓慢而有力挺拔的句子
成品网站w灬源码入口
去姥姥家进入妈妈身体的说说句子
乌鲁木齐XXXXXL免费
男生和老师一起差差差的作文
四个学长一起上我会坏掉的
色母3030A
鲸鱼夫妇120114
天美果冻蜜桃精东传媒
翁与小莹凌晨欢爱回乡下
两人打扑克剧烈运动又疼又叫
如何一根棉签C哭自己
欧洲最强rapper潮水网
帅气体育生GARY网站MV小蓝
我和岳一晚五次
免费B站推广网站在线
三门齐开有多痛
大型丁香成人社区
永久939W79W99W乳液
人物动物交互狗漫画
免费看大片的APP
中国老人mandaddyertv
黑人双人RAPPER剧情介绍
蜜芽忘忧草768MON二区忘忧草
火影忍者禁图网站
贺朝在谢俞里面塞棒棒糖
深田えいみ禁欲后被隔壁人妻
老师洗澡让我吃她胸视频
女生让男生随便玩自己的坤坤视频
绿巨人推广APP网站入口官网
我被当成发泄玩具一天的作文
2021国产区精华品
四房播播 五月
老师两个大兔子抖来抖去视频
日本ZLJZLJZLJZLJ老师办公室
ipz046为什么被称为神作
黎朔WRITEAS水管
姐家里没人用点力
姐姐说家里没人给我看下面
国产色母和进口色母区别大吗
老师上课突然把跳D开到最大
WRITEAS木勺
两种进入狂野式的方法有哪些
张津渝三部曲都在哪看
宝宝这才几天没做水就这么多
七个人玩我一个
已满十八周岁带好卫生纸
老奶奶i will follow him
中国乱码一二三区别免费
裙子下面是野怪
上课佩戴小玩具的注意事项
拔萝卜床上运动又疼又叫
来吧儿子妈妈今天是你的人
总裁在餐厅进入
热浪球爱战演员表
青梅不经c1V1玉米
工囗囗番漫画大全全彩
欧美无人区码卡二卡3卡4乱码
Nagoonimation Works3D
ed2k柚木提娜
国产第一页浮力影院入口
不可接近的女士漫画在哪看
跑步机上边跑边c
S把M骂湿的句子
宝宝的扇贝好多水
在公交车上弄到高c的数据
偷玩山村粗壮肥妇女
乱码欧美一卡2卡3卡4
男男车车的车车网站推荐
色吧有你 春暖花开
自己在线观看免费高清视频
看完让人下面有水的描述
后厨剧情分集介绍
迈开腿尝尝你的蜜林
被多个强壮黑人灌满精H
最舒服的一次是在哪儿
最短的距离是圆的2雨水和苏打水
体育老师把我C了一节课作
顶的速度越来越快过程
女看了会流污水的段子网站
国产无人区码卡二卡三卡
嗯啊快拔出来我是你老师视频
公交车售票员按尺寸大小20cm
成品禁用短视频app推荐下载
老师的兔子好软水好多樱花一
啊轻点啊再深点视频免费
美丽姑娘高清日本版图片大全
日本动漫人物打扑克
羞羞漫免费漫画入口页面弹窗秋蝉
污污的文章 看了会出水
夹好了去上学不能掉出来的作文
填的满满的 不要了
前后攻击1v2
仙踪林 贰佰信息网
男团共享物by不必南下全文
最近最新中文字幕MV免费
文轩塞跳D不能掉出来上学
两个球球抖动视频
97精产国品一二三产区区别
小红输了让小明随便处置
男男车车好快的车车啊哈哈视频
为什么男生抽的越快声音越响
ソープランド中国人在线播放
男朋友把我腿打开了
英国的巨人DannyD
明星造梦49区
师娘求放过完整电影
99品一二三产区区别
色吧有你春暖花开
无忧传媒短视频
多人淦一人的车图
坏老师百度影音
李宗视频全集下载
kk444kk
可C可拔萝卜女生小游戏
国产MV在线天堂MV免费观看
曜给镜做剧烈运动的视频
情侣运动前看的电影推荐
爆肝工程师的异世界狂想曲
宝贝我的尺寸你会痛
爱情岛论坛在线路线一免费观看
音乐学院5p门
18款禁用APP网站进入口
瑶白色液体喷到脸上是什么
9uu.cm有你有我
乱港艺人阮民安被判处监禁26个月
金花瓶梅花6金花瓶
斗罗大陆txt全集
成色AU999
国产精品艺校校花视频央视网出文
宝宝才两根手指就哭了
妈妈说带套可以给我先说
色降ii之万里驱魔
宋慧乔爆肛门是怎么回事
成熟交BGMBGMBGM在线
孩子玩着玩着就进去了怎么回事儿
处处吻全程拉丝伸舌头声
穿成小团子后萌翻全世界系统
小芳乱目录伦7
草草药视频在线观看
精密导航agv
黄沙视频在线观看www免费直播
传媒天美果冻AAAAA
对象吮自己小兔兔的感受的视频
坐着轮流提双腿能起到什么效果
日产无人区一线二线三线
精产国品一二三区别9999
无人区3DMAX
电车之狼r详细攻略
国精产品一二二线精华液
日产乱码一二三区别免费
四叶草M码与欧洲码的区别
30秒不间断踹息声在线听MP3
日本插曲的痛的30分钟欢迎您
差差的很疼30分钟视频无掩盖
农夫网站导航大全
学生的妈妈5中韩双字多
男男车车好快的车车有点污的网站
破了新数学老师的处
啊做错一题学长插一支笔
坤是放在女生的前面还是后面
妈妈刚开始拒绝后来配合
甜蜜惩罚未增删带翻译樱花翻译
中国VPSWINDOWS野外农民工
一线产区和二线产区的知名品牌是
岳把我用嘴含进满足我视频
国精产品99永久中国有限公司
大团圆结亲情会高洁
蕾丝视频旧版APP2021下载汅API最新版苹果版
才三个指头就撑不住了
离婚后满足了父亲的要求
野花视频免费观看在线
班级的公共玩具第1章
被村长狂躁俩小时玉婷视频
吃奶呻吟打开双腿做受是免费视频
公交车有人要了我几次
用...用点力一点快到了
刚开始是拒绝的后来太舒服了
好妈妈9中汉字
欧洲RAPPER潮水喷
好满射太多了装不下了免费看
女生越说疼男生就愉快
列车上的小黄说说1000字
一边喘气一边叫做摸小兔兔小作文
三代乱惀小说全集
这木马椅就是专门为你设计的
漂亮妈妈3高清中字在线播放
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
我与儿子发生了不该发生的事
欧洲一卡二卡三卡 公司
早上醒来他的东西还在里面
哥布林洞窟 未增删免费观看
李宗瑞的继母是谁
津渝视频6分钟
从厨房一路干到卧室好吗
在教学楼里和学长
污污免费看锕锕锕锕锕锕
数学课代表趴下让我桶rh
我的好妈妈 蘑菇理论
得到超级肉禽系统的小说
成熟交bgmbgmbgm
宝宝桌子上都是你的水
939W乳液78W78WYW55523
在床上拔萝卜又疼又叫什么症状
51吃瓜今日吃瓜入口
无限资源日本动漫版免费
麻花传媒MV一二三区别在哪里
亚洲MV砖码砖区2021在线
想品尝小姑子的味道
斗转星移合成图片
老阿姨BILIBILI视频
性一交一无一伦一精一品
老公弄我的时候婆婆看到了
免费体验120秒视频
青娱极品盛宴国产分类细腿
厨房里两只奶头被吸肿了怎么办
涨精装满肚子用塞子堵住上学
玩伴猫耳娘ova
菠萝蜜视频最新在线观看
英语课代表趴下让我C
overflow2未增删带翻译樱花
高铁上要了她很多次
怎么把自己弄到喷泉
BGMBGMBGM日本XX
WRITE AS 轮
啦啦啦 中文 中国 免费 高清在线
鄂州一家三口373页聊天截图PPT
一口一口把奶油从胸口吃掉
小红输了让小明随便处置
mm131杨晨晨紧身
FULAO2粉色标原版本下载地址
胸大的姑娘视频播放动漫
showtime!唱歌的大姐姐也想做
领导每天都要喝我的奶
囯产精品一品二区三区
我的极品是前任
超大尺寸的小黄说说100篇
喜爱夜蒲2 粤语
あの女の子は歌がうまいうえ
香肠和扇贝插在一起是什么
无忧传媒短视频运营
小泽玛利亚种子下载
张书记不戴套干雨婷
二次元人物桶动漫人物免费
戴了一天跳DAN感受
歪歪漫画韩漫首页登录入口页面
善良的嫂子5字巴巴鱼汤饭惹人
安迷修被雷狮放振动器
全是肉的高h短篇列车
榴莲新片免费观看
两个人的视频全免费高清
日本乱码无限2021芒果
JEALOUSVUE孕妇熟50MAOF
都生了宝宝了还那么紧
成片人卡1卡2卡3免费版
人间小喷泉1V3HL
这才几天没做你就那么多水
韩国风俗媚娘全套下载
没有罩子的瑜伽老师
女人和公豬交交30分钟视频
妈妈的朋友5完整有限中字木瓜
女销售的成功秘籍中字
欧美精产国品一二三类产品特点
张津瑜和吕知樾带图片和聊天记录
整集都做的美剧
1都是怎么进入0的图片
长城守卫军花木兰被草
无人区码一码二码三码
我的老师不是人
エロゲ母爱如山动漫
日剧先生我可以上你吗
365天霸道总裁爱上我2免费观看
晚上开车又疼又叫的声音欢迎您
韩国风俗媚娘全套下载
当陆沉往你里面放了东西小玩具
女生说拔萝卜是什么意思
亚洲一卡一卡二新区迎热烈讨论
巨无霸水蜜桃水帘洞
越往里越痛的那种视频
女朋友的妈妈4完整有翻译
小舞去掉所有服装图片
B是不是越小越好隐
夜里不知节制军婚
那么多水还说不要把腰抬起来
一抽一出BGM免费50分
高中班级玩具小诗嗯啊
菊内留香 TXL金银花露
双男主有车车的腐肉动
老师拉我去办公室做了一节课文
精产国品一二三产品区别9977
精产国品一二三产品区别在哪
斗罗大陆2大乱斗交大TXT漫画
国产一卡2卡3卡4卡公司
柳青青人体艺术图片
B站看大片与Netflix比较
男朋友为什么老是吸我的兔子
不让尿还喝水棉花塞住不能尿作文
4399在线电影免费观看手机版
校园大尺寸的小黄说说1000字
王者荣耀女生去掉小内无爱心图片
黑料不打烊痞幼照片
把腿抬起来靠墙上就不疼了
日本大但人文艺术 MBA
狗狗的速度又快又烫
阿岘洞夫人国语版
亚洲无人区码一码二码三码的区别
母亲把我误认为是父亲下载
精品无人区卡卡二卡三乱码
家里没人跟奶奶做
能让我流水水的一千字
一个人在线观看WWW哔哩哔哩
国产传媒蜜果冻天美传媒
深度开发1v6笔趣阁
3秒后坐在联谊会角落的他是个肉食系
AAA国产大陸片
把樱桃一颗一颗挤出来不能破
数学课代表的那真紧
浪小辉GARY2023小蓝
欠c的玩意sb就是用来c的
菠萝视频无限看
公交车最后一排被C
晚上一个人睡不着在线看
siro-3248
日呀好久没有日B了
域名不定更换_请及时收藏
比赛输了任对方看和玩部位游戏
亚洲一线产区和二线区的区别
HonKai Impact 3rd Kiana R2
野花香视频在线观看社区
抖音没带罩子52秒
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1