有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
同时被两个男人轮流舔
王副军长怎样日田雨细节
灰熊最后6分钟在哪可以听
女神漫画免费登录
全家一起来黄霞徐家大团圆
ZoomDog2021猪视频
家里没人我弟把我做了
被自己家狗上瘾了怎么办
147人托人艺术
老师好紧好滑我要进去
人文艺术欣赏ppt
bgmbgmbgm胖老太太东北
妈的身子今天就是你的
新版金银瓶1一51956
老师你的兔子好软水好多的图片
l多肉的糙汉b1H
bl车车好快的车车p网站
c了瑜伽老师一节课视频
宜春院美国免费十次啦
大孔雀和美丽姐的故事
看了会滴水的段子漫画
欧亚专线s码和w码入口
大胸年轻的搜子
39W3C张津瑜吃瓜
躺在我跨下的英语课代表
缘之空哪集开的车
妈妈说带套可以给我
男朋友咬我的小兔子头会发炎吗
两个黑人大战娇妻的小说
老阿姨儿子一二三区
手从小腹一路开到丛林处古代
美国vodafonewifi巨大app
双人打扑克剧烈运动视频大全
不知火舞vs外星人h
野草乱码一二三四区别
公交车多人运动
放冰葡萄在里面做
国无人区码卡二卡
免费中国帅气体育生GARY
无人区码一码二码三
麻豆画精品传媒2021免费观看
缅北14may18_XXXXXL56endian
日本一姐RAPPER潮水自由
王者荣耀女英雄去掉小内无爱心图片软件
GARY2022钙片
激荡瑜伽1V2
魅力研习社 避孕套
国产一品二品三品的区别在哪
可以对女孩子做什么都可以的手游
文轩上体育课课用跳d的感觉
家长会上爸爸们C幼儿园老师
倒插莲花是个什么动作
日韩天码砖区2022
DH-NVR4116HS-HD
如何把自己玩成喷泉状态
40部AI明星造梦赵丽颖
离婚后满足了父亲的要求
仙踪林XIANZONGLIN
输了让同学玩全部位置作文
肉超级多的糙汉文古言
1000部未年禁止勿入免费
体育老师拉着我做了一节课作文
我的兔子好软水好多H15阅读
动物胶配方大全高清
妈妈先是拒绝后是迎合的句子
恋之欲室 电影
漂亮的桃子2意大利语翻译
啪嗒砰怎么召唤
怎么奖励自己的隐私位置
深田えいみ无码作品
好吊视频一区二区三区
又大又白两座山峰
正能量网站www正能量网站
打扑克牌的剧烈运动视频不盖被子
抽出含了一整夜的性器液体流出
甘雨去内布料开襟XMAN
人物动物交互高清
老太太BGMBGMBGM性
芒果一码二码三码四码区
18岁末年禁止观看的网站免费
拔萝卜挤酸奶是什么意思
歪歪漫画登录页面免费漫画入口首页漫
五十路六十路完熟交换
搞机TIME恶心直接打开的不用下载嘉兴圈
菠萝蜜国际通道一区麻豆
双龙NP黑粗撑开宫颈口BL下人
他走在街上用遥控器要我
麻婆传媒剧国产剧情MV
いっぱいしぼっちゃうぞ在线
水蜜桃色314
ZOOM人牛OKZOOM俄罗斯k9农场
被爱豆们翻来覆去1H
主人 跪好 知道错了吗
CHINESE直男口爆体育生外卖
嫩草研究所入口一二三四
0adc影库年龄确定
结婚晚上怎么吃女生的小兔兔
一支笔c哭自己从自w到高c漫画
开过荤的女孩能憋几天
成都免费影院直播
清恋 seiren
半夜妺妺叫我满足她
蜜芽忘忧草老狼二区大豆行情
一体验区试看120秒
拔萝卜 全程不盖被子拔萝卜
bbox撕裂bass俄罗斯
你的东西比老公大得多
儿子耕种母亲的田地的寓意
妇女老太太GMBGMBGM
把腰抬起来一点我不好发动
麻豆果冻传媒新剧国产杜鹃
缅北14may18_XXXXXL56endian
19岁macbookpro日本
腿张大点就不疼了
健身教练60话顶到俐雅免费
晚上想吃你的黑葡萄
跳d放在里面逛超市的
14MAY18_XXXXXL56ENDIAN_MBA
上课跳D突然开到最大视频
用你的舌头搅拌着我的下面
蜜桃传媒天美传媒京东传媒DO
今日蚂蚁庄园正确答案
高树玛利亚图片
忘忧草日本社服务台的电话号码
中国vodafonewifi性
小SB几天没做SAO死了
差差好痛30分钟
岳女二人名器共侍一夫的出处
伊人大杳蕉中文在线20
你的东西比我老公大好多
老师拉我去办公室做了一节课作文
小龙女只感觉那只巨大的火龙枪
两个男孩子开车小黄说
妈妈说只要爸爸不在家她就是我的
杨幂哭着说不能再深入了
徐莹 非诚勿扰
凌晨三点看的片日本
他顶撞的速度越来越快
日本HIPHOP大师YOKOI
晒晒14岁儿子蛋蛋竖起来
陈淑芬的两腿中间又痒了
漂亮妈妈3高清中字在线播放
在火车和后妈妈谁在一起是什么书
按摩师用嘴亲我下面过程
CHINA青年GARY
床上躺着打扑克很疼
群飞杨幂赵丽颖刘亦菲
51吃瓜 张津瑜 网
黄鳝21分钟40秒完整版
张津瑜7段51吃瓜
糖心短视频VLOG柚子猫视频
啦啦啦韩国视频免费观看
够了够了已经满到高c了楼道
ipx-247
全彩口工漫画母系惩罚5
写得很详细的开车
小学生如何自己安慰自己新手
武大内野CAMPBUDDY
暴躁CSGO妹子
老阿姨才是最有味的
C的里面太满了
啊我们换个地方做...又加了
被学长C了一节课怎么办
天美蜜桃传播媒体有限公司
强干奥迪4S店女销售
灯草和尚txt下载
两对夫妇在野外帐篷交换
冬至糙汉h1vl
美女扒开腿让男生桶白浆动态图片
八重神子露副乳
上课班长突然开了遥控器
三个搞你一个好不好
刘氏家族内乱换全文
亚洲无人区码一二三四区别
老师太粗不行坐不下去痛
我在英语课上强干英语课代表
浪小辉GARY2023小蓝
结衣波多野电影下载
十种b型的外形
精品麻豆国产AV无码免费
蜜桃123图片
WRITEAS 教室
撑起伽罗的腿疯狂输入游戏
无人视频免费观看免费直播下载
日本插曲的痛的30分钟欢迎您
精产国品一二三产品区别
八戒八戒视频资源
写得很详细的开车
朋友换娶妻2韩剧
原神角色黄化网站视频下载
几天没C水这么多公交车
最近最好的2019中文
同桌把我拉到他家做了作文1000字
用毛笔蘸下面洞里的水写字
最新人与ZOOM
双子ノ母性本能
白丝语文课代表让我C了一节课
女人迈开腿让男生吃菜的吃草莓
VODAFONE喷浆
让男人硬起来的网站
农妇肉体AABBWHBBW
强干奥迪4S店女销售
TOTAKKAHAYAKIRIX777777777
公交车上荫蒂添的好舒服的句子
国产精品卡1卡2卡三卡四
汉服齐胸襦裙啪啪
濡湿的车站未增删带翻译
出嫁前让父亲体验了一次
换个方式做吧樱花网
tobu16tobu69
国精产品一码二码三M
太子被暗卫C到合不扰腿
大叔1V2LH
他C过你这里嘛
津渝视频6分钟
海角社区haijiao06
草莓视频释放深夜的自己
班主任说快来插我啊的视频软件
KONANNARUTO纲手禁欲动漫
进入了母亲的生命之门
亲爱的老师4 韩国高清
强干奥迪4S店女销售
快猫记录世界纪录你
秘密女搜查官系列
蜜芽MY12777
又大又长又租高湖
学生的妈妈2中韩双字多鱼1下
老人船上弄雨荷
老BwBwBwBwBw
gransremedy老太太
けんじゃたいむ八重神子
品色永远免费论坛
ZOOM人牛OKZOOM俄罗斯k9农场
凌晨三点看的片日本
东北大坑原始欲爱
冰块温水跳跳糖果冻是什么意思
白莲花的贵妇生活
海角社区最新在线播放
日本人AA制是不是很凉薄
S货是不是欠C有肉
原神胡桃N开襟乳液狂飙视频
冰块棉签夹子酒精pp视频
99无人区码一码二码三码
最近韩国免费观看HD
变形记 化不开的网
岳的毛又黑又厚
太子被暗卫C到合不拢腿N男男
为什么B越小越好玩
男人捏大白兔视频
女教师的特殊按摩2
十世宫缩剧烈做边生
父亲缓慢而坚定地进入的网站
GARY18CHINA
能让我流水水的一千字
欧洲黑人最强潮水RAPPER
想吃你身上两个黑葡萄
学长突然将遥控器开到最大
一个好妈妈5中汉字
ZHANGJINYU视频哪里有
腿抬起来靠墙上就不疼了视频
坐着轮流提双腿能起到什么效
迈开腿让尝尝你的草莓是什么
故意在接电话时做
妹妹中考让我C了一节课
学长能不能换个地方做网站
搞机TIME恶心直接打开的不用下载嘉兴
咬住下唇动漫在线播放
星空无限传媒XK 8027我的妹妹
李白受WRITEAS
哪个浏览器可以看黑料不打烊
秘密教学10话我需要灭火
来吧儿子妈妈是你的人是谁唱的
意大利性禁忌完整版在线播放
舌头钻到花唇裂缝中滑动
故意让儿子上自己
几天没做你就流了
韩国妈妈的朋友观整有限中字
果冻传媒MV逃亡的兄妹
韩国三圾片在线观看
秘密教学第9话不能跟别人说
日产一线二线三线理论
qvodsetup3
教女生自己捏自己的小兔兔
插曲的痛的视频漫画
再见美丽小姐剧情分集介绍
是美男啊之结伴同行
野花视频最新免费观看3
都这么多水了还不要吗
原神雷电将军乳液狂飙APP天堂
不良网站正能量免费进入窗口
莉莉卡奥特曼的乳液
3d 无尽 动漫 可爱 得到
段嘉许把手指探了进去是什么意思
冰葡萄一颗一颗往下体塞
大团圆结闪闪发光继
一边亲着一面膜下的毛毛虫
每天把你做到起不来
性女传奇在线播放
免费雷电将军乳液VX网站
国色天香一卡二卡三卡四卡视频
饭桌上故意张开腿让公H视频
最美情侣中文观看完整版高清
小东西底下都是你的水
才三根手指就嗨了
十九岁日本完整免费完整版
5G天天奭多人运动 在线观看免费网站
大菠萝福建导航进入网址
亚洲精品国产精华液怎么样
学生的妈妈双字10字
最近HD免费韩国电影
长门和小南拔萝卜游戏
往下边塞水果后吸出来清欢
抖音奶片没带罩子52秒回放
在恩爱时发出嘤嘤的声音视频
张津瑜落地窗9分20
家族内乱换刘家全部
下面一直湿漉漉的是怎么回事
娇妻系列交换27部多P小
国产一线产区二线产区
加多宝公益战略发布
在床上拔萝卜又疼又叫的描写
免费体验120秒视频
被当成发泄玩具的一天作文
在上面做的时候像疯了一样
猎艳十大名器艳妇
你的水都拉丝了
大将军h1v2
芳芳的性幸福生活18 章
老师成为班级的公共玩具视频
我想吃你的r头叫出来
文轩宋亚轩自己做扩张直播
伦理片在线线看手机版韩国
小泽玛丽 种子
快猫成人短视频app
国产啪视频在线播放观看
镜流口水流白色液体正常吗
迈开腿让尝尝你森林视频
麻花豆剧国产MV在视频播出
rh男1做0车车的车车视频网页
黑帮大佬和我的的356日第二季
开的比较细的车文章
群臣在朝堂上却玩皇子视频
孙悟空用金箍棒桶紫霞下方
农夫网站导航大全
538porm在线播
4480新热首播
日本妈妈厨房与子交
中国 韩国 日本 免费看
粉色视频APP在线无限看免费丝瓜晶体公司藏
福利社体验区会试看
王者荣耀女英雄去掉小内无爱心图片
鸣人九尾暴走需要女人治疗
精品乱码一卡2卡3卡
雨后小故事动画视频
八重神子被捅出乳液游戏
毛1卡2卡3卡4卡免费
向涟苍生士献上纯洁第二集
什么样的B型最好进好玩
18GaryWayne
Zoom与人性Zoom怎么同步
张柏芝门照艳原图
国产蜜芽剧果冻传媒
做错了事就往下面塞一个冰球作文
榴莲新片免费观看
和教练在车里C了我三次怎么办啊
欧式春画图照片高清
人类是如何交匹配的过程
密桃成熟时33d国语
让我看看你的小森林是什么意思
公交车最后一排被群C的文章
学长两个人一起会撑坏的视频
Rapper国内女rapper
上课跳D突然开到最大视频
漂亮的小峓子5中字巴巴鱼汤
情侣的一百种插秧法
东北女人下面痒直叫
整篇都是车的百合
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1