有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
37大但人文艺术A级
51国产黑料吃瓜张津瑜
14MAY1XXXXXL麻豆
东北CHINESE体育生露脸
会所娇妻被多个黑人怀孕小说
疫情期间在家日老妈
被机器人C的停不下来
这两个球球一直摇晃个不停
全是肉的糙汉文
日本一姐RAPPER潮水
小泽玛利亚种子
芳草地在线观看播放在线观看
太阳能光伏论坛
无人视频免费观看免费直播下载
一抽一出BGM流水视频
公交车6人轮换CH
你是我的荣耀全集泄露
王者荣耀女生去掉小内皮肤无烟雾游戏
夹看学长的巨大的几把写作业片段
灯草花尚 陈玉莲
刚满十八岁女生穿衣搭配
再见美丽小姐剧情分集介绍
公交车被蹭的流水了怎么办
公主殿下LOVELIVE在线观看
一个人看的高清WWW哔哩哔哩
弱点21话一次够吗
XL上司2第二季带翻译未增
日产无人区二线三线乱码
异地见面插上两天不下来
年轻漂亮老师高清线
善良的秘书5中字巴巴鱼汤饭
隔着衣服吃你的小尖尖作文
逆徒快把你的东西拔出来
晚上睡不着想看点网站
nnpj-143
麻豆传煤网站入口直接进
亚洲无人区码一码二码三码的含义
晚上做运动打扑克声音
小鲜肉吃小鲜肉的大LOGO
天天想你视频免费观看高清在线
迈开腿让学长尝尝你的森林作文
公孙离といちゃつきたい的欢迎会
边做边爱3电影
只要两个手指带你体验水上乐园
丰年轻的继拇3的特色和机能
一边吃奶一边做动态图
白天是狗晚上是狗老公
雷电将军八重神子被淦出水
5根一起会坏掉的好痛的视频
国产精品果冻传媒呆梦梦
歪歪漫画登录页面免费漫画入口首页漫画
把我按在在落地玻璃窗前做GH
小喜不要了好大第二部
顶得你的水流得到处都是甜甜
无翼乌全彩之爆乳漫画
儿子一晚上要我三回怎么办呢
班长哭了能不能再抠
抬起阿离的腿就是C
军婚不知节制地索要小说
你看你把水弄得到处都是
暖暖视频日本版免费完整版
腿分大点就不疼了
涨精装满肚子上学体育课
儿子的还比老公长
漂亮的三年经的继拇4
师娘求放过韩国电影完整观看
后车座的疯狂运动过程
78MAP打扑克视频
二哈的白猫师尊
美丽姑娘韩国在线观看免费高清
ピースエロじ天堂资源下载
坐在爸爸的JI巴做作业
老扒和三个熄妇
外公总是压妈妈身上怎么回事啊
CHINESE东北女人舒服
另一类ZoomVCR
暖暖高清视频免费
老人船上弄雨婷第12章
娇娃荡女K8经典
酒瓶塞住不准掉下来
WRITEAS 灌水
把棒棒糖放屁眼视频
亚洲AV精品乱码专区
国内精品自线在拍大学生
痞幼黑料不打烊
欧美无矿砖一线二线三显卡
男生坤坤放在女生坤坤里开元棋
365dni百度云网盘
啦啦啦中国日本韩国免费高清
日本一姐RAPPER潮水是啥
亚洲和欧洲一码二码区别在哪儿
妈妈的朋友8观完整有限中字木瓜
如何引导让狗狗上自己
国精产品一二三区传媒公司
冰冷总裁带玉势上班
性满足BBWBBWBBW
藏经阁官方福利导航
润色红叶吻蛇枝黛妃
人与畜禽corporation怎么读
重生回到冷战前军婚
女朋友的母亲9中语字追剧易
被夹在中间当磨心最后会怎样
母亲とが话していま在线观看免费
拉婆婆下水和大黑狗
湖南某学校秋千门
蜜芽miya1173永不失联
台湾已逐步恢复供电
欧亚精品卡一卡二卡三737
坐公交车一晃一晃的
夜里自己一个人弄自己
对象都是怎么C你的过程
张雨欣人文艺术欣赏
遥控器跳DAN放在里面坐公交
汤姆视频最新地域网名2021
浪漫满屋泰国版12
体育生GARY2022打桩
天海里红和橘和希
东莞技校门下载
原神申鹤被空C出白色液体游戏
小船摇曳大船h
双人床上剧烈运动打扑克的视频
宝宝可以捅捅我的下水道吗
ゴブリンの洞窟sana
pilipili噼哩噼哩最新版黄的
随时随地都能干的小镇叫什么
老何船上弄雨婷第14章
如何用筷子玩哭自己
木叶的性处理番acg大全
JAPONENSISFES
输了让所有人玩全部位置的游戏
怎么玩哭自己的隐私位置
李宗瑞108集在线观看
日产精品一线二线三线
妈妈的朋友1在完整有限中字木瓜
相亲对象是学生未增删樱花
英语老师没戴套让我C了一节课
用嘴巴吃鸡有什么好处和坏处呢
无人在线观看免费高清动漫
日产欧产美韩系列区别图片
把女朋友玩成小喷泉是什么意思啊
疯狂厨房2双人3-5通关攻略
25岁女高中生的相亲对象是问题
色吧有你春暖花开
无人区3DMAX
能让下面滴水到爆的说说
TOBU在线观看免费直播
当你拔出来的那一刻
丁香花大型社区
美国ZOOM动物3D
linode日本iphone强汉app
打开腿让我添你下面小污文
香含玉女峰头露
叶玉卿 卿本佳人
禁用18软件APP葫芦入口
年轻老师的滋味5在观整有限中字
WRITE AS 电动棒
关晓彤被华晨宇做出了水车
亚洲一线产区二线产区区别在哪儿
99精品与95优品
波多野结衣电影在线观看cesd819
男主跟自己养的蛇在一起了
痞幼视频3分25秒黑料
老阿姨看到小鲜肉心动幽默说说
暖暖直播免费观看韩国大全
宝贝都湿透了还嘴硬疼怎么回事
欧美无人区码卡二卡卡三卡四
希儿的乳液狂飙天堂W78
破了两个学生的花苞
多人淦一人的车图
言教授要撞坏了笔趣阁
69精产国品一二三产区区别
在C用力把桌腿A抬离地面时小说
年轻的母亲5中字巴巴鱼汤饭
胡桃坐旅行者的坤坤
老人船上弄雨婷第12章
star 424
加多宝公益战略发布
八角笼中被下架
体育生GARY网站MV
学渣坐在学霸的鸡叭上作文
车上一下子就弄进去了岳
18无人区码卡二卡3卡4卡
国产开嫩苞视频在线观看
帅哥GARY网站
男人给女人添P添到高潮吗
JEALOUSVUE成熟50MAO
是不是想让我弄你了啥意思
十九岁RAPPER潮水欢迎你
我家狗狗弄了我4个多小时
肮脏秘密俱乐部
黑料永远不打烊吃瓜爆料
他缓慢而有力的往里挺送文字
男生都是怎么C你的
双面公主vs双面王子
100款夜间禁用软件七客
一支笔C哭自己
友田彩也香qvod
沈阳老阿姨最后的巅峰
怎么揉女朋友的小兔子描写
may18_XXXXXL56endian
旧里番OVA我侵犯她的理由
果冻传媒剧国产免费入口今日更新
国精产品自线在
巨无霸水蜜桃水帘洞
客厅H伦亲女小芳小雪视频
我家狗狗弄了我4个多小时的尿片
新不夜城 首页
清明小长假来了蚂蚁庄园
24小时视频在线观看免费观看
14MAY18_XXXXL56ENDIAN
冷淡总裁受下属攻H
无忧传媒在短视频领域的成就
叔父的大还是爸爸的大轶事
2014年5月里番合集
书记太厉害了太长了
9传媒制片厂制作在线观看
adc影院0adc在线
走一步撞一下 湿透许安愉
得到超级肉禽系统的小说
八戒八戒视频中文
带着跳D走路舒服吗
英语老师没戴罩子让我捏一节课
爱如潮水社区在线观看
芒果乱码一线二线三线新区
2021精品国色卡一卡二
妈妈说戴了才可以
迈开腿尝尝你的草莓汁的
将界2第3集大尺视频
黑人啊灬啊灬啊灬快灬深
红豆视频免费资源观看
同桌罚我夹震蛋器憋尿
说说老公夜里顶你的
国精产品99永久中国有限公司
宝宝才两根手指就疼哭了怎么回事
在车内疯狂打扑克
137最大但人文艺术体
高冷男受用钢笔玩自己GH
女头部位大胸头像
我被当成发泄玩具的一天作文
四个人玩我一个人是什么感觉
真人打扑克的免费软件
变形记温暖之痛
羞羞漫画在线漫画网页破解版
妙洁一次性合家欢
学霸C小混混到哭
换个地方做吧未增删樱花
美丽的小蜜蜂美国版1娃娃脸
年轻的母亲5整有限中字
欧洲N00N兽交剧
晚安 おやすみせっくす在线观看
离婚了天天跑去日前妻
斗罗大陆人物黄化完整版资源
美国十次啦超级大导航
GAY2022
一前一后同时攻击舒服吗
狼狼鲁色在线视频播放
张津瑜事件是什么
花火のエロドラえもん
我们在线观看免费BD视频
美国VICTORYDAY妇女
晚上睡不着看点免费
深夜办公室哔哩哔哩
一体验区试看120秒
两个人的视频全免费不下载
迈开腿尝尝你的草莓是什么感觉
ZOOM人牛OKZOOM俄罗斯
一个人晚上偷偷看B站直播正常吗
非洲人与牲动交CCOO
小龙女只感觉那只巨大的火龙枪
好妈妈5免费观看中字直播
糖心VLOG小桃内射频网站
high school d d
阿娇张开两腿实干13分钟完整版
全是肉的糙汉文现言推荐
3ce奇米四色眼影奇米8888
你真是越来越耐C了什么意思
凹凸女BBWBBWBBWBBW
灌溉系统NPC游戏双男主
linode日本iphone奶
老婆出轨时打电话给老公
日韩欧洲亚洲SUV
47大但人文艺术
亚洲一线产区二线产区分布图
重生之门在线观看完整版高清
一姐rapper潮水太多
妈妈说带套可以给我先说
公交车车站最后一排被多人玩
父亲缓慢而有力挺拔的句子
篮球队的公共玩具坐便器
成品网站灬源码杏花
饭桌上故意张开腿让公在线观
公孙离といちゃつきたい的欢迎会
鲍鱼最新地域网名是什
夏季短袖看见女同学乳突图
女性半夜莲花开放的治疗方法
你日的我走不了路了
巴西女人与禽2O2O性论交
两根硕大一起挤入小雪
野草乱码一二三四区别
成年电人电影免费网站
小娇乳H边走边欢1V1视频国产
WRITEAS两根性器
初中生一起床差差差的场景
狗狗的东西好大图片
在公交车里把跳d开到最大
坤坤寒进桃子里
麻花传媒网站永久入口视频
宝贝儿流了那么多还说不
rh男1做0车车的车车视频网页
双龙NP黑粗撑开宫颈口BL下人
狗狗进到里面变大了
野花高清免费观看
亲爱的老师韩国5看的电影
夜里18款禁用B站入口探APP
天天插日日胔夜夜干
老婆的扇贝张开口了还能吃吗
中国新疆XXXXXL19学生申中国
激荡的瑜伽教练
是不是欠C了那么多水
CEKC老妇女CEA0
100位未成年RAPPER
1都是怎么进入0的图片
吃八重神子的乳液
我被猪鞭螺旋状进入的
有效投资持续扩大
午夜福利院电影
高达uc独角兽06
9612黄桃视频入口页面安卓版
厨房里的激战2精彩情节故事简介
乱码一二三入区口
错一题老师肉一次
夜倾情 保姆的诱惑
井川里予被C在哪看
有多少弄过自己的儿子的吗
原神雷神ドラえもんのエ网站
10款禁用软件永久无限次数看
往下边塞水果后吸出来车
皇上御花园HL
TOBU8美国24
老头猛的挺进她莹莹她的体内视频
俄罗斯XBXBXB兽交
胸大的姑娘好看视频
坐在学长硬硬的上面写作业
贪婪洞窟H5流派攻略
1和0是怎样进入做的图片
日美韩大片高清免费观看
为什么你越叫顶的越猛
仙踪林19岁RAPPER潮水仙踪林
哪个浏览器可以看黑料不打烊
人与畜禽共性关系
弱点73话我也要一起洗免费
欧洲精品不卡1卡2卡三卡
不可以快拔出来我是你亲
日本一线二线三线四线五线
趴下皮带write as
最近更新2019中文字幕高清
刺激打扑克摇床又疼又叫原声
圣城风云第二季
男朋友做到我下不了床
性一交一乱一伦
天海翼家庭教师
一女被两根凶猛挺进动态图
羞羞漫画在线漫画网页破解版
讲讲你们doi最舒服的一次
韩漫漫画登录页面免费漫画入口弹窗
做在学长的JI巴做作业
妻3蜜中蜜动漫观看
色戒完整版2小时38分
弱点第21话只做一次够吗
宝宝你里面好暖好烫不想出来
真实的妇乱子伦
久久无人区卡三卡4卡
国内色母与进口色母区别
pilipili噼哩噼哩最新版黄的
日本RAPPER老师
迈开腿让尝尝你的森林动漫
男男车车好快的车车cp
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1