有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
我是怎么C你的 叫出来
妇乱子伦真实故事
公么公在浴室征服小雪
野花香在线观看免费高清播放视频
WRITEAS红酒塞
小SB是不是想被C了
小东西几天没做怎么欠C
1v3多肉小公主
液体收集器系统hh的工作原理
麻花豆传媒剧国产MV天美
夹看学长的巨大的几把写作业片段
我今天接了一个三十CM长的
疯狂厨房双人模式玩法
八重神子ちゃんの球棒的起源
冷淡总裁受下属攻H
2023钙GGY钙网站免费观看
好兄弟把我给C了
坐在上面做的视频
伽罗躺床流白色分泌物大图
女方输了任男方处置清清1000字
ipx118怎么被称为神作
妈妈的桃花源生命之门
美国十次啦怡春院
宝贝好紧好爽再搔一点试視頻
胸大的姑娘视频高清
处处吻全程拉丝舌头
24小时视频在线观看免费
车文超细过程文字描述图片
老狼一卡2卡3卡4卡2021免费
迈开腿尝尝你的草莓什么感觉
狠痕鲁狠狠爱2021在
女神漫画登录页面免费网站
王者荣耀海月被捅到流口水表情
榴莲app下载进入网址
叶玉卿 卿本佳人
太大了小峓子受不了春雨
9612黄桃亚洲品质
必看无人区一码二码三码
最近中文字幕高清MV免费
色老头挺进娇妻身体 小怡
女人和公豬交交30分钟视频
女孩迈开腿让男孩给她嗦坤巴
免费B2B网站推广嘿嘿
刺激打扑克摇床又全程不盖被子
大炕上的肉体乱
荧去掉小内趴在地上和散兵打扑克
亚洲一卡2卡3卡4卡国色天香app
精美日产MV二线三线是什么
黑人肉大捧进出全过程动态
国色天香精品卡一卡二卡三二百
随着公车车晃动进入
撕裂BBOX入门头交
白天躁晚上躁天天躁的治疗方法
国内精品卡1卡2卡区别
房奴试爱未删减完整版
渴情昼夜 作者东寻问酒
云缨的乳液长什么样
一言不合就开车的美剧
晚上玩哭自己隐私的100种方法
王者荣耀伽罗捅到流液晶
黄到让你那里滴水的
国精产品一区一区三区有
欧美乱妇狂野欧美在线视频
是不是想让我弄你了
亚洲一线产区二线产区的区别
好满射太多了装不下了真人
宝宝下面湿透了还嘴硬怎么办
它变大了你感觉到了吗
不良网站正能量免费进入窗口
快穿之系统欲娃养成(h)
雍正睡了自己的女儿是哪一集
粉嫩小缝太窄了进不去怎么办
做在学长的JI巴做作业
男朋友是怎样进你的
人狗锁在一起的原理是什么
小黄花必看的网站
马思纯力挺周冬雨
学生14MAY18_XXXXXL56ENDIAN
日月干夜夜干天天天啪
上官婉儿翻白眼流口水流眼泪
馋你了今晚想吃馒头
14MAY18_XXXXXL56ENDIAN2
美国macbookpro日本
小鲜肉GARY2023飞机小蓝
行尸走肉洛莉做过几次
寡妇与和尚干柴烈火电影
老板那里是XL樱花动漫
WRITE AS 产卵
一下子接5个客人疼死了
深度开发1v3梁医生
俄罗斯FREE性16
小蓝视频GARY2023入口
亚洲一线产区和二线产区的
学生党怎么自W
疫情期间只能干老妈了
Zoom人与Zoom视频
雷电将军的俘虏生活30汉化版
只要使点劲不行就再用点力
黑料传送门最新地址ZZTT10
重生回到冷战前军婚
japonensisJAVAHD大豆行情
和朋友换娶妻A1
双人床上剧烈运动打扑克
错一道题就插一支笔怎么办
AI人脸替换迪丽热巴造梦
6月6日蚂蚁庄园答案
精品成品国色天香卡一卡三卡
深度开发1v3梁医生
吃瓜爆料黑料网站
乖张大点一下就不痛了软件
日产无人区一线二线三线
国产sdram
丰裕纵满杨玉环2588高清壁纸
怎么奖励自己的隐私位置不被发现
老丈人的东西又弯又长
探秘亚洲XXXXXLMEDJYF
老狼二区忘忧草大豆行情
女子日系裸妆视频
顶级RAPPER潮水
吃女朋友的扇贝细节
精品乱码一二三四区别
14147最大但人文艺术
坐着震动器写作业是什么感觉
一颗颗眼泪都是爱
日本精产品一二三产品
JEALOUSVUE厕所
想吃你身上两颗的葡萄
和平精英中女性的乳液
亚洲一卡2卡三卡4卡2022
离婚跟儿子搞过吗
邻家有女韩国4
柚子猫原神甘雨视内射频
一群男生带我去没人的地方
黄金网站app日本免费
嫩小槡BBBB槡BBBB槡
日本HDMI2.0高清线339933
2014年4月里番
豪妇荡乳1一5
车内剧烈运动描写
老卫把船开到河中心去的故事
日韩中文字幕推理大片
50款夜间禁用软件免费APP
路虎车内激战2小时
濡湿的车站未增删带翻译免费
污到你那里滴水不止的说说细节长文
小雪的L3又嫩又紧又多水图
成都免费影院直播
JING液收集系统开车的水獭
老师的兔子好软水好多免费
皇上撞着太子妃沈音的小说叫什么
大雨天和驾校教练在车里
小学生被小学生插曲
为什么撞得越快越想叫
丰满少妇大叫太大太粗
yw8827龙物永不失联九幺
三个徒弟强占师父
原神安柏被旅行者C出液体
黄金网站app免费视频大全
日本1卡2卡3卡区
美国XAXWAS9977777
啊接到一个30厘米长的客人
日产精品卡2卡三卡4公司
69视频APP在线无限看免费丝瓜晶体公司美食
啦啦啦在线观看免费完整版BD
原神旅行者插雷电将军的游戏
春暖花开x吧有你
被学长C了一节课作文
精品1卡二卡3卡4卡免费
小喜含不下了先出来吗
写的超细的开车片段推荐
情侣房交椅使用方法图片
怎么用一根棉签弄自己
樱井莉亚电影下载
哎呦我的宝贝真好喊爹什么曲
AAA国产大陸片
才两根手指就抖成这样了视频
亚洲MV砖码砖区2022
我被女婿日得舒服死了
最近ZOOM人牛OKZOOM美国
蜜桃MV在线播放免费观看网站
熟妇人妻中文字幕无码老熟妇
夹枪带棒1V2舒明明黎远荣
pinsetangluntan
宝宝几天没做都湿成这样
亲爱的老师5韩国中字完整版
公交车上玩两个小朋友
narutohaitei小南视频
把极品白丝班长啪到腿软
师徒1v2金银花
大连护士门照片
跳D开到最大C死我
王者荣耀嫦娥卧床流水
莫菁门事件完整照片
燕子717新浪微博
几天没C你是不是皮痒了视频
麻花传媒MV一二三区别在哪里看
中国小鲜肉GARY2022
污污的文章 看了会出水
狗狗的东西又硬又烫又臭怎么办
午夜dj在线视频观看国语版
潮湿的心无删减版
老狼信息网仙踪林八零婚纱摄影工作室
公主殿下的LOVE全集播放
污污的文章 看了会出水
麻豆madou传媒
公孙离去所有衣服床上
腿张大点就不疼了
破了新数学老师的处
爆裂さすらい在线播放
夸我比她老公大
差差差很疼30分钟无掩盖视频
为什么抽的越快叫的越声音大
撞击声和黏腻粘连的水渍声
日产日产自线一二三四2021
10tpu色母与pa6色母
一人一狗卡了六个小时视频
色网址大全导航
少妇各种鲍鱼p
孩子还没睡老公侧面做
大将军h1v2
无翼乌邪恶彩色无摭挡电车痴汉
羞羞漫画登录页面免费漫画入口网站
可以对女孩子做什么都可以的手游
痞幼视频3分25是什么
大巴车轮轩诗歌摘抄
psp太鼓达人dx dlc
媛媛和老赵在厨房做
浪小辉GARY2023小蓝
国精产品无人区一码二码三蘑菇
才三个指头就撑不住了
在厂里跟很多人睡过
聊斋之玉壶春瓶
不知火舞和三个孩子森林公园狂欢
津渝视频6分钟
把自己淦哭的100种方法
翁莹情乱第全部篇
老阿姨BILIBILI视频
在体内横冲直撞就是不出来
怎么小SB又痒了
后营露营无增减3季
仍想结婚的女人
无忧传媒在短视频领域的成就
我都湿透了你还在等什么
好满射太多了装不下了短视频
人畜禽Croproation
YSL千人千色T9T9T9T9T9
凌晨三点看的片免费
有多少弄过自己的儿子的吗
公交车最后一排被C细节描写
国产18禁巨制揭示人性奥秘
八重神子掀开自己副乳的图片
用注射器打水放屁眼里的视频网站
男生和女生一起错错错30分钟电视剧
御手洗家的故事第1集免费观看
用...用点力一点快到了
VODAFONEWIFI巨大
翁公与小莹客厅激情
第一次DOI的感受详细写一下
男人激烈吃奶动态
9612黄桃亚洲品质
小婷又软又嫩又紧水又多
夜恋秀场安卓支持uc
原神雷电将军18襟网站
性妇VODAFONEWIFI精
小莹客厅激情46章至50章视频
妈妈的朋友6在观完整有限中字木瓜
麻花豆传媒剧国产MV入口
我们两个C得你舒服吗
阿宾之房东太太
福利500免费导航
火车上看着娇妻被别人玩
娇妻被领导抱进卧室
swing out sisters
把自己玩喷泉的视频叫什么
肉蒲团之极乐宝鉴下载
妖精动漫官方登录页面入口弹窗
公交一晃一晃就进去了怎么办
糖心VLOG肉丝库水柚子猫
中文字幕无线码
BGMBGMBGM老太太视频HD
bl动漫幸福花园
王者荣耀女英雄被捅的流眼泪翻白眼流口水
哎呀哎呀在线观看视频高清国语
孩子玩着玩着就进去了怎么办
学霸边写作业边被校霸上
麻花传媒剧在线MV免费观看
被逃生游戏npc做哭
XFB88XYF幸福宝引导
打扑克直播下载
晚上打扑克疼的视频声音
家里没人半夜就和妈妈搞
XL上司带翻译
ssni-392
公主殿下的LOVE全集播放
漂亮的保姆3完整版
爷爷夜里压着妈妈在叫疼
《玉蒲团之西厢艳谈》
XVDEVIOSXVDEVIOS都是正版吗
我老公告诉我想睡我妈
原神旅行者喝甘雨的奶
红豆视频免费高清在线看
男人的坤坤穿进女人的甜甜圈
进入了母亲的生命之门
绝对控制我的学校2
都市激情校园春色
王者荣耀公孙离被捅的流口水视频
无翼乌全彩无漫画挤奶
无人区乱码1区2区3区
日本ZLJZLJZLJZLJ日本
日产精品无人区
エロゲ母爱如山动漫
GAY引诱外卖员COM2O22
从黛玉的身体里退了出来
女人不怕短粗就怕带钩这个钩是指
变成黑皮肤和朋友做了02
我的漂亮女房东完整版在线韩剧
精品成品国色天香卡一卡二摄像头
亚1州区2区3区产品乱码
TPU色母与PA6色母互换
开车越往下越疼的那种图片
少妇无码吹潮久久精品AV网站
坏老师百度影音
国岳的前妻照片
车文doi超多描写具体
年轻丰满的继牳2
麻豆精产国品一二三产区区农民
hm因虚假宣传被罚
おやすみせっくす2在线观看
最近免费韩国电影HD无吗
中国体育生GARY飞机XXNN
国内精品乱码卡一卡2卡三卡新区
蓝男色蓝摄GAY裸男CHINA
暖暖视频播放免费韩国
女看了会流污水的段子
钢铁侠3下载 迅雷下载
无人区一码二码三码区别图片
我和公GONG在厨房日本电影
37大但人文艺术馆A级
睡过年纪最大的多少岁六十多
WRITEAS遥控器朝俞
风韵诱人的岳欲仙欲死在线观看
每走一步就深深的撞一下
带仙女棒去上学的感受
女生戴一天仙女棒上学的感受
公交车上的小黄说说阅读
英语今天晚上让你桶个够
宝宝的水喷得到处都是视频
同学故意把我的校服当抹布用
麻豆网神马久久人鬼片
被他从身后撞得浑身散架了说
ぱらだいす天堂中文网.WWW
和老公打电话接顶的她说不出话
逛街突然开了遥控器最大
miya222
飞向别人的床 在线播放
googlemap日本
英语课代表让我桶她的BB
东北少妇多毛大隂户
描写doi过程的文章
用红酒瓶塞堵住不能流下来皮
多波野结衣电梯
我一边做饭一边被躁了男男
大尺寸的小黄说说作文
一个老男人把我下边玩肿了
舌绕指探洞深深浅
宝宝这才几天没C水就这么多
斗罗大陆2大乱斗交大配目录1
nnpj-143
两个人一前一后一左一右
艳情短篇160无弹窗
男男车车好快的车车cp
在车里撞了我八次高黄肉
亲爱的老师4韩剧中文字幕
粗大的内捧猛烈进出老师下载
伽罗ちゃんが腿法是什么意思
梁医生再往下一点吃肉视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1