有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
欧美VIVOX21
原神人物黄化网站
强宠 失宠皇后
2022Ggy钙站不能用了
被村长狂躁俩小时玉婷视频
亚洲一卡2卡3卡4卡国色天香app
西安一周六天雨下到6月
GARY18CHINA
茄子视频无限看-丝瓜IOS苏州晶体公司红
从镜子里看我怎么C你的作文
国色天香一二三产区是哪里
只要有爱就算是哥哥
污到你那里滴水不止的长文
给我中国免费播放片在线
2022GGY钙打椿机受
深度开发1V3二月天2YT
精华液一二三产区的区别在哪
中国韩国日本在线看高清
好妈妈韩国中字
国模露露客厅沙发
三叶草欧亚专线欧洲S码
黑土ちゃんが腿法娴熟を视
あの女の子は歌がうまいうえ
亚洲一线产区二线产区区
宝贝好紧好爽再搔一点试视频
艳姆1到6集转码在线观看1
日日啪夜夜爽天天干2017
水蜜桃色314
无人去码一码二码三码区
越碰人人在线公开视频
成为人免费高清完整视频
无人区码卡二卡1卡2卡三卡
鲍鱼最新地域网名是什么2022
鞠婧祎打扑克的全程视频
燕氏四个和尚播种
谁可以给我新版猫咪的地址
跳D放在里面上体育课是什么感觉
深田咏美在线视频无码
韩国打扑克牌的剧烈运动
77dizhi
交警用小XUE查酒驾H
鲸鱼夫妇120114
一小孩半夜给姐姐吃坤巴
没带罩子让他玩儿了一节课
打烊后仅剩二人的沙龙
张津瑜口卫生间
19岁的纯情国语版
95w乳液78wyw永久
从厨房到客厅一直C
和教练在车里撞了我三次怎么办啊
刘氏家族内乱换全文
日剧双人床上做剧烈运动作文
日本vodafonewifiAPP
我可以进入你的秘密花园么
金花瓶梅花6金花瓶
晚上剧烈摇床运动视频
张津瑜视频链接1080P
steve hopper dvd
缘之空第几集什么时候开的车
桃花在线观看视频播放免费
全美超模大赛第十五季
中国VPSWINDOWS野外农民工
去部队探亲一晚上很多次
百合劲爆做运动视频教程免费网站
姐姐说家里没人我们就亲亲
火影忍者禁图h大全
小SB就是欠C
14147最大但人文艺术
女子扒开腿让男生桶爽
海角.COMHJ3DCE
抽的越厉害声音叫的越大声音
农场ZOOM与人性ZOOM
迷情娇妻第104章在线阅读
小雪又胀又麻又酸又痒
爱情论坛观看路线二
夫外出被公侵犯中字电影
小婷又软又嫩又紧水又多的软件
一边亲着一面膜下奶韩剧动漫
魅力研习社41
MIYA收藏请牢记此区域
拔萝卜软件APP软件开发大全
没人的地方让你弄一下
数学课代表趴下让我桶免费网站
妈妈酒后误为我是爸爸
年轻的母亲最初中字7巴巴鱼汤饭
父母儿女媳妇一起来玩的说说
《上司部长出轨漂亮人妻》
一女战三男黑人发出惨叫
BGMBGMBGM老太太70
可以c女性角色拔萝卜的游戏手游
真人开车疼痛有声音
万花楼楼凤论坛
2012日本高清免费中文
欧美无人区码卡1卡2卡免费
GARY18CHINA
在教室里把跳d开到最大
转过去趴翘高点打完坐高脚凳
日本精品无人区卡1.卡
才三个指头就撑不住了
エロゲ母爱如山动漫免费观看
朋友的母亲9在观完整有限中字木
卫生间6分34秒
blued片在线观看高清
国产乱码卡1卡二卡3卡四卡
施主就让贫僧进去吧什么意思
欧美无mate30pro巨
变态生理研究会
班级公共玩具叶渺渺
免费中国最大但人文艺术
跳D放里面开最大是什么感觉
学长上课吃我的小兔兔作文
不行快拨出来现在是上课
七个人玩我一个
和朋友换娶妻a2020
老奶奶BGMBGM
亚洲尺码和欧洲尺码对照工具箱
我和黑帮大佬的365天
帮妺妺洗澡忍不住C了她作文
好满射太多了装不下了短视频
奶头被客人玩的又红又肿
18款禁用网站进入
单身男女2粤语
废旧厂房里和流浪狗做天本
忘忧草.WYC.IA
乐可车图片(长图)微
女生和女生一起打扑克差差
再插深点嗯好大好爽
不知火舞外星人
WRITEAS宋亚轩插
WRITE AS 自己掰
年轻的母亲6完有限中字
空姐前规则免费观看
他把我批日出水了
公交车后车座的疯狂C
动漫人物去掉小内打扑克游戏
WRITE AS 夹东西出门
最近中文字幕免费完整版2019
女人下边紧了好还是松点好
《上司部长出轨漂亮人妻》
下面一直湿漉漉的是怎么回事
亚瑟首页YASEE
双指探洞感觉要飞了
可C可拔萝卜女生小游戏
我想看胸片曝光
3分25秒痞幼视频是什么东西
段嘉许把手探进桑稚某处扩写篇
宝宝腿分得开点才不疼
麻豆专媒体一区二区
老婆的生日3Q开始
二人扑克剧烈运动视频教程视频
女儿的朋友3完有限中字木瓜
隔壁机长大叔是饿狼
加满1箱92号汽油多花15.5元
李信抬起阿离的腿就是C视频
大众女浴室高清摄像头
别墅轮换游戏五对情侣
双指探洞过程描述文
原神ちゃんが部下を腿法娴熟
云缨的乳液长什么样
在厨房要了朋友麻麻
侯马市性侵女生视频
孟十朵玉女春光图
男友咬我小兔子的感觉
宝贝我不想带小雨伞啦小说
用......用点力快到了视频
365天霸道总裁爱上我2免费观看
朴妮唛29分钟完整版
被自己家狗狗C了一天
老卫淑华在上船上
作业写着写着就插了起来
暖暖 视频 免费 高清 在线观看日本
一亲二膜三叉四强五注射
对象一直掐我的奶奶
公嗲嗯啊轻点公大ji巴
怎样揉自己的痘痘揉到腿软
女人半夜莲花开很难受怎么办
灌溉系统NPC游戏双男主
迈开腿尝尝你的草莓什么感觉
和孩子一起睡觉没控制住
三个搞你一个好不好
悠悠爱情药草香
为什么一加速女生就会哭
少妇各种鲍鱼p
大菠萝福建导航引导入口
六年级女生隐私里可以塞几支笔啊
中国speakingathome宾馆
健身私教弄了好几次PO
初中女生喊疼男生往里寨游戏
老师把筷子放进我P眼的作文
欧洲家庭史7726
好满射太多了装不下了A
被子里怎么无声自罚隐私作文
洗浴双响炮是什么意思
台湾佬中文网娱乐网
把手脚绑上拿刷子刷尿道孔
FREE?性护士VIDOS呻吟
人物动物交互狗剧情
2023AMAZON欧洲站
爸的大还是你老公的大
韩国乱码卡一卡二新区网站
日本免费一卡二卡三卡四
晚上开车又疼又叫的声音欢迎您
液体收集器系统hh的工作原理
宝贝几天没C你了
看见你的棒棒就想吃是什么歌
魔鬼公交车上的小黄说说
WRITE AS 多人PLAY
国产DB624色谱柱36521
在公交车最后一排被多人
动漫人物将机机插曲漫画下载
野花香HD免费高清版6高清版
acg里番资源站全彩
我们三个人一起要你行吗
高清vpswindows日本
往下边塞冰棒是一种什么体验
by1259改哪里了
卡一卡二卡三免费视频
国精产品99永久中国有限
我做错一题他们就C我一次
男男车车好快的车车流水视频
张津瑜视百度云
含羞草传媒隐藏路线2023网站
怎么把自己隐私位置玩哭?
无人区乱码与二码通的区别
校霸被学霸拿遥控器控制
女子学校储物柜3.0
刺激的乱亲初试云雨
打扑克时刚进去疼不疼
小蓝彩虹男男GARY2022
哥布林的窑洞百度云资源
videosdesexeen英国
女篮坎贝尔惊艳三部曲叫什么
甜蜜惩罚未增删带翻译樱花接
一体六交怎么做
性极强的岳让我满足
男生插曲女生视频完整
水蜜桃文化传媒
水都这么多了还装
疯狂厨房2双人3-5通关攻略
一边喘气一边叫做摸小兔兔作文
甜蜜的惩罚未增删带翻译整集樱花
yeezy380蜜桃粉和白色
write as 水果
鲍鱼最新地域网名是什么2022
这个杀手不眨眼2
教练在车里撞了我三次
99国精产品灬源码1688钻
史莱姆のエロ胡桃
男生说想在你身上滑滑梯
黑兽樱花未增删带翻译
公孙离卧床很享受表情图片
同时被几人C是一种怎样的体验
它起来了它想你了
大菠萝福建导航APP福引导网站
小汽车被两大货车挤压致1死
九一制作片场视频
帅气体育生GARY网站MV小蓝
一根肉枪肉遍天下美女
骨王OVERLORD第四季免费观看
小东西我们两个C你视频
脱色摇床实验室振荡器雷安
善良的老师3中字巴巴鱼汤饭
我喜欢几个人日一人我
污到爆的巨细文
两个人一前一后攻击舒服吗
400aicom情艺中心
黑白配HD高清
开小黄车详细描写
男朋友做到我下不了床
b站免费建网站
男生说帮他弄出来是什么意思
别急晚上英语老师就是你的人
撞得她说不出话来
我们四个人换着玩的感觉是
ai人脸替换李知恩造梦网站免费
斗罗大陆小舞给人桶的模拟器
晚上偷偷看B站免费视频软件投屏
女人扒开屁股爽桶30分钟
罩子没戴让捏了一节课
C到哭不止水好多动图
领导在没人的地方要了我
顶级大但人文艺术视频全美
他像疯了一样的索取
芳芳的性幸福生活18 章
侍卫把贵女怼树干
GGY钙2022调数
柚木提娜 ed2k
新金艳花瓶1-5集
女看了会流污水的段子网站
班长是我们班的存精器
作的女朋友叫的快哭了
好硬好湿好大再深一点动态图
喷泉1V3HL慕深
亚瑟2021入口
bgmbgmbgm老头野外
老师你下面好紧夹死了
做过爱的两个人会忘记彼此吗
西西里美丽传说完整
男神插曲女生的视频完整版漫画
最近韩国免费观看HD
父母儿女一家换着玩的文案
生物课上老师亲自给我们展示
最近中文字幕无吗
野花免费观看高清在线观看6
台湾swag是什么
皇上不可以(限)沈音
宝宝几天没做都湿成这样了作文
边做边爱BD免费看片
2017夜夜干精品
云缨去掉衣服黄
网站你懂我意思吧贴吧
他发疯地撞着他
中国小鲜肉GARY打桩
差差好痛30分钟
爱如潮水社区在线观看免费
我女朋友的妈妈4完整有翻译
最近更新2019中文字幕国语
bigbang中文网
韩国女主播 种子
卡一卡二新区无人区
做aj的姿势视频教程图片素材
CSGO暴躁小阿姨
善良的老师5有限中字丿
久久精品一卡二卡三卡四卡
Zoom人与Zoom巨大
黑料不打烊肾虚十八连入口
国产无人区一卡二卡3卡4卡在线
丰年经的继拇中文3
动物胶配方视频高清
女孩子用矿泉水瓶子行吗
不喊停就一直做
日本大但人文艺术
福利社体验区会试看
原神凝光肉身待客抬腿
秘密教学100话恩爱久等了
芭比之拇指姑娘
太长了撞到点了
两个男的是怎么开车的
我顶开妈妈的生命上之门目录
WNTPPS偷窃小便
中国RAPPERDISSSUBS老大妈
腿张大点就可以吃扇贝了
老丁的退休生活
姬骑士征服战争
圣城风云第二季
黑料网-独家爆料-曝光揭秘
正面上我啊BY炖了一锅毛血旺
人与动物PPT免费模板大全
中文精品卡1卡2.卡3.卡4.
md0065艾秋快递员服务品质
女生说拔萝卜是什么意思
日本XXXXXL19WASWAS
抖音奶片故意走漏
亚洲无砖码砖专区2023公司
污到爆的巨细文
主人我错了请把它关掉角色介绍
巜迈开腿让我看看你的森林
宝宝我们在楼梯里面做好吗
黑人缓慢而有力的往里挺视频
没带罩子让他吃了一天的药没事
JEALOUSVUE第一次
水蜜桃文化传媒www
年轻的保姆5完整视频观看
超pen个人视频公开视频
欧洲VODAFONEWIFI一区
成人文学俱乐部
SUNTEK中老年人女妈妈秋装
天降女子未增删带翻译整集
李宗瑞继母是谁
女生戴自动蝴蝶去上班的注意事项
嘿嘿漫画登录页面弹窗秋蝉
胡桃ちゃんに逝かせてもらう
如何骑枕头上下移动图片
如果这叫爱情感觉会很恶心
公交车上的小黄说说1000字
xXXXXL2022
美女扒开腿让男生桶免费看动态图
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1