有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
BGMBGMBGM老太太70
99精品与95优品
打扑克发出哼哼哼的声音
岳女二人名器共侍一夫的出处
邻家有女韩国4
GARY东北打桩机无套2023
王者荣耀公孙离脸红流眼泪表情
THERMO脱色摇床
13277大但人文艺术日本活动
亚洲一卡2卡3卡4卡国色天香app
考试不好就要当学校的坐便器
一边伸舌头一边快速喘气
漂亮的桃子5意大利语翻译
甘雨去掉小内趴在地上打扑克
门卫老头吮她的花蒂的主演是谁
少妇各种鲍鱼p
柳青青人体艺术
九一果冻制品厂最新电视剧红桃
可播放的STEVEHOPPER
YW193COC永久入口特点
和老妈一起出嫁
女生醉酒被闺蜜用宝宝背带背回
一二三四日本高清无吗
木乃伊盗墓迷城
大香煮伊芒果7815的特色功能
在教室里把跳d开到最大
亚洲AV片不卡无码久久尤物AV
男生把坤巴扎进女生的坤巴里
用电动牙刷自W到高C
太慢了能不能快一点
解放的潘多拉qvod
三国梦想大乔无惨
顶级RAPPER潮水仙踪林
老湿机影院试看十分钟
两对夫妇在野外帐篷交换
五十度灰 种子
未成年的女RAPPER
青梅被从小C到大H补课
无人区一码卡二卡三乱码
8X8X海外华人永久免费提供
亚洲XXXXXLMEDJYF邻居
放课后の优等生未增删有翻译
快好喷水视频连续登上热搜
TOBU7TOBU8大学生
山东龙口护士门
WRITEAS道具
小喜含不下了先出来吗
啦啦爱在线观看免费视频6
小东西几天没做水这么多水作文
痞幼黑料不打烊900张照片
女生男生一起差差差差带疼声
C人的教学视频
野草乱码一二三四区别
美空ayaka
潮湿的心HD完整版
少汪几句番外2(6)肉
哥布林洞窟樱花未增删带翻译
王者荣耀女英雄被捅的流眼泪翻白眼流口水
成熟交BGMBGMBGM中国
公翁的粗大放进我的秘密动漫
姐弟俩拔萝卜又疼又叫高新
漂亮的三年经的继拇4
男朋友老是吸我的小兔子图片
往下面一颗一颗塞珠子
背人伦而禽兽行十年而灭的意思是
迈开腿让我看一下小鸡蛋视频
绿巨人推广APP网站入口官网
人曾交互MOUSE
中文字字幕乱码播放
输了让同学玩全部位置
把姬小满C喷了视频最后爆掉了
大国手之胜者为王
云缨救公孙离把自己搭进去
趴在玻璃窗做给别人看的视频
消防糙汉VS水深火热
evelyn lin 迅雷
韩漫漫画页面登录漫画弹窗
19岁潮水RAPPER
简隋英哭着喊着让李玉退出去
电车 之狼攻略
成熟交BGMBGMBGM的价格
人与善交XUANWEN18
用笔怎么自己弄自己的小花园
一个男孩子顶哭另一个男孩子
2023国精产品一二二线眀星
迈开腿尝尝你的森林什么感觉
blackpinkmv4k高清黑白配
傻牛壮快把门关上别让人看见
善良的老师3中字巴巴鱼汤饭
品色堂永远的免费论坛
云缨救公孙离网址
双人床上扑克动作视频
14MAY18_XXXXXL放屁
公交车最后一排被群C的文章
人物动物交互狗片段
老师您的兔子好软水好多
旅游途中夫妻换着玩的说说
二指探洞很舒服吗
男朋友老是吸我的小兔子视频
好满射太多了装不下了真人
最近更新中文字幕
门卫老头吮她的花蒂在线观看
满清十大刑酷之凌迟快播
亚洲乱码在线卡一卡二卡新区
雍正睡了自己的女儿是哪一集
快穿之女配取液之旅H
bgmbgmbgm毛多多
无人区一码二码三码是什么意思
今日小鸡庄园答案
不被原谅的搜查官
把自己训练成小喷泉
拔擦拔擦8x8x网站
孙尚香站在板凳上给刘禅辅导作业
哈尔滨70岁丰满老熟女
维多利亚壹号未删减
三个人一起C你的感受
无人区玫瑰第二
清纯校花系列h文
妈妈从拒绝到迎和合
女儿就是用来给爸爸用的
首页艾斯S踩踏社区
果冻传媒MV国产推荐视频直接
嗯嗯宝宝叫点使劲难受吗 疼
约附近学生100元3小时
欧美日产幕乱码2021芒果
海角社区最新在线播放
果冻传媒母亲和女儿李琼
甘雨乳液狂飙图片黄XMAN
污到你那里滴水不止的作文1000字
黄到让你那里滴水
打扑克又疼又痛
鲍鱼网名区域2021
TOBU8-HD100
最新三级别推荐
一面亲膜上边奶一个膜边
佳柔和院长公的第一次视频
写的超细的开车过程的现言
宝宝怎么才两根就哭男男
张婉悠白蛇传完整版
潮湿的心HD完整版
女人迈开腿让男生吃草莓
女生看了会湿的污段子
顾氏双生子的玩具
二三四五六七无产乱码
男孩买来金戒指妈妈慌了
感受到我了吗大不大烫不烫
群飞杨幂赵丽颖刘亦菲
核子基因创始人张核子弟弟发声
为什么睡过黑人一次就回不去了
金刚杵大战肉莲花
晚上双人运动动作视频
他缓慢而有力的撞着王爷
往下边塞冰棒感觉
斗罗大陆2大乱斗交大第1
小东西几天没做水这么多视频
4虎永免费最新
两大央企总经理调整
夜里18款禁用图片
一亲二膜三叉四强五注射应用免费
TOBU18-25
在公交车上被一个接一个的C
极致沉迷TXL金银花
C到她乖黑暗森林小说笔趣阁
年轻的母亲5整有限中字
老卫和淑容全本
亚洲一线产区二线产区的区别
美女裸身无档图片视频
他日得我走不了路
国色天香卡2卡三卡4
27报女上男下动态图GIF图
好满射太多了装不下了免费看
从厨房一路顶撞到卧室
八戒八戒视频资源
宝宝我们到卫生间里做动漫
椒小BBWBBWBBWBBW
韩漫免费漫画入口页面弹窗登录入口
一个人看的片中文HD
爸爸的比老公的大好多
麻豆传播媒体2023最新网站
胡桃ゃんが腿法娴熟を视频
夹好去上学不能掉出来的作文
没带罩子让校霸C了一节
B痒了多久没C了
晚上给我通下水道
《和搜子居同的日子》
69无人区码一码二码三码七码
消失的她免费观影
在公交车上被蹭流水了怎么办
janetmason
日本卡一卡二新区
麻花传媒剧在线MV免费观看
野花视频最新免费高清
农夫网站导航大全
女装正太 my pico1
才几天没做你就叫成这样
久久只有这精品99
穿成男主的绿茶初恋
新版金银瓶1一5
家里没人叫大声点我想听
人类是如何交匹配的
重生之祝英台遇到马文才 在线
林念修是谁的秘书
小东西才一根手指就喊疼了
WRITEAS假阳
好男人视频社区2019
你好我的对面男友
HBFAXIA
缘之空哪集开的车
精品麻豆国产AV无码免费
渴了就喝水别扒拉我腿
野花高清在线视频免费观看720
97国产精华最好的产品价格
日出水了好深好涨
妈妈用身体做儿子生日礼物
往下边塞冰棒是一种什么体验
ぱらだいす天堂中文网Www
课代表趴下开让我桶30分钟全集
忘忧草在线影院www日本
年轻的妈妈9的中字巴巴鱼汤饭
被自己家狗狗C了一天
丫头刚开始会有点疼
杨思敏版1到5集国语版
小蓝视频基佬彩虹1086
雷电将军入夜狂飙高清壁纸
羞羞的漫画免费入口页面登录下载
课堂上时间暂停为所欲为在线阅读
用注射器打水放屁眼里的视频
见一次面做3次超详细
无人区乱码1区2区3区网站
撑起伽罗的腿疯狂输入的视频
今天晚上我控制不好速度
老谢小区保安赵敏老师
阿锵锵锵锵锵锵锵网站
韩漫免费漫画入口页面弹窗登录入口
刘涛下面的毛好长好长
国产精华液一区二区区别大吗
13一14处出血PPT
小鲜肉GARY2023飞机小蓝
王者荣耀孙尚香帮黄忠雄起
河南妇女毛深深的沟WCD
嗯又粗又长插的好深太舒服了
无人区玫瑰第二
国外精产品W灬源码16
一个男孩子顶哭另一个男孩
两男一女两根同进去舒服吗
热心的朝阳群众51cg3fun
美空ayaka
学渣做错一道题学霸就插一下
张津瑜事件聊天内容
用毛笔蘸下面洞里的水写字作文
放课后的职员室无删减
喜爱夜蒲2 粤语
被困住的我们韩剧
美女露出奶头扒开尿口让男人桶
麻花星空影视传媒制作公司
不顾一切地进入
老阿姨看到小鲜肉心动幽默说说
M必做自虐羞耻行为
女人迈开腿让男生吃菜的吃草莓
吃奶呻吟打开双腿做受是免费视频
宝宝的水喷得到处都是小作文
被体育老师c了一节林妙妙
罗马帝国的艳情史
野草乱码一二三区别
女人迈开腿男人要吃草莓
8008幸福宝官网隐藏入口教育
japonensis 19一20刚开始的
长城小队(上)(中)(下)
麻豆画精品传媒2021网站入口
如何用一根棉签玩哭自己
日本免费一卡二卡三卡四
俄罗斯大18但人文艺术
幼儿hiphop仙踪林张婉莹网站
炎の孕ませ发育身体测定2
青娱极品盛宴国产分类细腿
日本LINODEIPHONE6
年轻老师的滋味5在观整有限中字
打开腿吃你的扇贝什么意思污
70CHEAPWINDOWSVPS
韩漫漫画登录页面免费漫画看秋蝉
2828手机福利院
地下室偶像SANA未增删带翻译
金麟岂是池中物侯龙涛
扑克牌又痛又叫
逆徒快把你的东西拔出来
好姑娘7免费高清观看
女孩子坐男孩子身上有啥反应
黄色软件app下载3.0.3每天三次oppo版
嘿嘿漫免费漫画入口页面弹窗秋蝉
GAY无套GAYGAY宾馆
韩剧二人扑克剧烈运动
wuyuetiansese
日本人文艺术欣赏PPT图片下载
北方某KTV4男6女混乱轰趴
成品人直播大全
他低吼一声进入
来自俄罗斯的美国女RAPPER
WRITE AS 直播道具
亲爱的老师4中字在线完整版迅雷
学生的妈妈双字10字
我们换个方式做吧未增删动画樱花
午夜dj在线观看高清完整版国语
歪歪漫画漫画首页入
小东西几天没做喷了这么多
原神甘雨安慰部下C插画在哪
差差差视频30分钟时无掩盖
第一次3q大战的经过
曜给西施焯的脸红
国色天香精品一卡2卡3卡4公司
丰年轻的继拇2中文字幕
欧美最强RAPPER潮水
好涨水快流出来了图片
日本乱码卡1卡2卡三卡重新
甜蜜惩罚真人版
sdde 318
林浅浅被汆日常NP
WRITEAS边做边走
日本高清哔哩哔哩视频
免费VX雷电将军乳液网站
雨后的故事 动态图
BBOX残忍BASS马
引导狗狗干自己哪里
错一道题就往下面插一支笔怎么办
年轻的母亲 韩国
刻晴被盗宝团C的不能自理视频
鲍鱼tv最新网名2021
用毛笔蘸下面洞里的水写字作文
しぼっちうぞ我的电影网
一个人被2个人玩会坏掉吗
alb-219
24小时日本韩国免费看
亚洲码与欧洲码一二三四区别
在后车座上的疯狂做I
学长我们换个地方做小作文
男女上下摸高潮动态图
被多个人C是什么感觉
汤姆tom最新地域网名
五十度灰 种子
云缨新皮肤p掉衣服裸
野花香视频在线观看社区
侯马市性侵女生照片
雷电将军の罚ゲーム视频
啪嗒砰怎么召唤
欧洲无人区卡一卡二卡
爱情论坛观看路线二
花季传媒每天免费看三部
公交车里抓着摇曳的手环
哎呦我的宝贝真好喊爹什么曲
おじさんとわたし中文在线
羞羞漫画登录页面免费入口页面
穿越到随处做X的游戏世界
行吧有你春暖花开cc
MD豆传媒一二三区
蜜桃MV在线播放免费观看视频
国精产品一二二区传媒公司
老农民老干棒的媳妇果儿
TPU色母与PA6色母互换
涩涩屋绿巨人草莓榴莲秋葵
青年大学第十一季第二
XZL仙踪林一区
是不是B越小越好玩儿
5G天天奭多人 运动
比赛输了任对方看和玩部位一个月
真实的妇乱子伦
虫虫漫画页面在线阅读弹窗
JAPONENSISFES
19岁的RAPPER潮水仙踪林
把它夹住去跑步不能掉体育课渺渺
老狼信息网仙踪林八零婚纱摄影工作室
芭比之拇指姑娘
撞得她说不出话来
毛1卡2卡3卡4卡
怎样自w到高c有图片
男生把坤坤放入女生的坎
12岁PG可以塞下多少根棉签
重生之斗破后宫
国产传媒蜜果冻天美传媒
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1