有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
三级电线在2019
tokyo hot n0750
沈兰舟桌子下口扩写
摇床和喘气声音音频一样正常吗
18款禁用软件APP下载网页
班主任是班级的公共玩具作文
兽兽门全套照片
男女晚上做运动生宝宝好吗
在恩爱时发出嘤嘤的声音视频
爸妈儿女换着来玩的说说心情
斗罗大陆唐三爆桶波塞西3
被公司领导C了好几次
干柴烈火儿媳苏姐结局是什么
真空挤地铁有反应了
三门齐开女人疼苦吗
pilipili噼哩噼哩最新版黄的
小SAO货大JI拨CAO死你
老板一个月都要玩我几次
宝宝你看你喷的到处都是作文
坐公交车最后一排轮
适合夫妻之间看的麦片
不用付费的打扑克的直播软件下载
鬼灭之刃蝴蝶忍被按在地上草
YSL热门蜜桃色
欧洲最大但人文艺术1588
老狼卡二卡三卡四卡二
你的太大我的装不下
宝贝低头看看我是怎么爱你的
体育老师把渺渺C了一节课作文
男生把自己的手到女生的QQ里
蜜芽永不失联网址miya737.mon
王者荣耀瑶嘴巴里含着铁球视频
俄罗斯ZOOM与人性ZOOM
师奶杀手是什么意思
化学实验室学霸做哭学渣
缘之空全集高清在线观看樱花粉车
tokyo hot n0640
顶的速度越来越快越叫的作文
国产MV在线天堂MV免费观看
旅行者骑在甘雨上做运动
三一起C你的感受
陌陌万人睡小华佗视频
写得很细的开车秒湿
日产乱码一二三区别免费一看
汤姆叔叔永久转入接口
太子被暗卫C到合不扰腿
如何自罚隐私又不伤害隐私
漂亮的小峓子5中字巴巴巴鱼汤
蜜芽忘忧草768MON二区忘忧草
胡桃玩旅行者的小坤坤网站
妈妈的朋4线观高清
开车视频有声音免费软件APP大全下载安装
bgmbgmbgm老太太毛多多1
国内精品卡1卡2卡区别
学长往下边塞冰棒的小说
OVERLORD第四季在线播放
美丽教师来我家
XMXMXM18美国
两个人看的www免费高清直播
国模欢欢超大尺度炮轰
把腿把开学长都给你高
一面亲着一面膜胸口一面膜下部位
我才上六年级就C过了作文
开会被塞跳d开最大挡不能掉
啊轻点灬公大JI巴又大又
接待一个20厘米长的客人
漂亮妈妈中文4
晚上睡不着偷偷看B站
被男生抱着啃脖子的感觉
疯狂厨房2双人3-5通关攻略
一个妈妈的女儿BD在线播放
4ayy私人影院
巧干朋友娇妻小怡
一次性接待5个客人
我家狗狗弄了我4个多小时的尿片
4p被三个男的舔全过程
不知节制地索要
小丹乖让我再进去一次的导演是谁
51精产国品一二三产区区
182tv观免费现看
认命吧!金牵牛
江疏影2分28秒在线观看
亚洲2023无矿砖码砖区
与邻居换娶妻子2在线观看
bgmbgmbgm老妇60
吃饭时某处紧密连接在一起视频
雨后的小故事 动态
桃花在线观看免费高清动漫
没带罩子让他吃了一天的药有事吗
最近更新2019中文字幕
韩国年轻的老师5
为什么狗狗放我里面就变大图片
伽罗躺床流白色分泌物大图
日文中字乱码一二三区别在哪儿呢
my pico
第一会所s001最新地址
儿子耕种母亲的田地叫什么
丰满圆润大胸在线
一个人夜里偷偷看b站怎么办
仙踪林入口欢迎你老狼
言教授要撞坏了笔趣阁相似的小说
404黄台软件进入网站
电车之狼r图文攻略
绿巨人二维码推广
羞羞漫画登录页面免费漫画在线入口页面
今天晚上我控制不好速度
强行挺进朋友漂亮的娇妻作者
如何玩自己的R头到腿软
韩国最大但人文艺术
日产VS国产VS韩产
两个人的BD高清视频免费
附近人100元一次去她家
大孔雀和美丽姐的故事
老婆的扇贝张开口了还能吃吗
我想吃你的小白兔
性宝福丝瓜草莓芭乐小猪鸭脖
97国产精华最好的产品
车子一晃一晃就C进肉了的游戏
宝贝需要滋润了
黄鳝21分钟40秒完整版
臭小子我是你岳...你不能
亚瑟YASEE2021在线观看
西方37大但人文艺术任汾A级
两个人一前一后的动了起来
长城守卫军花木兰被草
精产国品一产区
一边喘气一边叫做摸小兔兔
情感的禁区电影日本
含羞草完整视频在线播放
妈的身子今天就是你的
WRITE AS 直播道具
无人区免费一二三四乱码
闫凤娇厕所门事件
老卫抱着淑蓉进房间导演是谁
宝宝腿再抬高一点好不好
怨妇.狂娃.疯杀手
narto henta
花季app下载3.0.2黄软件怎么下载
彩虹男GARY视频2022
宝宝腿再趴开一点就不疼了为什么
天美果冻蜜桃精东传媒
BBOX撕裂BASS孕妇公交车
公交车撞到最里面去了视频
天天躁夜夜踩很很踩2022
校长办公室里狂肉校花
引导狗狗上自己
坐在学霸的鸡上背单词
浮力影视最新发地址
日本畜禽CORPORATION
一亲二膜三叉四强五注射应用免费
日本在B站直播
男神插曲女生的视频完整版漫画
好看的三圾片名字
国产麻花豆剧传媒精品MV
欧美A级SUV大全
太长了撞到点了
大菠萝导航福建app
国精产品一品二品在
亚洲乱码卡1卡2卡新区乱码
抱着宝宝坐下太猛
英语老师没戴让我c了一节
中国VPSWINDOWS野外农民工
王者荣耀西施嘴巴里含着口水
无翼乌老师漫画漫画全集
BRANDILOVEMISSIONARYACTION
小女孩吃小男孩小叮叮游戏
聂小雨视频3分25哪里可以看
男朋友咬小兔兔时怎么回应他
3DNAGOONIMATION_HONKAI动漫
输了让同学玩隐私位置游戏
16岁女生迈开腿打扑克正常吗
两个奶被揉得又硬又翘怎么回
摇床和喘气声音
鞠婧祎打扑克的全程视频
帅气体育生GARY网站MV动漫
精品国内片67194
宝宝是我撞进入还是你坐视频
老公当你面吃婆婆咪吗
按住腰往上顶弄 滚烫
很详细的肉肉床文过程
公交车车站最后一排被多人玩
abp-279
宝贝打开腿一点也不疼
平时很硬一到办事时候就软怎么办
仰起头!看见2023的中国
精品卡一卡二新区仙踪林
和搜子同屋的日子3
爱福利视频广场福利视频
爱的阴暗面 百度影音
女生棒棒糖放屁眼里不能掉
LINODE娇小IPHONE69
父母儿女媳妇一起来玩的说说心情
4399看片HD免费
国产精品女主播主要上线
榴莲app推广链接
两个人看的片BD
羞羞的漫画免费入口页面登录下载
双人床上做的运动打扑克的软件
被抱起来C是一种什么体验
当兵的晚上都很猛吗为什么
潘甜甜果冻传媒七夕连接
163女性黄页
12星座离奇事件柳岩
星空传媒XK8004的未来发展
无尺码精品产品
精品成品国色天香卡一卡三
再把腿X开一点就可以吃
10款禁用软件永久无限大全
wallpaper原神18入
家教老师 考满分就能一整天
一旦试了黑人后你就不想回头
男生把坤坤放女生坤坤的蘑菇视频
麻豆传煤入口直接进入免费版下载
张津渝三部曲都在哪看
把自己自W到流泪
国精产品WNW2544A
幻音 腐 肉补钙鸭
欧洲乱码卡一卡二
歪歪漫画登录页面环球在线看
他的手探到我的衣服在做什么
女生把自己隐私给异性朋友
夹看学长的巨大的J把写作业小说
杀帝的闪婚恋人
家教老师 考满分就能一整天
娇妻两根一起进3p视频
羞羞漫画官方登录页面免费漫画弹窗破解版
一对多校园pop
把冰块夹好了不能掉出来的方法
多地考研成绩公布
这几天没C你了是不是SB痒了
才几天没做你就叫成这样了
爸爸说家里没人可以C了
赵露思的乳液头被吃
台湾MD豆传媒一区二区
下雨天留客天留我不留
波多野结衣加嘞比在线观看
变成黑皮肤和朋友做了无删
张津瑜视频七段
迈开腿吃尝尝你的小草莓感觉
黑料正能量 张津瑜
春纪我们约会吧
动漫人物打扑克牌的剧烈运动
娇妻玩4P被3个男子伺候电影
浪小辉与空少酒店我3pXVIDEOS
农村情侣电动车野战
爱情岛论坛网亚洲品质
爱情岛论坛首页永久入口
甘雨去内布料开襟XMAN
仙女棒坐着使用图片黄
初中生一起床差差差的场景
做错一到题就插一下的写小作文
日本动态120秒免费
14岁女RAPPER
考的好妈妈就给你一次
俄罗斯13 14处
老人猛的挺进莹莹体内视频
精产国品一二三产区区别在哪
小柔在舞蹈室里被蹂躏
学渣坐在学霸的鸡叭上写作业
W78W78W乳液永久十大排名
迈开腿男人往里怼女人做法
黄金网站app日本免费
御书屋御宅屋高辣H
公与妇仑乱HD
18分钟处破女好痛
把英语课代表做哭了视频
很详细的肉肉床文过程
一本大道色卡1卡2卡3
同桌把我拉到他家做了作文1000字
最好玩的B是哪一种L
男朋友老是吸我的小兔子
木马木棒动得好快bl
将皇后送去军营慰问三军
我的好妈妈免费观看冰河局电视剧
菠萝蜜一二线产区
欠c的玩意sb就是用来c的
无人区码卡二卡1卡2卡三卡
chinese东北体育生打飞视频
4HU四虎永久在线观看
边做边爱完整版3在线
美女视频脱空一净二净
穿戴式跳D放在里面坐公交车
我控制不住我想要你
公主殿下微臣馋了玉U势灵犀
魅力研习社避孕套
把女朋友弄成小喷泉的手势
东北speaking
如何拿一根筷子玩哭自己
欧美精产国品一二三产品区别在哪
无人区乱码二线三线
好满射太多了装不下了A
野草高清视频免费
没带罩子让他吃了一天的药没事吧
被自己造的机器人C了
健身私教弄了好几次
双人床上做的运动剧烈打扑克
大炕上各弄各的
春暖花开吧有你cc
三叔一次又一次索要
精产国品一产区
18分钟处破女好痛
wuyuetiansese
10tpu色母与pa6色母
消失的她免费观影
黑料吃瓜网曝门黑料社
被逃生游戏npc做哭
年轻水嫩的漂亮大学美女酒店
用牙齿轻吸咬小豆
动漫人物将机机插曲漫画图片视频
鲍鱼最新地域网名2021查询
麻花传MD0174沈娜娜
让儿子上几回了
撞进妈妈的生命之门
段嘉许把手探进桑稚某处扩写篇
厨房往下边塞冰棒
癫马女郎之一夜情
日本精品一线二线三线区别在哪里啊
MAYA我们严重反对未成年访问
我和黑帮老大的365天完整版
欧美无人区码卡二三卡
撩到女生下面滴水的句子
人的能进入羊的水门吗
WRITEAS怀孕涨奶
天美传媒MV免费观看软件的特点
家长会上爸爸们灌满幼儿园老师
八重神子流乳液
多肉的糙汉1H
日本HIPHOP大师YOKOI
情侣的30种插秧法
刚开始是拒绝的后来太舒服了
人物动物交互狗第1集
柳岩十二星座离奇事件
tokyo hot n0640
爱情爱情岛论坛线路播放1
1V3多肉玉娇香HHHH视频
打扑克剧烈运动软件
1069男男贴图
一小孩儿半夜给女孩吃坤巴
爸爸的东西又弯又长怎么办
19岁macbookpro日本
重生之祝英台遇到马文才全文免费
我被猪鞭螺旋状进入的
仙女棒坐姿图片大全
公交车撞到最里面去了
搞机TIME恶心直接打开的不用下载嘉兴
公交车有人要了我几次
日本无人区1码2码区别
爸爸妈妈为什么夜里摇床还叫
大尺寸的小黄说字多肉医生
欧洲最大但人文艺术114
8X8X网最新地址
坐在学霸的棒棒上写作业视频
成绩好妈妈就给我一次作文
公交车售票员按尺寸大小20cm
另类老太婆BBWBBW
女儿国3在线观看免费版高清
既是母亲又是老婆
偷玩山村粗壮肥妇女
张津瑜 主持人
星空天美mv视频大全免费观看
朋友韩国线观高清2
小东西多久没c了
ssni229
父母儿女媳妇一起来玩的说说
没带罩子让捏了一节课怎么办
初次见面四秒就合体
车各种姿势长图微博
满18点此安全转入2023
汤加丽露生殖147图片
学渣做错一道题学霸就插一下
从厨房一路干到卧室好吗
好诱人的搜子未删减在线观看
帅气体育生GARY网站MV网站
精品成品国色天香卡一卡MBA
边走边c1vn骨科
同校生2中文版
棉签play是什么东西
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1