有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
往下面一颗一颗塞珠子的故事
最近最新中文字幕大全免费
公交车撞到最里面去了细节
大菠萝福建导航APP福引导网站
大尺寸的小黄说字多肉小学
ekdv-273
哔哩哔哩床吻戏大全
爱情鸟免费论坛二
迈开腿让我看看小草莓
我十二岁就做了不干净的事怎么办
7000万嫁女
ACCA少女网课韩国
日本在B站直播
5G天天奭5G天天运动快点播5G16M
DH-NVR4116HS-HD
妈妈的职业中语版在看
高铁上要她了好几次
开车40分钟有痛感有声音
瘾欲欢愉半块小饼干
没带罩子被校霸C了一节课文视频
无限在线观看完整版免费直播
国模私处丨150P
无人区码卡二卡3卡4卡伊甸2卡
拔擦拔擦8X永久华人网址
戴了一天跳DAN感受
好满射太多了装不下了怎么办
浇灌妈妈肥沃的土地上架感言
40部AI明星造梦
带闺蜜出来玩被她老公说怎么回她
桃花洞口开香蕊落莓苔的意思
着迷 阿司匹林
97超碰在线视频人人av
开车疼痛有声音免费下载网站
公司办公室强C了我好多次
坐公交车失去了第一次
大团圆结闪闪发光继
五十路六十路完熟交换
香草乱码一二三四区别
棉花塞住下面不能尿
往下边塞水果后吸出来
结合处粘腻水声拍打声的预防方法
上一个楼梯就撞一下3
麻豆传播媒体2023最新网站
亚洲和欧洲一码二码区别在
19岁RAPPER潮水欢迎你
晚上双人运动动作视频
将夜2第3集大尺寸49秒
冲动的惩罚动漫HD在线播放
八重神子的神罚
放在里面睡觉一种怎样的感觉
教练在车内撞了我三次
孩子没有睡老公就侧面做
没有我的允许你一滴也别想尿出来
8008幸福宝官网隐藏入口教育
妈妈的朋友4女主角是谁演的
宝宝腿再抬高点就不疼了
坐公交车日了两个小时文章
伽罗といちゃつきたい腿法
家里没人叫大点声干湿你电影
正确进入30个方法图片大全
日产2021免费一区
一个奶下面一个鼎是什么字
小东西底下都是你的水
海角.COMHJ3DCE
三公主baby girl
护士张开腿被奷日出白浆
接电话被顶的说不出话
黄金网站APP视频
欧洲vodafonewifi侏儒
抽出含了一整夜的性器液体流
吃瓜网51cg7爆料
日文中字乱码一二三区别在哪
欧产日产天香区
亲爱的老师4韩剧中文字幕
我和小堂妺的第一次
打扑克发出哼哼哼的声音
老师的玉足伸进我的喉咙里
吃老婆扇贝吃肿了
大团圆结局公交车2
舌头探洞感觉要喷了水怎么回事儿
美国电影无法满足1980
男朋友说迈开腿让我检查一下作文
别急妈今晚就是你的
女孩迈开腿喂男孩吃草莓膀胱
厨房里的激战2精彩情节故事简介
段嘉衍路星辞肉车终身
小黄花必备软件推荐
麻花传媒XXYZ0076沈芯语
和朋友换娶妻一天
女人半夜莲花开大概时候几点
手指怎样自W到高C
男朋友说该插秧了
向涟仓式献上纯洁
地下偶像sana未增删带歌词
黑帮大佬的我的365日第二季
爱情岛论坛亚洲免费路线一
国产18禁巨制揭示人性奥秘
国精产品W灬源码1688在线N
王者荣耀西施张嘴流眼泪图
老师拜托授课到天亮吧
最近免费中文字幕完整版HD
人选之人造浪者
缓慢而有力的一下又一下视频
宝贝我不想带小雨伞了
妈妈的味道中文HD免费
它变大了你感觉到了吗
羞羞漫画登录页面免费漫画入口页面破解
上课没带罩子让捏了一节课怎么办
ピースエロじ天堂资源
漂亮的保姆3日本
16MAY19_XXXXXL
我的兔子好软水好多免费的网站
心急吃不了热豆腐
男生口中的滑滑梯是什么意思
重生之斗破后宫
受变成小人用棉签
宝贝腿开大点我添添公视频免费
写的比较细的开车片段贴吧
TOBU8美国7TOBU
evelyn lin 迅雷
炎の孕ませ发育身体2
人与畜禽Croproation网站
月光视频在线观看免费视频
腿再开一点我就可以吃到扇贝了
在公交车上被一个接一个的C
大学旅馆叫的厉害
新农夫成人导航
my19777换哪了
坐在学长的棒子上写作业
S货水都这么多了还装教官
小洞饿了想吃大香肠有限公司
晚上想吃你的黑葡萄
恋夜影院uc全部落频列表支持安卓
一层一层一层的剥开我的衣服
品色堂永久的免费论坛
新农夫成人导航
VICTORYDAY老大妈
JEALOUSVUE护士
迈开腿让尝尝你的小草莓什么意思
のおっぱい身体检测小小的身体
二人扑克剧烈视频运动
怎么让女朋友变成小喷泉
学长们一个一个来C
坐着震动器写作业的感觉作文
父母儿女媳妇一起来玩的说说心情
无人区一线二线
star-481
丝瓜 草莓 秋葵 榴莲
流了这么多还嘴硬这是在车上
2021最新一二三四五六三
打扑克剧烈运动又疼又叫的视频
长风渡叶世安为什么黑化了
CHINEAE体育生外卖系列
B级文件中文翻译完整版
把车开到没人的地方做
菊内留香 金银花
从校服到婚纱1H柠檬
亚洲AV精品乱码专区
桃花视频在线观看完整版
日产乱码一二三四五
言教授要撞坏了笔趣阁
男生淦哭男生的过程
为什么没人喝猪奶
麻花豆传媒在线MV免费版特色
上边一面亲下边一面膜描述
说服好兄弟让一堆人c我作文
亚洲精华国产精华精华液好
放在里面睡觉一种怎样的感觉
抱着公主走一步撞一下视频
老旺的大肉蟒进进出出视频
国产麻花豆剧传媒入口
下雨天留客天天留我不留
王者荣耀女生去掉小内皮肤无烟雾游戏
你们最疯狂的一次是在哪
我想用扇贝夹你的乌龟
私人IMAX家庭影院
让人看了想要做的文章1000字
边做饭一边躁狂怎么办呢
倒插莲花是什么样子的
鞠婧祎打扑克的全程视频
第一会所 欧美原创
老熟女重囗味HDXX70星空
炖肉计(是今)海棠
qvodsetup3
男生安慰自己的插画动漫
索多玛的一百二十天
豪妇荡乳1一5
为什么女的做过以后满面红光
好看的肉质高的短篇甜文知乎
我年轻的继坶2019
今天晚上让你哭着喊停
韩漫免费漫画入口页面弹窗登录入口
家长让我坐在振动器上写作业
linode日本iphone强汉视频
我好像找到你的敏感点了宝宝
日本一卡二卡三卡四卡无卡高清视频下载
国精产品三区四区有限公司
中文字幕看成电影乱码
男生的坤坤放在女生的坤坤里蘑菇
摇床和喘气声音音频一样吗
永久的免费论坛
日本一卡二卡3卡4卡乱码理论
疼插30分钟一卡二卡三卡四卡
精品无人区一码二码三码四码
精产国品一二三产区区别H
GOGOGO免费视频观看 高清韩国
宝贝我的手指长不长
老板不让穿乳罩随时揉H
浪小辉GARY2022小蓝
列车上的小黄说说1000字
老师穿白丝JK把我夹的好爽AV
坐在紫到发黑的木棒上写作业阅读
儿子耕种母亲的田地叫什么
和亲公主19楼
没有我的允许你一滴也别想尿出来
啊不可以坐不下去痛
一面亲上边一面膜下边打扑克
海角社区最新在线视频
18款禁用黄台入口APP应用
京东传媒精品jd009
吃女朋友的扇贝的正确方法
丑女图片越丑越好
爸爸车祸后让我代他让妈开心
傻大壮长的驴一样的东西
父亲缓慢而有力挺拔的句子
两阳夹一阴的双响炮后续走势
用......用点力快到了
writeas上层玩具
两个家庭换女儿玩
上课用跳D的经历
上楼梯时故意一点一点
国产mv果冻传媒
引导狗狗上自己
狗狗的东西一放里就变大视频
班级每人C了我半小时班长
老公带我去给别人玩
爆乳JUFD汗だく肉感
怎么样吃女朋友小扇贝
五十度灰 种子
男生口中的滑滑梯是什么意思
香肠和扇贝插在一起翻译英文
GC突然抽出来
永久的免费论坛
欧美尺码专线欧洲B1B1
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
宝宝桌子上都是你的水
奇米四色7777中文字幕
东北老女人大叫爽死啦
沈芯语天美传媒免费看
中国XXXXXL17仙踪林
4399看片免费观看大全
家里什么可以当阳具用
GAY空少被体育生开菊
才三根手指就嗨了
粉色APP下载无限看-丝瓜 安卓
北北北砂禁慢天堂
老师上课把跳D突然开到最大
WRITE AS 吸蒂
19岁辣妹图书馆
早就想在学校要你了免费阅读
把女朋友弄成小喷泉呢
男孩子和男孩子做到哭图片
有翡在线播放免费观看
做aj过程图片
含着睡觉是一种怎样的体验
ed2k 超市
国产一二三四2021精字窝
电车之狼r视频
宝宝在把腿敞开点一会儿就不疼了
一边亲一面膜下
性之图图吧2013
25岁女高中生
诗锦在公共汽车全文阅读
南昌一中掏脑子挖眼睛是怎么回事
朋友把我玩成小喷泉了怎么办
爸爸缓慢而有力的撞着
走路还在体内恶意顶
桃花社区在线观看
品色堂免费论坛
宝宝的水喷得到处都是小作文
王多鱼韩婧格博雅免费网站
欧洲精品不卡1卡2卡三卡
站着被口是一种什么样的体验
天美传媒剧国产剧情MV公司
涨精装满肚子用塞子堵住照片
BBOX撕裂入门头交
黄漫画画车车好快的车车哔哩哔哩
性少妇JEALOUSVUE片
公交车上两人双指探洞天气网
原神甘雨被空C出白色液体
痞幼视频3分25秒
我老公告诉我想睡我妈
最好的中文字幕视频
S货是不是想挨C叫大声点
男朋友是怎么玩你的
小科科黄版无限刷免费
公孙离去所有衣服床上
日韩中文字幕推理片
宝宝好久没C你了视频免费的
娇妻被领导抱进卧室
濡湿的车站未增删带翻译免费
2021麻豆剧果冻传媒入视频
美女脱了个精光露出奶囗和尿囗
67194免费手机观看
公与熄大战柔佳
purhub入口
宝宝你好夹啊都拉丝了游戏
婉莹满足了十几个农民工视频
个子矮的女生那里也很很浅吗
疯狂守寡多年的的肥岳
女人被两根茎同时进去图片
大团圆结亲情会高洁
桶三十分钟全教程
怎么奖励自己的隐私位置
扒开粉嫩小泬舌头伸进去视频
处处吻全程拉丝伸舌头声
车上后座多肉短文300字左右
在车里两个男人舔我
迈开腿让我看下你的小
麻麻熟睡让我滑进去了
欧亚精品卡一卡二卡三737
亲爱的老师韩国5看的电影
天美传媒在线MV免费
老师的小兔子好软水好多动漫
把我的香肠塞进你的甜甜圈
精产国品一二三区别9999
巜班长哭着喊着不能再C了
被几个人日的不能走路
亚洲videosgratis.tv0.
开车视频有声音疼痛软件免费下载
朝俞答错一道题的一支笔PLAY
zoomdog2019
96传媒制片厂制作视频
我想用扇贝夹你的乌龟什么意思啊
137VT最大但人文艺术A豆瓣
张婉悠厕所门快播
国精产品W灬源码网站1688
SMARTDRAW中文乱码
别怕放松我这是在爱你
打扑克全程不该盖被子
亚1州区2区3区4区产品国色
家里没人儿子就弄我
洗屋先生樱花未增删带翻译英文
蜜芽.768.MON二区忘忧草葫芦娃
男神插曲女生免费完整版
你的好大我的手都握不了
YIN荡体育课羞耻PLAY
A最大但人文艺术
国精产品一二三区别在哪里
在公交车上弄到高C怎么办
迈开腿让我尝尝你的扇贝漫画
迈开腿让我可以尝尝你的味道
一边亲一面膜下
小洞饿了想吃大香肠喝热牛奶
白丝脚上的浓浓的精华液
刺激打扑克摇床又全程不盖被子
丁香五月综合缴情月
麻花豆传媒剧国产免费MV入口
国产一产二产三精华液区别在哪里
韩国床震无遮掩视频
越看水流的越多的故事
我的儿子比我老公大
97国产精华最好的产品有哪些
77dizhi
psp太鼓达人dx dlc
18款禁用APP网站进入口
椒小BBWBBWBBWBBW
女生越痛男生越来越快
少妇搡BBBB搡
一旦试了黑人后你就不想回头
小SB是不是欠C了
宝贝我不想带小雨伞了
英语课代表让我c翻了视频
国精产品W灬源码1688伊在
小SB是不是欠C
4399看片HD免费
韩国电影办公室3免费完整版百度
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1