有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
整部剧都在真做的剧韩剧
卡1卡2卡3乱码欧美
GRAHAMCOXON女儿
人曾交互mouse农场
蜜桃成熟时3 qvod
欧洲RAPPER潮水太多
13岁能放几个笔
权臣hlH十一月
漂亮的保姆3日本
电影性的欲求在线观看
三个徒弟C一个师傅
小S货又想挨C了叫大声点
女人吃男人精子图片
吃女朋友的扇贝的方法
ZZOOOOOOOOOSHOISHOU
拔萝卜又痛又叫
高铁上可以打扑克吗
妈妈的爱第一章
打扑克视频又疼又叫
公交车6人轮换C白月是啥?
班长哭着说不能再C了
离婚了让父亲体验了一次
成片人卡1卡2卡3手机免费看
疫情期间只能干老妈了
我一边做饭一边被躁了怎么回事
一层一层的剥开衣服视频讲解
王熙凤贾宝玉轿中大战
china农村夫妻homemade
海角精产国品一二三区别
张津瑜 VS吕总视频MV完整版
半夜家里没人妈妈就是你的人
深度开发1v3n
赵奕欢魏晨亲密照
日韩一卡二卡3卡四卡2022精品
麻花豆传媒剧国产MV的用户体验
天美传媒在线MV免费
英语老师让我捏她的小兔兔作文
怎样用一根棉签弄自己
动漫车车好快的车车图
坐在振动棒上写作业
品色堂永远免费的论坛
我与儿子发生了不该发生的事
linodeiphone孕妇视频
和闺蜜一起出门带电动玩具
双人床上互动图片
男朋友C你的时候你会说什么
家里没人叫大声点我想听
八重神子的神罚
在车里被撞了八次高C文
我离婚后经常和父亲做
津渝视频完整版1
草莓秋葵芭乐绿巨人
为什么抽的越快叫的越声音大
同桌的手探到我的衣服里知乎免费
被魔尊圈养的仙尊
GGY钙2022调数
中日产幕无线码一区
中国MACBOOKPRO高清
你看你流了这么多水还说不要
老公叫人一起换着玩
肚子装不下了尿液公交车
另一类Zoomcloudmeetings
高校1v3po
被机器人不知疲倦的干着
野花视频手机免费观看完整直播
欧美无人区码卡二卡3卡
冬至糙汉h1vl
非洲BBOOMBBOOM的含义
国精产品源码1688在线
WRITEAS掰腿
蜜桃成熟时期33d在手机观看
免费中文字幕日产乱码
色翁荡息肉欲小说合集
我与岳的风流韵事
深度开发1v6笔趣阁
中国VODAFONE喷浆
男孩子听到女孩子喘气会有感觉吗
潘金莲扬思敏全集1一5集
瑶遇见神鹿喷白水
五根一起会坏掉的好痛的
宝宝腿抬得高一点就不疼了
怎么一边喘气一边说嗯的声音
男孩子把淦男孩子弄哭的部位
开会被塞跳d开最大挡不能掉作文
月光视频在线观看免费版
亲爱的老师4韩国西瓜影音
棉签和冰块弄出牛奶视频
打扑克牌又疼又叫视频下载
交椅BY金银原文笔趣阁
IPX 528
晚上做运动打扑克声音
姐姐的朋友中线字
亚洲一线产区和二线区的区别
47最大但人文艺术摄影
可以对女生做什么都可以的手游
一边伸舌头一边快速喘气音
车后车座的疯狂的做细节视频
精灵の森へようこそ2
中日乱码卡一卡二仙踪林
腿张大点就不疼了
37大但文体艺术A级都市天气
男朋友说他有更大的棒棒糖
小东西几天没做水这么多视频
寄宿日记是83用深喉咙帮充电
一上一下做运动的动态表情包
王者荣耀女英雄被捅到流口水
9i传媒有限公司
2021年4虎的新地址是多少
老阿姨一直叫BILIBILI
第一次挺进苏雨萌
干柴烈火儿媳苏姐结局如何
如何玩自己的r头
欲体焚情百度影音
越往里越痛的那种视频
宝宝家里没人叫大点声厨房
坐公交车日了两个小朋友
国产无人区码卡功能齐全
国产无人区码一码二码三MBA
八重神子ちゃんの球棒的起源
他疯了一样在她身上
老师变成全体同学的玩具作文
春暖 花开cc炎狼
我十二岁就做了不干净的事怎么办
爱情鸟论坛免费观看大全在线
不再是朋友的夜晚2
韩国风俗媚娘全套图
张津瑜1080p百度网盘
最新三级别推荐
高清观看ZSHH96的视频素材
好刺激的打扑克软件
做错一道题就干学渣一次文
齐天大性大破盘丝洞
儿子把坤坤放入妈妈的坤坤里
大团圆结亲情会高洁
23部禽女乱小说
八重神子焯出白水来怎么办
做到让你怀孕的樱花动漫
体育课被老师C了一节课作文
换个地方做吧未增删动画动漫
小东西几天没做水又变多了
雷电将军乳液vx网站
迷情娇妻第104章
往下边塞水果后吸出来
韩国妈妈的朋友10整有限中字中国
人与畜禽共性的视频
我就是要在这里要你
八戒八戒视频资源
雷电将军八重神子被淦出水
八重神子被捅得流口水游戏
suck cock
夏季短袖女生乳突图片
老师哭着说不能再继续了
老公总是吃我的奶奶该怎么办
tokyo hot n0610
将冰葡萄放在小洞里
极品教师第二季免费观看
用大宝贝帮妈妈通下水道好吗
14MAY1XXXXXL麻豆
ZO2O女人另类ZO2O洗浴
老谢小区保安赵敏老师
欧洲女RAPPERDISS大
最近最好的2019中文
2022男钙GGY钙站
真人打扑克软件
草草药视频在线观看
污到你下面流污水的说说
满18点此安全转入2023
用胡萝卜弄到高C
引导狗狗干自己哪里
夜间刺激打扑克哔哩哔哩
小诗的公交车日记1一15文
敌伦小芳的第一次
小学生C小学生
冷淡总裁受下属攻H
抖音奶片故意走漏15秒
斗转星移明星合成图
善良的嫂子2字巴巴鱼汤饭
放进去岳就不挣扎了
我的漂亮女房东完整版电影
我C了白丝课代表一整节课
大号注射器放屁眼里灌注红酒
亚洲乱码一卡2卡3卡
漂亮的小峓子5中字巴巴鱼汤
与我同眠 下载
女生迈开腿打扑克又疼又痒
班长奖励我吃她的13的作文
受从打结的绳子上走
冰块一粒一粒往下边塞
推荐一款污的app
多人轮换c一个Hpo
善良的妈妈5中字巴巴鱼汤饭
中国 韩国 日本 免费看
儿子一晚上要了我五回怎么办呀
野花视频最新免费高清
在卫生间里打扑克
鱿鱼B2577直接进入的优势
快停下我是你老师的啊
小东西几天没做水这么多作文
蓝湛的肉车尺寸多大
欧洲最大但人文艺术114
东北大坑原始欲爱
宝宝我就在外面蹭一下爱情
暖暖视频日本版免费完整
队长不干净了[电竞]
大白屁HDHOOOPORND
个子矮的女生那里也很很浅吗
我和老妈一起嫁剧情
二指探洞好像要喷了一样的水
插曲视频30分钟
XRK1_3_0ARK在线观看人口
夏天短袖见到女同学乳突图片
7723日本电影免费观看完整版
被两个男人绑着玩好爽
哄孩子睡觉老公在侧面做
开心四房播播网
爱情岛路线1线路2线路3京东唯品会苏宁易购
儿媳太美味苏暖的
家里什么东西能当阳具
无人区码精华液
文轩WRITE.AS 抽肿被发现之后
王者西施享受还流着什么
男生女生一起差差差带痛声30分钟
倒插莲花是什么样子的
ZOOMSERVO兽狗
伊甸园一路二路三路四路入口位置
办公室狂肉校花H陈舒
开襟开叉乳液狂飙
成熟交BGMBGMBGM中国
yinseyinxiang
撕掉她的外衣和内衣
我朋友把我玩成了喷泉
向涟苍士献上纯洁未增删带翻译
马是怎样交匹配的
野兽的夜晚第一季忘不掉的前任
棒棒糖放屁眼里ss
美丽的小峓子4中字巴巴鱼汤饭W
英语课代表让我桶她的BB
用注射器打水放屁眼里的视频
男朋友C你时会说什么
夏天短袖侧面看见女生小馒头
联谊对象是肉食系警官末减版
女生喜不喜欢双指探洞
宝贝帮我套小雨伞的更新时间
非洲ZOOM人与ZOOM
姐家里没人用点力
老师下面太紧拔不出来怎么矫
我儿子比我老公的大
妇女被深耕过后有哪些表现
欧美精产国品一二三类产品特点
迈开腿吃尝尝你CH
Zoom美国另一类
在大街上打开遥控器开关
啦啦啦中文日本免费高清完整版一
mimk-009
腿再开大一点就不痛了
啊我们换个地方做...又加了
两个人一前一后攻击我感受
男孩子淦哭男孩子动图
MD豆传媒一二三区进站口在线
胸大的姑娘好看视频
一二三四在线播放免费观看中文版视频
女生往下边塞冰棒是一种什么体验
女生迈开腿让男生吃草莓膀胱
宝宝这才几天没做水就这么多
野花 高清 中文 免费 日本
电车之狼r 攻略
和老公打电话接顶的她说不出话
人成乱码一卡二卡三四卡无卡六卡
双人床上打扑克又痛又叫软件
非洲人性功能强大跟什么有关?
成人网小儿不宜
宝宝下面湿透了还嘴硬怎么回事
王者荣耀海月被捅到流口水表情
黑料不打烊tttzzz668.su官网
2012国语在线看免费直播
久久这里只有是精品23
国模全体超大尺度私拍
WRITEAS遥控器朝俞
啪啪啪视频大全高清
情爱游戏 韩国
HIGH PRESSURE PRISON
皇上开了太子妃的包
我是全公司的发泄玩具ih
星空乌鸦天美大象果冻
老赵抱着媛媛在厨房作爱视频
夜里100种禁用视频
年轻的母亲5整有限中字
岳的毛又黑又厚
ZOOM与人性BOOD
每天肚子里都是主人的尿
2015年4月里番
男爵夫人的调教
ZOOMDOG13
寄宿日记是83用深喉咙帮充电
晚上弄哭自己隐私的100种方法
董小宛 果冻传媒 麻豆
坐着吃饭还连在一起
情侣的一百种插秧法
最近更新中文字幕第1免费版
几天不做就湿成一片
日本动漫人物打扑克
几天不C水这么多
三个徒弟C一个师傅
和老师做了一节课的爱说说怎么写
中国XXXXXL19免费视频
男生坤坤放在女生坤坤叫什么
压在窗户上C给别人看
人间中毒无减删播放
和同学一天C了好几次小作文
2024钙GY钙站
大将军1V2LH
一个男生弄哭另外一个男生
100款禁用免费软件app下载
第一会所综合社区s001
撞击的速度越来越快公交车
妈妈的朋友10在观完整有限中
赵露思乳液凸出来了
善良的小峓子5中字巴巴鱼汤饭较
hym661水蜜桃
甘雨去内布料开襟XMAN
语文老师塞着跳D讲课
我帮娇妻找粗壮男人玩3P
叶玉卿 卿本佳人
CHINEAE体育生外卖系列
梁医生不可以(限)季亭亭
西方44大但人文艺术
很详细的肉肉床文片段
温远温行之洗手台上做
高清VPSWINDOWS69
王者荣耀瑶喷白水
想你1VLH最新
教室里英语课上插英语课代表
涨精装满肚子公交车
詹妮弗的肉体下载
麻豆传播媒体APP官网在线观看
18款禁用网站进入
晚上没人妈妈就是你的人
benpaobaxiongdi
涩涩屋草莓榴莲绿巨人秋葵
前一个后一个会撑坏的
丁香五月综合缴情月
戴着电动玩具逛超市
一个人偷偷看B站
让人看得留水水的故事
用牙齿轻吸咬小豆
月光在线观看免费
乌克兰10一12x video
人选之人造浪者
歪歪漫画登录页面免费漫画破网页
免费看不盖被子打扑克的软件
撑 趴 润滑 痛苦 求饶 BL
老板不让穿乳罩随时揉H
607080老太太AW
xiaav 因你而精彩
荒野大镖客2大妈一家
搞机TIME恶心10分钟直接打开网页不要钱
动态图27男舔女
网恋见面做H姜之鱼
厨房往下边塞冰棒
亚洲AV精品无码国产一区
上面一边亲下一边面膜是什么材质
父母儿女互换干对家庭成员的影响
好儿子今晚妈妈就是你一个人的
木马上凸起电动木棒
欧美一线高本道高清免费
md0070沈娜娜苏清歌团圆火锅
渺渺体育课夹按摩器跑步光阴
无限资源日本动漫版免费
张雨欣人文艺术欣赏
农村人乱弄一区二区的处罚方式
四个人换着玩春雨
公嗲嗯啊轻点公大JI巴给你视频
坐在硬邦邦的上面写作业
小蓝彩虹男男GARY2022
家里没人姐姐就是我的了
精产国品一二三产品区别9977
ati mobility radeon
女生让男生诵自己的诵视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1