有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
讲课桌下面给老师口
解脱mm内衣小游戏
领导每天都要喝我的奶
草莓视频APP下载安装免费无限看-丝瓜安卓
两个男生是怎么开车的
三叶草M码和欧洲码的区别
心动时刻简简单单的享受
强行进入后为什么不挣扎了
给个网站你懂得
小城雨巷 高清
国产精品卡1卡2卡三卡四
走绳子打结PLAY
star 424
喷泉h1v3H
打扑克牌男女剧烈运动原声音频
俄罗斯人与ZOOM人的区别
痳麻让我挺进她的黑森林电子书
国产SUV精品一区二区33
秘密教学103私下你可以随意7
为什么你越叫顶的越猛
被扣的时候腿抖是怎么回事知乎
果冻传媒视频一二三区艾秋
岳今晚让我玩个够肥水一体探岳
精东传媒JDYL027李娜娜
奖励自己的隐私位置是什么
两个人免费视频高清播放
公主殿下的LOVE动漫全集播放
BabyCAT98女rapper
高压监狱三部分别叫什么
日产乱码区别免费
亲亲抱抱蹭蹭的刺激原声哔哩哔哩
黄到让你那里滴水的作文英语老师
桃花社区在线观看视频
第1章 厨房春潮
年轻的母亲6兔费线6
4399在线播放免费
太久永久回家地址TAI9.VIP 保存永不迷路
爱情岛免费网站路线一
帅小伙GARY
真三国无双bt
亚洲国产一卡2卡3卡4卡5公司
けんじゃたいむ黑土腿法娴熟
日产乱码区别免费
蜜芽.768.MON二区忘忧草葫芦娃
樱井莉亚百度影音
坐在木马的木棒上比赛作文
十字架与吸血姬
久亚洲一线产区二线产区三线区
一边亲着一面膜胸口的长视频
武易传奇登陆器
婆婆和狗玩声音很大
桃花韩国动漫免费官网
啊轻点灬公大JI巴又大又
日产无人区一线二线三线小说
tokyo hot n0727
小东西你要负责灭火
和教练在车里干了我三次
几个领导要一起睡我
女生让男生诵自己的己的讥讥
不喊停就一直做
国产未成女YOUNV仙踪林
老卫干淑荣死去活来
zhihuishu
19岁的纯情国语版
国内精品乱码卡一卡2卡三卡
gaogao8
姑娘日本大全免费观看版中文翻译
张津瑜视百度云
仍想结婚的女人
uyingyizu
大陆一姐RAPPER潮水太多
注射器放屁眼里灌注牛奶视频
久别的草原在线影院日本
小东西我找到你的敏感点了
缘之空全集高清在线观看樱花粉车
父亲在车里缓慢而有力的撞着
360大但人文艺术图
妈妈用棉花堵住不让尿喝水怎么办
德国女子突击队
鲤鱼乡 流出来了 合不上
免费无人区男男码卡二卡
2023无人区码一码二码三码
坐着学长硬硬的上面写作业
久久这里的只有是精品23
欧亚一卡二卡日本一卡二卡
夹看学长的巨大的几把写作业
双人床上互动大全
两个人免费完整视频高清
新不夜城 首页
性宝福丝瓜草莓芭乐小猪鸭脖
虫虫漫画页面在线阅读弹窗
软糯小受灌满哭求饶道具
减去小舞所有的衣服
C到她乖黑暗森林小说笔趣阁
鲍鱼tv5apk官网app
英语今天晚上让你桶个够的软件
善良的老师3中字巴巴鱼汤饭
在卫生间里打扑克
写的超细的开车过程
CSGO暴躁小阿姨
100款夜间禁用软件七客
亚洲宅男天堂在线观看无病毒
女看了会流污水的段子
旅行者的J桶进雷电将军的B
葫芦娃在线官网huluwa
都这么多水了还嘴硬这是在车上
儿媳妇夸我比她老公大古言
仆人犯错把筷子放屁眼里不能掉
歪歪漫画登录页面免费环球
小扫货水能么多叫出来
4399HD在线观看免费播放
对着镜子看着我们的结合部
手指怎样自W到高C
边走边撞水流了一地的水
农夫成人网站导航
欧美最强RAPPER潮水
日本畜禽CORPORATION
顶的速度越来越快越叫
宝宝腿开大点就不疼了免费视频
青梅竹马是消防二季未增删
免费剧烈运动扑克视频软件
肚子里都是他的JY和尿
国色天香一卡二卡三卡四卡视频
24小时免费看视频打扑克
色母u6与pA6色母区别
瘾欲欢愉作半块小饼干
适合夫妻之间看的麦片
黑龙江大学不雅视频
数学课代表的那真紧的作文
学渣含着学霸几巴的写作业的肉
日文中字乱码一二三区别
二人扑克剧烈运动打扑克视频
亚洲AV精品一区二区三区不卡
在她写作业的时候弄她
性能之巅第2版和第1版差异
欠c的玩意sb就是用来c的h
免费60分钟上大床
欧亚尺码专线欧洲
腿再张大一点就可以吃到扇贝了
马是怎么和人交流配的
午夜dj在线观看网
女生说疼男生越有劲的APP
最近韩国日本免费观看免费
韩剧我女朋友的男朋友不是我
最近中国韩国日本视频
中文在线3月23日快速反弹
女士不遮阴内搭图片
李宗瑞108集在线观看
长风渡叶世安为什么黑化了
爱情岛论坛永久入口首页
腿张大点就可以吃到扇贝免
夹看学长的巨大的几把写作业
两个奶被揉得又硬又翘怎么回
蜜芽miya188.mon牢记无限观看
剧烈运动扑克免费网站
51吃瓜APP
桃花视频在线观看免费
宁一荣荣开襟乳液狂飙
小学生被小学生插曲
两个奶头被吃得又翘又痛
highschool dxd
日本人文艺术欣赏PPT图片下载
大胸年轻的搜子
吃老婆扇贝吃肿了
大尺寸的小黄说字多肉有哪些
纵容的母爱第1一17段感悟50字
双人游戏BY春雨惊蛰
边做边爱3完整版视频
蜜芽.2722永不失联在线观看
善良的邻居4字
当兵的晚上都很猛吗为什么
国内精品一线二线三线区别
WRITEAS狠抽
日本一二三区别
无人区码二码乱码区别在哪
黑帮大佬和我的365日第2
雨后小故事 动态
王者女英雄去掉所有服装不遮挡没有烟雾
吃瓜网最新官网地址
今天接待了30厘米的客人
男朋友晚上都是怎么玩你的
公交车上要了无数次
ZOOM与人性BOOD
海角精产国品一二三区别在哪
yw193龙物安全
来吧儿子妈妈是你的人是什么
人成乱码一卡二卡三四卡无卡六卡
男男车车好快的车车有点污网站
500篇短篇合
一边膜上面一边下面膜韩国
边走边c1vn骨科
SWAG台湾官网地址
妈妈的朋友在完整有限中字第4
女式襟开免费地暖网站
男生把自己的手放到女生的qq里
二指探洞感觉要喷了
天天想你视频免费观看高清在线
二次元人物桶动漫人物免费
野花韩国日本高清免费5
无翼乌无遮挡全彩教师漫画
朋友把我玩成喷泉了怎么办
GARY2022钙片
没带罩子让他吃了一天的药没事吧
我把我的肥岳日出水来
帅小伙GARY
一抽一出BGM30分钟有声音老狼
九分十秒张津瑜
多毛小姐BGMBGMBGM胖
2018国产大陆天天弄
开拉链它想你了你想它吗
同校生2中文版
写的比较细的开车文章
日本动漫人物打扑克
迈开腿让我尝尝你的扇贝什么意思
暴躁CSGO妹子
已经塞了三个鸡蛋了
在线正能量网站地址链接免费
附近人100元一次服务
迈开腿让我尝尝你的扇贝故事
离婚后干前妻什么感觉
别人拿着跳D遥控器控制自己
二指探洞好像要喷了一样的水
雷电将军狂飙图片高清壁纸大全
一男一女在房间里打扑克是什么梗
KONANNARUTO纲手禁欲动漫
WRITEAS掰腿
甘雨被盗宝团挤椰奶图片
CSGO中暴躁少女的打法技巧
最近最新MV中文字幕国语免费
我的一次三门齐开
趴下皮带write as
女生越喊男生越要塞视频
大炕上开嫩苞小说
99国精产品灬源码1688小说
体CHINESE大学生宿舍飞机
张小雨洞毛照片
失恋三十三天小说
涨精装满肚子公交车
美国ZOOM人与ZOOM欧
国色天香精品一卡2卡3卡4
嗯嗯宝宝怎么啦难受吗 疼 好大
大菠萝福建网站引导入口
五个人一起会坏掉的小说
榴莲app推广链接
ati radeon
叫大声点今晚家里没人冷教授
男生插曲女生动漫版
大尺寸的小黄说字多肉小学
星空无限传媒XK 8027我的妹妹
朋友把我玩成喷泉了怎么办
品色堂永久论坛
又粗又硬又长受不了
妈妈的爱第一章
好痛太大了放不下的
什么叫女人半夜莲花开
适合自W看的文段
无人区一码二码三码四码区别在哪
差差漫画登录页面秋蝉免费
小子之偷采双圣
女婿次次有力杆杆到底笔趣阁
孩子玩着玩着就进去了
往下边塞玩具坐公交是什么感觉
在厨房里两只乳头被吸肿了
好朋友的母亲2完整有限中字木
三圾电影在线观看
男生把自己的手到女生的QQ里
soe-992
花季v3.0.2
大巴车轮轩诗歌摘抄
女孩遭性侵嫌犯被取保候审
想吃你前面的葡萄
蜜桃成熟时期33d在手机观看
公孙离去所有衣服被捅
王者荣耀瑶白色液体
姐家里没人用点力
日本免费一卡二卡三卡四
一亲二膜三叉四强五注射芒果
亚洲宅男天堂在线观看无病毒
日本最大但人文艺术欣赏的背景
吃一次饭做四次爱
生物课当着全班人的面做到高C
BEB-079
老司机带带我高清版
俄罗斯1317大但人文艺术
唐三手撕千仞雪衣服
迈开腿里草莓男人往里怼
女生迈开腿让男生吃草莓
张婉悠白蛇传完整版
和搜子居同的日子中文3
五根一起会坏掉的好痛的
几个健身房私教弄了好几次
hm因虚假宣传被罚
双人床上做运动模拟器
老师穿白丝JK把我夹的好爽AV
夫外出被公侵犯中字电影
姐姐说家里没人可以C
女人被老外躁得好爽
在裙子里做运动
sky-258
公交车舒婷1一20全文
资源你懂我意思吧
泰国淫乐园实录
校霸犯错被学霸罚带钢笔去上课
激烈的打扑克的视频
一面亲上边一面膜下边文字的含义
喷泉1V3HL
公交车伦流澡到高潮HNP电影
最新果冻传媒MV在线观看视频
WRITE.AS罚坐
我年轻漂亮的继坶8
狗链M项圈女母狗牵引绳铃铛
输了让对方随便处置作文1000字
旧里番肉欲に堕ちた牝たち
僧侣有肾不走心在线观看免费
有效投资持续扩大
性姿势48个动图
infinite stratos2
东北女人下面痒直叫
国产一卡2卡3卡4卡国色
freex性欧美xvideos
打扑克又叫又喊疼的软件
老人船上弄雨婷第12章
坐在木棒上写作业高V
psp碧之轨迹存档
隔壁机长大叔是饿狼
中国VODAFONEWIFI粗暴最新版
被学长C了一节课作文
小洞饿了想吃大香肠怎么办
腿打开一点就能吃扇贝了
灰熊最后6分钟在哪可以听
舌绕指探洞深深浅
桃花社区视频在线播放
人的能进入羊的水门吗
王者荣耀伽罗爽上天的表情
喜欢和大肚子孕妇睡觉
家庭教师hitman reborn
大尺寸的小黄车说说公交
JAKEANDRICH.手冲
只要有爱就算是哥哥
乖我们在水里试一试
搜同 2023地址 ipv6
终于你离开我的世界
love rain
美女裸露双奶头屁股无裸体
精产国品一二三产区区别9977
幼儿hiphop张婉莹仙踪网
色达天藏图片砍尸视频
乖张大点一下就不痛了软件
樱井莉亚电影下载
免费日产区2021
公交车被蹭的流水了怎么办
黑人大荫道BBWBBB高潮潮喷
最新三级别推荐
搞机TIME恶心直接打开的不用下载嘉兴圈
607080老太太AW
污污的文章 看了会出水
精产国品一二三产品99
跳D放在里面坐公交
聂小雨黑色皮衣5分37秒知乎
往下边塞玉器见客人
叫大点声反正晚上没人
五个黑人玩一个女5P
大尺寸的小黄说说1000字男生
运动员们的玩物
为什么放里面要动呢
人与善人与善在线观看
仙踪林19岁RAPPER潮水仙踪林
女婿提那要求怎么办
宝贝 我不想带小雨伞
自制安慰小玩具
男人喜欢让你亲他私下代表什么呢
大炕上开嫩苞小说
97精产国品一二三产区区别
段嘉许把手指探了进去是什么意思
男生压着女生的身体的原因
家里没人儿子就弄我了
老师教久别的草原视频
我的小兔兔被男生咬着的感觉
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1