有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
把冰葡萄一颗一颗往下体塞
古老传奇之凤舞九天
秘密教学90话以后绝不再压抑秋蝉
2024钙GY钙站
第一版主 01bz
哥布林洞窟未增删开车原声视频
用你的舌头搅拌着我的下面
迷情娇妻第104章在线阅读
最好韩国日本免费
跳D放里面开最大是什么感觉
没带罩子被校霸C了一节课文视频
锕锵锵锵铜铜铜铜好大
从拒绝到接受3q老黑
我和小娻孑在车上全集
杨思敏1一5集手机版
吃八重神子的乳液的游戏
两个男孩子开车长图文
同桌的手探到我的衣服里知乎免费
亚洲一二三无人区分别是哪
艳娒1一6全集无删减版
108式春床图片欣赏
zoom与人性zoom视频
姐姐说家里没人我们可以在一起吗
破了两个学生的花苞
家里没人儿子就弄我了什么意思
2018国产大陆天天弄
歪歪漫画登录入口免费
一线二线无人区乱码
暴躁妹妹csgo独特玩法揭秘
被C到醒是一种怎样的体验
蜜芽忘忧草老狼二区大豆
同桌上课打开我的腿放震动蛋
WRITEAS趴腿上
久久精品一卡二卡三卡四卡
全家一起来黄霞徐家大团圆
晚上做剧烈运动视频教程
旅游途中夫妻换着玩的说说搞笑
随时随地都能干的学校HR
男男车车好快的车车
天美传媒公司宣传片视频大全
同吃一家三女齐上阵
黄沙视频在线观看WWW官网
1v3多肉小公主
被子里怎么无声自罚隐私方法
早上起床前要抱紧我风车动漫
最近中文字幕国语免费高清4
bbox撕裂bass后门
CHINESE体育生东北露脸SOLO
一次又一次的索取
把班长拉去没人的地方
女士不遮阴内搭图片高清大图大全
开车视频有声音免费软件APP大全下载安装
国色天香直播在线播放
妈妈的男朋友2线观 高清
另类极品VPSWINDOWS
苏家小媳妇1V3小说
日本ZLJZLJZLJZLJ喷液
年轻漂亮的女教师2
原神凝光肉身待客抬腿
三个人每人c我半小时怎么办
细讲男朋友是怎么c你的
成都工行艳照门
亚洲一线产区二线产区区
僧侣有肾不走心在线观看免费
斗罗大陆阿银被训成狗
成绩差成为全班的玩具
xiaodiaowang
儿子把坤坤放入妈妈的坤坤里的
欧洲一卡二卡三卡 公司
英语老师没戴罩子让我抄了
日本插槽X8插槽
数学老师叫我吃她的小兔兔
14MAY18_XXXXXL56ENDIANMOGO
我朋友的年轻搜子2在线播放
可以做X的手机游戏
人妻妺妺窝人体色WWW聚色窝
宝宝打开腿让我尝尝你的扇贝
writeas
老阿姨在CSGO中的经典比赛
宝贝低头看看我是怎么爱你的
大巴车最后一排被C细节
公交车上荫蒂添的好舒服口述小说
GOGOGO在线播放中国
沈阳45岁老阿姨喷了好几次
男生把坤坤放入女生的坎
漂亮老师 2韩国完整版
爱情岛论坛免费观看路线二
中国新疆XXXXXL19学生申中国
觉得隔布顶住花蕊
健身私教弄了好几次PO
CEKC妇女毛多啊BN
高清男女之间射精
你的水喷得到处都是
果冻传媒MV免费观看大全
人多一起换着玩
我的XL司第三季免费观看翻译
永久的免费论坛
被C是什么感受
妈妈的朋友在完整有限中字
谁输了去谁家受罚小红和小明
戴自动蝴蝶去上学不能掉出来作文
无尺码精品产品
皇帝在御花园进入贵妃的小说
高嫁肉柳1一4集BT
我想吃你的小白兔
啊我们换个地方做...又加了
无人区码卡二卡乱码
我和姪女小婷上下耸动
CHINA篮球体育飞机2023
丰裕纵满杨玉环2
黑料不打烊tttzzz668.su官网
爸叫我替他让妈快乐
唐三和比比东乳液
国精产品自线六区
在英语课上用j插英语课代表作文
姜汁撞奶POH之初
充气娃娃怎么用
被C哭是一种什么感受
跟女婿发生关的有吗
老师的兔子好多软水好多动漫
王者荣耀女英雄正能量2000张图片
啊接到一个30厘米长的客人
GAY大陆年轻帅小伙2022
刮伦后心理咨询
阿离掀开自己副乳的视频
差差差很疼视频30分钟轮滑网
野花视频高清在线观看
无限资源第1页2018在线观看
成长人雏鸟pro19幼儿版特色
新不夜城 首页
日本高清一卡二卡三卡四卡无卡
日产韩版精品一线二线三线区
原神雷神去掉小内图片
C的里面太满了
原神甘雨安慰部下CG插画在哪
卫老汉与淑蓉第一次
老赵抱着媛媛在厨房做饭视频大全
《着迷》 阿司匹林
柳州莫菁门事件
囯产精品一区二区三区线
一个农夫色导航
bgmbgmbgm老太太俄罗斯
搞机time恶心
把红酒倒入B里喝掉
麻豆国内剧果冻传媒网站
狗的东西比男朋友还大
身体秘密感官世界
公主往下边塞玉器
换个方式做吧未增删动第一集
国产一码二码三码区别
中日乱码卡一卡二仙踪林
具体描写被C的过程
用我的手指搅乱吧2未增删翻译
二十四种b型图
乳头是软的百分百没怀孕
美女杀手摧花狂
原神雷电将军的俘虏生活
欧美lauren philips100
宝贝它想你了感受到了吗车上
彩虹男GARY视频2023入口
宝宝看镜子里我们的结合
看镜子里我们的结合的地方科学
乖好好含着待会就给你
坐摩托车车进入身体
拔萝卜床上运动又疼又叫
燕氏被四个和尚播种
4HU四虎永久在线观看
女生越说疼男生越往里寒
幻音 腐 肉补钙
潘金莲高清DVD碟片
妈妈的朋友4在完整有限中字第5
女BBWBBWBBWBBW
国精产品 自偷自偷
女头粉色部位上半身大胸头像
年轻老师的滋味5在观整有限中字
一面亲上边一面膜下边的应用
国内九一激情白浆发布
想你1VLH最新
抱着公主走一步撞一下的小说
王总别在卫生间好吗
妈妈的朋友4完整视频有翻译木
木乃伊盗墓迷城
最近中文字幕MV在线视频2018
三个人C同一个
78MAP打扑克视频
差差好痛30分钟
斗罗大陆女生去掉所有服装软件
成品禁用短视频app推荐下载
汤加丽露生殖147图片
MINUS8法老猫
ZOOM人与ZOOMWIDS
几天不见这么多水想不想要
小东西是不是又想吃棒棒糖了
WRITEAS军校
69无人区码一二三四区别
小东西水那么多还说不要视频
将夜2第3集大尺视频
老师上课把跳D突然被开到最大
墨燃把楚晚宁按着干188章
美女杀手催花狂
希儿乳液狂飙W天堂98
妈妈的朋友2在完整有限中字
处钕膜被捅图片
迷人的保姆3线观高清
用毛笔蘸下面洞里的水写字作文
来吧儿子妈妈是你的人是什么
教练把车开到没人的地方阅读
夏天校服太透了R头凸出来了
老何船上弄雨婷第14章
成品网站W灬源码16
老师太粗不行坐不下去
又大又硬又粗再深一点
差差差很疼30分钟无掩盖视频
妙洁一次性合家欢
中文字幕一线产区和二线区的区别
午夜4k最新福利
每走一步就深深的撞一下
无人区码卡二卡乱码
日本是人类吗?
xiaav 因你而精彩
有种你倒是公开小说
黑土ちゃんが腿法娴熟を视
亲爱的老师3韩国完整
下面都湿透了还嘴硬疼咋回事呢
老公是怎么上你们的
2018国产大陆天天弄
鹡鸰女神第1季
被压到落地玻璃窗前doi
乌克兰大但人文艺术摄影师是谁
津渝视频完整版第一集
新兵给老兵吃鸡把照片换了
两个人一前一后地动着快给我
宝贝帮我拉开拉链它想你了
95国产欧洲精华液
斗罗大陆黄化网站
日产精品1区至六区有限公司
水蜜桃着色入口
什么样的B型好玩
火影忍者女性角色去内成品
acg里番资源站全彩
年轻的朋友3免费观看完整韩国
坐在老师的鸡叭上写作业
公翁的粗大放进我的秘密电影
宝贝儿 是不是欠C
幸福宝8008APP隐藏入口免费
傻大壮长着驴一样的东西
妈妈的职业中语版在看
日本高清一卡二卡三卡四卡无卡
父母儿女互换干
合欢app下载汅api免费秋葵
午夜香吻免费观看视频在线观看
男人愿意亲吻你私下代表什么
你可以继续哭但我不会停下来
黄台免费软件OPPO
威久国际精彩视频2022年8月9日
国产一品二品三品的区别在哪
秘密教学渗透测试秋蝉
拔萝卜又叫黄9.1
菊内留香金银花原文开车
优质rb灌溉jy系统
我朋友的老婆 电影
美国ZOOM人与ZOOM视频
王多鱼韩婧格博雅免费网站
渣男和渣女做不干净的事情视频
WINDOWSCHANNEL孕妇3D
大团圆结局公交车2
男团共享物by不必南下txt
女儿就是用来给爸爸用的
冰块温水跳跳糖果冻是什么意思
迷情娇妻第104章
肥婆巨肥bbwbbwbbw国语
打扑克一边痛一边叫一声正常吗
19岁辣妹图书馆
当着全班人的面做
免费国精产品一品二品
王者荣耀公孙离被捅的流口水
胡桃史莱姆ドラえもんエロ
对象吃我的奶奶会变大吗
王者荣耀伽罗爽上天的表情
糖心短视频vlog柚子猫
我在公交车上弄到高C的作文
让我看看你茂密的小森林
诱人的女邻居2在线观影
三圾片2013目录
ipx118怎么被称为神作
社长千金的叹息
一边喘气一边说嗯的词
老子就是要上你在镜子面前
天天射干2019快速 localhost
荡公乱妇第1章方情公憩系列大
打扑克直播下载
51cg1.fun怎么打开
668.su黑料正能量入口密码
瑶遇见神鹿喷白水
你的东西比老公大得多
好妈妈快点想死我了
男生的坤坤放在女生的坤坤里蘑菇
大胸年轻继拇HD无码
为什么女生害怕海底捞月
每次见面他都要好几次
吃顿饭做四次爱
往下面一颗一颗塞珠子
xl上司带翻译中文版樱花
刺激打扑克摇床又全程不盖被子
白妇少洁第1一40章
女士不遮阴小内搭BB
在公司加班被上司要了
seqingav
老师你的好软水好多的
父亲缓慢有力挺送女儿
欧洲无人区卡一卡二
四个学长一起上我会坏掉的
家用摄像头被盗拍400部一区
王二傻的桃花运
逆爱 再爱我一次
家里没人半夜就和姐姐睡了
胡桃坐旅行者的坤坤
彩虹男GARY视频2023
帅气体育生GARY网站小蓝
含羞草四叶草三叶草
最近最新中文字幕大全手机
二个人一起C你的感受
免费行情网站大全搜狐网
娇娃荡女K8经典
情侣之间插秧的图片
一面膜上边一面膜下边视频
精产一二三产区别在哪
鞠婧祎打扑克又哭又叫视频大全
宝贝就一下下好不好
放课后的职员室未增删带翻译选集
三根一起玩真的不会坏掉吗
国产AV无码一二三区视频
细讲男朋友是怎么做你的
没带罩子让他C了一节具体写文
老师没有带罩子让我练了一节课
东北老太太BBWBBWBBW
公交车两人双指探洞详情
斗转星移合成图
王者荣耀女英雄流眼泪翻白眼流口水
肚子里都是同学的尿
137VT最大但人文艺术图
精产国品一二三产区区别在哪儿
穿越到随处做X的世界结局
迈开腿男人往里怼女人做法
嘿嘿漫画登录入口界面弹窗免费
女儿的男朋友是妈妈的爱豆
大但人文艺术欣赏ppt图片
戴自动蝴蝶去上学不能掉出来作文
卡一卡二卡三免费视频
老师你的兔子好软水好多动
妈妈说戴了才可以
趣事百科宅福利鲁一鲁
2分30秒不间断踹息声音频MP3
小茗看看视频在线观看
翁公与小莹在客厅激情
国精产品999国精产品官网
岳好紧好紧我要进去了电影
小学生C小学生
帅哥GARY网站
CHINA GARY
亚洲精品沙发午睡系列
故意在接电话时做
GoGoGo大但人文艺术评价
王者公孙离害羞流口水的表情
小雪的13又嫩又紧又多水带图
xl上司带翻译中文版
Helen McCrory三级
一下又一下有力的撞进去
免费国精产品WNW2544
韩国妈妈的朋友2020整有限中字
文轩宋亚轩自己做扩张直播
歪歪漫画漫画首页入
老BwBwBwBwBw
第一次给0开的手法图
儿子一晚上要我三回怎么办
亚1州区2区3区产品乱码
朝俞坐着震动器写作业write
日产一二三四乱码18
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1