WAP手机版 RSS订阅 加入收藏  设为首页
摆脱游戏娱乐官网
当前位置:首页 > 摆脱游戏娱乐官网

摆脱游戏娱乐官网:参数数量的激增将导致能耗的显著增加

时间:2024/5/29 15:36:45   作者:   来源:   阅读:0   评论:0
内容摘要:全国政协委员、中国科学院计算技术研究所研究员张云泉指出,大型模型的参数和数据规模越大,其智能效果就越好。在大型模型中,“尺度定律”(scaleeffect)是指当参数和数据的尺度达到一定水平时,大型模型的智能性能会出现跳跃,这就是“智能涌现”。“目前我们还没有看到‘智能涌现’的上限。”摆脱游戏娱乐官网“一般来说,参数数...

全国政协委员、中国科学院计算技术研究所研究员张云泉指出,大型模型的参数和数据规模越大,其智能效果就越好。在大型模型中,“尺度定律”(scale effect)是指当参数和数据的尺度达到一定水平时,大型模型的智能性能会出现跳跃,这就是“智能涌现”。“目前我们还没有看到‘智能涌现’的上限。”摆脱游戏娱乐官网

“一般来说,参数数量越多,大型模型的计算功耗越大,耗电量也就越大。”王鹏表示,因为还没有达到上限,以OpenAI为代表的人工智能公司在“缩放”的“规律”驱动下,为了实现通用人工智能(AGI)的目标,我们不断增加大模型的参数和数据规模,导致短期内计算能力需求和电力需求的巨大增长。

“由于GPT-3有1750亿个参数,并使用1024个Nvidia A100芯片进行训练,因此业内称其为‘千卡千参’。”商汤科技智能产业研究院院长田峰表示,目前GPT- 4。GPT-5等大型模型已经达到了“万卡万参数”的规模,用于训练模型的芯片也从NVIDIA A100升级到NVIDIA H100和B200。“参数数量的激增将导致能耗的显著增加。”

除了模型训练之外,人工智能在推理阶段的能耗也不容忽视。“推理是一个大模型响应用户需求的过程,”张云泉说。响应用户需求的大型机型的功耗一次并不大,“但随着用户规模的增加,功耗将不断积累和增加。”



本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下(摆脱游戏官方网站