切换到宽版
  • 905阅读
  • 0回复

[数码讨论]苹果推出DeepPCR 神经网络训练和推理速度提升7倍 [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
105996
金币
9790
道行
19523
原创
29307
奖券
17205
斑龄
189
道券
10126
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 19932(小时)
注册时间: 2007-11-29
最后登录: 2024-11-09
只看楼主 倒序阅读 使用道具 楼主  发表于: 2023-12-16
— 本帖被 兵马大元帅 执行加亮操作(2024-02-23) —
12月16日,苹果公司发布了一项名为DeepPCR的机器学习算法。该算法通过并行处理常规顺序操作,可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务,但由于计算需求过大,神经网络训练和反馈结果的时间可能需要数天或者数周。

目前广泛采用的并行化技术可以加速训练和推理速度。然而,在神经网络中的一些操作仍然是按顺序完成的,这些进程包括扩散模型通过一系列去噪阶段生成输出,并且逐层向前和向后传递。随着步骤数的增加,这些进程的顺序执行在计算上变得昂贵,可能会导致计算瓶颈。

为了解决这个问题,苹果公司科研团队推出了DeepPCR算法,并进一步加快了神经网络的训练和推理速度。他们采用了平行循环还原(PCR)算法来检索解决方案,将顺序过程中的计算成本从O(L)降低到O(log2 L),降低了复杂性并提高了运行速度。

据团队介绍,在多层感知器中部署DeepPCR算法后,前向和后向传递的速度分别提升了30倍和200倍。DeepPCR是一种用于并行化神经网络训练和推理中顺序过程的创新方法。它的主要特点是能够将计算复杂度从O(L)降低到O(log2 L),其中L是序列长度。

DeepPCR已被用于并行化多层感知器中的前向和后向传递,并对其性能进行了广泛的分析,以确定该方法在高性能状态下的应用效果。同时考虑了基本设计参数。结果显示,DeepPCR显示出显著的加速效果,恢复ResNet训练数据所需时间提高了7倍,扩散模型创建所需时间提高了11倍。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个