12月16日,苹果公司发布了一项名为DeepPCR的机器学习算法。该算法通过并行处理常规顺序操作,可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务,但由于计算需求过大,神经网络训练和反馈结果的时间可能需要数天或者数周。
目前广泛采用的并行化技术可以加速训练和推理速度。然而,在神经网络中的一些操作仍然是按顺序完成的,这些进程包括扩散模型通过一系列去噪阶段生成输出,并且逐层向前和向后传递。随着步骤数的增加,这些进程的顺序执行在计算上变得昂贵,可能会导致计算瓶颈。
为了解决这个问题,苹果公司科研团队推出了DeepPCR算法,并进一步加快了神经网络的训练和推理速度。他们采用了平行循环还原(PCR)算法来检索解决方案,将顺序过程中的计算成本从O(L)降低到O(log2 L),降低了复杂性并提高了运行速度。
据团队介绍,在多层感知器中部署DeepPCR算法后,前向和后向传递的速度分别提升了30倍和200倍。DeepPCR是一种用于并行化神经网络训练和推理中顺序过程的创新方法。它的主要特点是能够将计算复杂度从O(L)降低到O(log2 L),其中L是序列长度。
DeepPCR已被用于并行化多层感知器中的前向和后向传递,并对其性能进行了广泛的分析,以确定该方法在高性能状态下的应用效果。同时考虑了基本设计参数。结果显示,DeepPCR显示出显著的加速效果,恢复ResNet训练数据所需时间提高了7倍,扩散模型创建所需时间提高了11倍。