| huozm32831 |
2023-12-16 17:03 |
12月16日，苹果公司发布了一项名为DeepPCR的机器学习算法。该算法通过并行处理常规顺序操作，可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务，但由于计算需求过大，神经网络训练和反馈结果的时间可能需要数天或者数周。
目前广泛采用的并行化技术可以加速训练和推理速度。然而，在神经网络中的一些操作仍然是按顺序完成的，这些进程包括扩散模型通过一系列去噪阶段生成输出，并且逐层向前和向后传递。随着步骤数的增加，这些进程的顺序执行在计算上变得昂贵，可能会导致计算瓶颈。
为了解决这个问题，苹果公司科研团队推出了DeepPCR算法，并进一步加快了神经网络的训练和推理速度。他们采用了平行循环还原（PCR）算法来检索解决方案，将顺序过程中的计算成本从O(L)降低到O(log2 L)，降低了复杂性并提高了运行速度。
据团队介绍，在多层感知器中部署DeepPCR算法后，前向和后向传递的速度分别提升了30倍和200倍。DeepPCR是一种用于并行化神经网络训练和推理中顺序过程的创新方法。它的主要特点是能够将计算复杂度从O(L)降低到O(log2 L)，其中L是序列长度。
DeepPCR已被用于并行化多层感知器中的前向和后向传递，并对其性能进行了广泛的分析，以确定该方法在高性能状态下的应用效果。同时考虑了基本设计参数。结果显示，DeepPCR显示出显著的加速效果，恢复ResNet训练数据所需时间提高了7倍，扩散模型创建所需时间提高了11倍。 |
|