查看完整版本: [-- 谷歌在AI赛道加速[3P] --]

武当休闲山庄 -> 数码讨论 -> 谷歌在AI赛道加速[3P] [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

huozm32831 2024-07-11 10:54



7月8日消息,Google 的 AI 研究实验室Google DeepMind 发布了一项关于训练 AI 模型的新研究,Google 声称,该研究将大大提高训练速度和能效,比其他方法的性能高出 13 倍,能效高出 10 倍。
随着有关 AI 数据中心对环境影响的讨论日益升温,新的 JEST 训练方法的出现可谓恰逢其时。

DeepMind 的方法被称为 JEST 或联合示例选择,它以一种简单的方式打破了传统的 AI 模型训练技术。典型的训练方法侧重于单个数据点进行训练和学习,而 JEST 则基于整个批次进行训练。JEST 技术的核心突破在于其独特的联合示例选择机制,该机制通过分析数据批次之间的相互关系,实现了更高效的学习效果。
JEST 技术使用两种模型——学习者模型和参考模型——来共同评估数据批次的可学习性。学习者模型负责捕捉数据中的复杂模式,而参考模型则提供了一种基线,用于衡量数据批次的学习潜力。通过对比两者之间的差异,JEST 能够更准确地识别出哪些数据对模型学习最为关键,挑选出最具学习价值的批次进行训练,从而大幅提高学习效率。

上面的图表显示了 JEST 方法在速度和 FLOPS 效率方面如何超越 SigLIP(用于在图像-字幕对上训练模型的前沿方法),以及超越许多其他方法。(数据来自Google DeepMind )
研究显示,JEST 技术具有广泛的应用前景,可以应用于图像-文本预训练、视觉问答、图像描述、视觉推理、多模态检索等多个领域。它有望推动多模态学习技术的进一步发展,并为人工智能领域带来新的突破。
当然,该系统完全依赖于其训练数据的质量,如果没有人工整理的最高质量的数据集,引导技术就会失效。这意味着,相比其他方法,业余爱好者或业余人工智能开发人员更加难以与 JEST 方法相兼容,因为可能需要专家级的研究技能来整理最初的最高等级的训练数据。
随着有关 AI 数据中心对环境影响的讨论日益升温,科技行业和世界各国政府已经开始讨论人工智能的极端电力需求。JEST 研究的推出可能一定程度上缓解了AI领域的算量焦虑。
2023年,人工智能工作负载约占 4.3 GW,几乎与塞浦路斯全国的年电力消耗相当。到今年6月,一些AI公司已经在考虑利用核电。而且,AI“吞电”速度绝对不会减缓:单个 ChatGPT 请求的耗电量是 Google 搜索的 10 倍,Arm 的首席执行官估计,到 2030 年,人工智能将占据美国电网的四分之一。
据报道,GPT-4o 的训练成本为 1 亿美元,未来更大的模型可能很快就会达到 10 亿美元大关,因此公司很可能正在寻找在这方面节省开支的方法。有人认为,JEST 方法将用于在更低的功耗下保持当前的训练生产率,从而降低 AI 成本并帮助地球。
然而,更有可能的是,资本机器将保持全速,使用 JEST 方法将功耗保持在最大水平,以实现超快速的训练输出。成本节约与产出规模,谁会赢?

jjybzxw 2024-07-11 21:20
  Google DeepMind 发布的这项关于训练 AI 模型的新研究,名为 JEST,其创新之处在于联合示例选择机制,该机制能够更高效地识别出对模型学习最为关键的数据批次,进行训练。这种方法不仅提高了学习效率,还提高了能效,对于当前 AI 领域关注的环境影响问题提供了新的解决方案。

  JEST 技术的核心在于其独特的评估机制,使用两种模型——学习者模型和参考模型——共同评估数据批次的学习潜力。这种对比分析能够更准确地挑选出最具学习价值的批次,从而大幅提高训练速度和效率。

  根据提供的数据,JEST 方法在速度和 FLOPS 效率方面显著超越了其他方法,如 SigLIP,这表明了其在实际应用中的潜力。研究还显示,JEST 技术可以广泛应用于多个领域,如图像-文本预训练、视觉问答、图像描述等,有望推动多模态学习技术的进一步发展。

  然而,JEST 方法的实施也依赖于高质量的训练数据集,这可能对业余爱好者或业余人工智能开发人员构成挑战,因为可能需要专家级的研究技能来整理高质量的训练数据。

  在当前 AI 数据中心对环境影响的背景下,JEST 方法的研究推出显得尤为重要。随着人工智能工作负载的增加,如何降低电力需求已成为一个关键问题。JEST 方法在一定程度上能够缓解这一问题,但具体效果还需在实际应用中进一步验证。

  关于 JEST 方法的未来应用,存在不同的观点。一方面,它可能被用于在较低功耗下保持当前的训练生产率,从而降低 AI 成本并帮助地球。另一方面,资本机器可能会保持全速运转,使用 JEST 方法实现超快速的训练输出,以追求更大的产出规模。成本节约与产出规模之间的平衡,将是未来发展中需要关注的问题。



查看完整版本: [-- 谷歌在AI赛道加速[3P] --] [-- top --]


Powered by www.wdsz.net v8.7.1 Code ©2005-2018www.wdsz.net
Gzip enabled


沪ICP备:05041533号