这些初创公司正在无需数据中心的情况下构建先进AI模型

By: blockbeats|2025/05/01 18:05:30

研究人员利用遍布全球的 GPU，结合私有和公开数据，训练出了一种新型大语言模型（LLM）。这一举措表明，构建人工智能的主流方式可能会被颠覆。

Flower AI 和 Vana 这两家追求非传统 AI 构建方式的初创公司合作开发了这一新模型，名为 Collective-1。

Flower 开发的技术允许训练过程分布在通过互联网连接的数百台计算机上。该公司的技术已被一些公司用于训练 AI 模型，无需集中计算资源或数据。Vana 则提供了包括 X、Reddit 和 Telegram 上的私人消息等数据来源。

Collective-1 按现代标准来看规模较小，拥有 70 亿个参数——这些参数共同赋予模型能力——相比之下，当今最先进的模型（如驱动 ChatGPT、Claude 和 Gemini 的模型）拥有数千亿参数。

剑桥大学计算机科学家、Flower AI 联合创始人 Nic Lane 表示，这种分布式方法有望扩展到远超 Collective-1 的规模。Lane 补充说，Flower AI 正在使用常规数据训练一个 300 亿参数的模型，并计划在今年晚些时候训练一个 1000 亿参数的模型——接近行业领导者提供的规模。「这可能会彻底改变人们对 AI 的看法，所以我们正在全力以赴，」Lane 说。他还表示，这家初创公司正在将图像和音频纳入训练，以创建多模态模型。

分布式模型构建还可能动摇塑造 AI 行业的权力格局。

目前，AI 公司通过将海量训练数据与集中在数据中心的大量计算资源结合，构建模型。这些数据中心充满先进的 GPU，并通过超高速光纤电缆联网。它们还高度依赖通过抓取公开（尽管有时涉及版权）的材料（如网站和书籍）创建的数据集。

这种方法意味着，只有最富有的公司和拥有大量最强大芯片的国家，才能切实开发出最强大、最有价值的模型。即使是开源模型，如 Meta 的 Llama 和 DeepSeek 的 R1，也由拥有大型数据中心的公司构建。分布式方法可能使小型公司和大学通过聚合同质资源来构建高级 AI。或者，它可能使缺乏传统基础设施的国家通过联网多个数据中心来构建更强大的模型。

Lane 认为，AI 行业将越来越倾向于允许训练突破单个数据中心的新方法。分布式方法「让你能够以比数据中心模型更优雅的方式扩展计算能力，」他说。

新兴技术安全中心 AI 治理专家 Helen Toner 表示，Flower AI 的方法「有趣且可能非常相关」于 AI 竞争和治理。「它可能难以跟上前沿，但可能是一种有趣的快速跟随方法，」Toner 说。

分而治之

分布式 AI 训练涉及重新思考用于构建强大 AI 系统的计算分配方式。创建 LLM 需要将大量文本输入模型，调整其参数以生成对提示的有用响应。在数据中心内，训练过程被分割，以便在不同 GPU 上运行部分任务，然后定期整合成单一的主模型。

新方法允许通常在大型数据中心内完成的工作在可能相距数英里的硬件上执行，并通过相对较慢或不稳定的互联网连接进行连接。

一些大公司也在探索分布式学习。去年，谷歌的研究人员展示了一种名为 DIstributed PAth COmposition（DiPaCo）的新方案，用于分割和整合计算，使分布式学习更高效。

为了构建 Collective-1 和其他 LLM，Lane 与英国和中国的学术合作者开发了一种名为 Photon 的新工具，使分布式训练更高效。Lane 表示，Photon 改进了谷歌的方法，采用了更高效的数据表示方式和共享及整合训练的方案。这一过程比传统训练慢，但更灵活，允许添加新硬件以加速训练，Lane 说。

Photon 由北京邮电大学和浙江大学的研究人员合作开发。该团队上个月以开源许可发布了该工具，允许任何人使用这种方法。

Flower AI 在构建 Collective-1 的努力中的合作伙伴 Vana，正在开发新方法让用户与 AI 构建者共享个人数据。Vana 的软件允许用户将来自 X 和 Reddit 等平台的私人数据贡献给大语言模型的训练，并可能指定允许的最终用途，甚至从他们的贡献中获得经济利益。

Vana 联合创始人 Anna Kazlauskas 表示，这一想法是让未被利用的数据可用于 AI 训练，同时让用户对其信息如何用于 AI 有更多控制权。「这些数据通常无法纳入 AI 模型，因为它们不是公开的，」Kazlauskas 说，「这是用户直接贡献的数据首次被用于训练基础模型，用户对其数据创建的 AI 模型拥有所有权。」

伦敦大学学院计算机科学家 Mirco Musolesi 表示，分布式 AI 训练方法的一个关键好处可能是它解锁了新型数据。「将其扩展到前沿模型将使 AI 行业能够利用分散且隐私敏感的大量数据，例如在医疗保健和金融领域，用于训练，而无需数据集中化的风险，」他说。