供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。
Mozilla 的创新团队最近发布了 llamafile，这是一种开源方法，用于将一组权重转换为单个可在六种不同操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上运行的二进制文件，无需安装。这大大简化了大型语言模型（LLMs）的分发和运行，并确保特定版本的 LLM 保持一致性和可重现性。
这一成就离不开 [Justine Tunney] 的贡献，他是一次构建、多处运行框架 Cosmopolitan 的创造者。另一个主要部分是 llama.cpp，它在运行自托管 LLM 方面具有重要作用。
有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二进制文件可供使用。需要注意的是，如果您使用的是 Windows 平台，只有 LLaVA 1.5 能运行，因为它是唯一一个符合 Windows 对可执行文件 4 GB 大小限制的模型。如果遇到问题，请查看「常见问题」列表以获取故障排除提示。
llamafile 的发布标志着在大型语言模型的分发和运行方面的进步。这不仅降低了使用这些模型的技术门槛，也使得开发者和研究人员能够更容易地在多种操作系统上使用这些强大的 AI 工具。
随着越来越多的 LLMs 的开发和应用，llamafile 提供了一个有效的解决方案，以确保这些模型的有效和一致的使用。
据了解，在这里提到的权重是指在机器学习和人工智能领域中的一个术语。在大型语言模型（LLMs，如 GPT-4）中，权重是模型在训练过程中学习到的参数，用来确定输入数据如何转换为输出结果。这些权重决定了模型如何解释和处理输入的数据。
因此，当说到 LLMs 通常以多个 Gigabyte 的文件形式分发一组权重时，意味着这些文件包含了模型在训练过程中学到的所有必要参数。这些权重文件本身不能直接使用，需要通过特定的软件框架或环境来加载和运行，这使得与其他类型的软件相比，它们的分发和运行更加复杂。