经过一番期待，TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动，开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后，TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数，大约在训练数据上进行了三个时代，或者说是通过训练数据的三个循环。
TinyLlama的最终版本在性能上超越了现有规模相当的开源语言模型，包括Pythia-1.4B、OPT-1.3B和MPT-1.3B。这标志着一个里程碑，为语言模型领域的发展带来了新的可能性。
这款模型不仅仅是规模小，而且其优越性能使其成为部署在边缘设备上的理想选择，因为它仅占用637MB的存储空间。更令人振奋的是，TinyLlama还可以用于辅助更大型模型的推测解码，这为那些依赖大型模型的任务提供了更为灵活的解决方案。前特斯拉高级AI总监、现任OpenAI的Andrej Karpathy的教程被引用，强调了TinyLlama在这一领域的应用前景。
TinyLlama的团队在设计上将其打造成Meta开源语言模型Llama2的紧凑版本，甚至拥有相同的架构和分词器。这意味着它可以轻松地嵌入到基于Llama构建的项目中，为研究人员和从业者提供了一种“有吸引力”的平台，以进行语言模型研究。尽管规模小巧，TinyLlama展现出了在多领域语言模型研究中的广泛用途。
在实际应用中，苹果的机器学习研究科学家Awni Hannun通过使用MLX（苹果的开源训练工具套件）在8GB Mac Mini上对TinyLlama进行了LoRA微调，这显示了这款模型在各种场景下的灵活性和可塑性。团队表示，“凭借其紧凑的架构和出色的性能，TinyLlama可以在移动设备上实现最终用户应用，并成为测试与语言模型相关的创新想法的轻量级平台。”
随着TinyLlama的发布，团队表示他们计划推出“改进版本”，其中包括扩展其性能和多功能性的计划。这为未来的语言模型研究提供了更多的可能性。
这也是近来小型AI模型崛起的一个例证。一些公司开始关注制作规模相对较小但性能优越的模型，以降低硬件运行成本。微软的Phi项目就是其中之一，其Phi-2模型在尺寸上超过了25倍的模型，展现了小型模型的潜力。谷歌也宣布将推出的Gemini Nano，这是其新旗舰基础模型的小型版本，预计在尺寸上约为32亿参数。
这些小型模型在训练中使用更大模型生成的合成数据，从而在性能上表现出色。这一趋势正在推动着人工智能领域的创新，也使得许多小型模型在性能上能够与像OpenAI的GPT这样的前沿模型相媲美。
项目网址:https://github.com/jzhang38/TinyLlama