苹果最新杀入开源大模型战场，而且比其他公司更开放。
推出7B模型，不仅效果与Llama38B相当，而且一次性开源了全部训练过程和资源。
要知道，不久前Nature杂志编辑Elizabeth Gibney还撰文批评:
而苹果这次竟然来真的!!
就连NLP科学家、AutoAWQ创建者也发出惊叹:
也引来网友在线调侃:
至于这次开源的意义，有热心网友也帮忙总结了:
当然，除了OpenAI和苹果，上周Mistral AI联合英伟达也发布了一个12B参数小模型。
HuggingFace创始人表示，「小模型周」来了!
卷!继续卷!所以苹果这次发布的小模型究竟有多能打?
效果直逼Llama38B
有多能打先不说，先来看Hugging Face技术主管刚“拆箱”的模型基础配置。
总结下来就是:
7B基础模型，在开放数据集上使用2.5T tokens进行训练
主要是英文数据，拥有2048tokens上下文窗口
数据集包括DCLM-BASELINE、StarCoder和ProofPile2
MMLU得分接近Llama38B
使用PyTorch和OpenLM框架进行训练
具体而言，研究团队先是提出了一个语言模型数据比较新基准——DCLM。
之所以提出这一基准，是因为团队发现:
因此，团队使用DCLM来设计高质量数据集从而提高模型性能，尤其是在多模态领域。
其思路很简单:使用一个标准化的框架来进行实验，包括固定的模型架构、训练代码、超参数和评估，最终找出哪种数据整理策略最适合训练出高性能的模型。
基于上述思路，团队构建了一个高质量数据集DCLM-BASELINE，并用它从头训练了一个7B参数模型——DCLM-7B。
DCLM-7B具体表现如何呢?
结果显示，它在MMLU基准上5-shot准确率达64%，可与Mistral-7B-v0.3（63%）和Llama38B(66%)相媲美;并且在53个自然语言理解任务上的平均表现也可与Llama38B相媲美，而所需计算量仅为后者的1/6。
与其他同等大小模型相比，DCLM-7B的MMLU得分超越Mistral-7B，接近Llama38B。
最后，为了测试新数据集效果，有业内人士用卡帕西的llm.c训练了GPT-21.5B，来比较DCLM-Baseline与FineWeb-Edu这两个数据集。
结果显示DCLM-Baseline取得了更高的平均分，且在ARC（小学生科学问题推理）、HellaSwag(常识推理)、MMLU等任务上表现更好。
“小”模型成新趋势
回到开头，“小”模型最近已成新趋势。
先是HuggingFace推出了小模型家族“SmolLM”，其中包含135M、360M和1.7B型号模型。
它们在广泛的推理和常识基准上优于类似大小的模型。
然后OpenAI突然发布了GPT-4o mini，不仅能力接近GPT-4，而且价格大幅下降。
就在GPT-4o mini发布同日，Mistral AI联合英伟达发布了12B参数小模型——Mistral NeMo。
从整体性能上看，Mistral NeMo在多项基准测试中，击败了Gemma29B和Llama38B。
所以，为啥大家都开始卷小模型了?
原因嘛可能正如smol AI创始人提醒的，虽然模型变小了，但在能力相近的情况下，小模型大大降低了成本。
就像他提供的这张图，以GPT-4o mini为代表的小模型整体比右侧价格更低。
对此，我等吃瓜群众be like:
所以，你更看好哪家呢?（欢迎评论区讨论留言）
模型地址:
https://huggingface.co/apple/DCLM-7B
GitHub:
https://github.com/mlfoundations/dclm
数据集地址:
https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
参考链接:
[1]https://x.com/Yuchenj_UW/status/1813260100192334108
[2]https://x.com/casper_hansen_/status/1814269340100751382
[3]https://x.com/_philschmid/status/1814274909775995087
[4]https://x.com/LoubnaBenAllal1/status/1813252390692303069
总结
**苹果重磅发布7B模型，开源引领新潮流**苹果近日在开源大模型领域迈出重要一步，推出了性能与Llama38B相当的7B模型，并一次性开源了全部训练过程和资源。此举在行业内激起了诸多议论和热切的探索动力。可与先手 Λ环岛 反应杀伤力相提并论的是，该模型不仅效果出众，而且在降低训练成本的同时，实现了性能的显著提升。
**模型性能卓越**
苹果的7B模型在开放数据集上使用了2.5T tokens进行训练，主要集中在英文数据上，具备2048个tokens的上下文窗口。此外，研究团队为了进一步提升模型性能，提出了一种名为DCLM的数据基准，通过高质量的DCLM-BASELINE数据集从头训练模型。结果表明，这一新基准有效提高了模型的MMLU得分，尤其在ARC（小学生科学问题推理）等多个任务上表现突出。
**开源引领新潮流**
苹果此次的开源举动引发了行业的广泛关注。之前Nature杂志还批评了一些公司所谓的开源举措，但苹果这次以实际行动证明了其开放的态度。与此同时，NLP科学家、AutoAWQ创建者等业内专家对此给予了高度评价。与苹果的积极进击相应成趣的是，“小模型周”的新兴格局出现——小巧的身躯通常负载更加不容忽视的动力和创新精神。
**小模型成新趋势**
近期，小模型已成为行业新趋势。Hugging Face推出的“SmolLM”系列，OpenAI发布的GPT-4o mini，以及Mistral AI联合英伟达发布的Mistral NeMo等，都展示了小模型在性能与成本之间的平衡优势。这些模型不仅性能出色，而且大大降低了训练成本，为AI技术的普及和应用提供了更多可能性。
**结语**
苹果的7B模型作为最新入局者，以强大的性能和全面的开源赢得了行业的关注和赞誉。与此同时，小模型的发展也为AI技术带来了新的机遇和挑战。我们期待这些技术能在更多领域发挥更大作用，为人类带来更加智能和便捷的未来生活。