最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型，还在效率上有所突破。DBRX的基础和微调版本均已发布，为研究和商业应用提供了丰富的资源。
GitHub 链接：https://top.aibase.com/tool/dbrx
基础版:https://huggingface.co/databricks/dbrx-base
微调版:https://huggingface.co/databricks/dbrx-instruct
DBRX采用基于Transformer的仅解码器大语言模型，使用细粒度的专家混合架构，共有1320亿参数。相比其他开源MoE模型，如Mixtral和Grok-1，DBRX更细粒度，使用更多数量的小型专家模型。它使用了旋转位置编码、门控线性单元和分组查询注意力等技术来提高模型质量，并采用了tiktoken存储库提供的GPT-4分词器。DBRX的高效率也是其优势之一，平均只需激活360亿参数即可处理token，推理速度几乎比LLaMA2-70B快两倍。
与此同时，DBRX的推理速度也有了显著提升，在Mosaic AI Model Serving上每秒可达150个token，大大提高了处理效率。这一新模型的出现引发了开发者和媒体的热烈讨论，被誉为开源AI模型领域的新标杆。
DBRX在综合基准测试中表现突出，尤其在编程和数学方面显示出强大的能力。与GPT-3.5相比，DBRX在人类评估和数学推理等方面更胜一筹，同时与Gemini1.0Pro和Mistral Medium等闭源模型相媲美。DBRX的出现不仅提高了开源社区的水平，也为商业应用带来了更多可能性。同时，DBRX还在训练效率方面有所突破，有效提高了混合专家模型的计算效率，为更广泛的应用场景带来了希望。
总的来说，DBRX的问世为开源大模型领域注入了新的活力，展现了令人瞩目的性能和效率。随着其在各项基准测试中的优异表现，DBRX有望成为未来开源大模型发展的重要里程碑，为人工智能领域的进步贡献力量。