一款名为 Chat with MLX 的大模型框架推出，专为 Mac 用户打造，让他们也能享受本地大模型的乐趣。这个框架仅需两行代码即可部署，支持与本地数据交互，并提供中文支持。
类似于 Chat with RTX 的概念，Chat with MLX 集成了多种功能，包括本地文档总结和 YouTube 视频分析等。用户可以选择使用不同语言，共有11种可用语言，并支持七种开源大模型。安装 Chat with MLX 非常简便，只需通过 pip 命令安装即可。
在使用 Chat with MLX 时，用户可以在终端中输入相应命令，完成初始化并加载模型。框架还支持用户上传自有数据进行索引，同时也可以直接使用现有模型进行对话。尽管在苹果设备上部署本地大模型可能会带来一定的计算负担，但新手也能轻松上手，使用体验良好。Chat with MLX 的作者还不断更新框架，解决用户安装失败等问题，提升用户体验。
除了提供基本功能外，Chat with MLX 还支持本地 RAG 检索，让用户能够更深入地与模型互动。通过测试发现，在使用本地文档进行询问时，框架能够较为准确地回答问题，尽管速度可能略慢。作者还不断优化模型，包括引入新的提示词技巧，提高模型表现。总体而言，尽管与英伟达的 Chat with RTX 相比，Chat with MLX 在苹果设备上的表现略逊一筹，但其本地化部署和数据安全性仍受到用户青睐。
Chat with MLX 的推出预示着本地化、专属化大模型正逐渐向消费级产品普及，展现了大模型领域的潜力和发展趋势。对于 Mac 用户来说，这无疑是一次令人振奋的消息，也让他们更便捷地体验到大模型带来的便利和乐趣。
项目入口:https://top.aibase.com/tool/chat-with-mlx