Mac专属大模型框架来了！两行代码部署，能聊本地数据，还支持中文

Mac用户现在也能享受专属大模型体验！新推出的Chat with MLX框架，只需简单两行代码，即可在苹果电脑上部署本地大模型，与Chat with RTX的功能不相上下，且支持包括中文在内的11种语言。该框架由OpenAI前员工创建，提供文档总结、视频分析等多样功能。尽管可能增加苹果设备的计算负担，但其易用性受到好评。

Chat with MLX通过pip命令轻松安装，启动后自动弹出网页。用户可选择模型和语言，加载模型进行使用。除了预设模型，其他兼容MLX的Hugging Face模型也可手动添加。若需使用个人数据，只需上传文件或视频链接，建立索引，数据会累加存储。若不加载数据，模型也可作为标准大模型运行。

在M1芯片MacBook上，我们使用较小规模的Quyen-SE模型进行测试，表现流畅。Chat with MLX主打本地RAG检索，对于未公开的本科毕业论文，模型能准确回答70%的问题，但速度稍慢。尽管存在偶发性提示词问题，作者已采用提示词技巧提升性能。

然而，由于计算资源限制，Chat with MLX在苹果设备上的表现尚无法超越Chat with RTX。开发者积极回应GitHub上的安装问题并更新程序。本地化部署的优势在于数据安全，且标志着大模型向消费级产品的普及。正如网友所说，是升级AI设备的好时机。了解更多详情，请访问GitHub项目页面：https://github.com/qnguyen3/chat-with-mlx

本文来源：