扫描到手机查看
MNN Chat是一款专为大语言模型打造的推理框架,致力于让AI在移动设备和本地PC上跑得更快、更稳。它完整兼容armv7与arm64架构,并内置Mini编辑模式,显著提升日常使用效率。框架支持动态尺寸的数据输入,对包含复杂控制流的模型也能完美适配,部署灵活,推理顺畅。
1、需要在游戏观察下载安装MNN Chat,打开软件,任意挑选一个想要部署的ai模型
2、注意,这个本地部署至少要保留10GB以上的手机内存
3、下载完成以后,就可以通过此软件与AI进行对话与聊天了
4、支持多个语言,无限制词聊天,本地部署无需联网即可使用
广泛兼容主流模型:全面支持TensorFlow、Caffe、ONNX等主流模型格式,兼容CNN、RNN、GAN等常用网络结构。
极致高性能运算:深度优化算子性能,全面调用CPU、GPU、NPU,充分释放设备算力。
简单易用的工具链:提供模型转换、可视化及调试的完整配套工具,方便快速部署到移动和各类嵌入式设备。
可在手机端直接独立运行DeepSeek、Qwen、Gemma、Llama、ReaderLM等各类大型模型。
融合数据加密、分布式计算、边缘计算及机器学习等技术,全方位守护数据安全。
同步掌握端侧智能的前沿动态,轻松获取最新、最强悍的机器学习模型。
在安卓手机中,MNN Chat默认会将/用户手动拷贝的大模型存放在以下路径:/sdcard/MNN/chat/
软件评论
网友评论