PocketPal是非常强大的ai工具,为你提供专业的ai模型,随时可以在线进行对话互动,轻松在线进行ai问答,放心的在线进行对话互动,在这里为你解答各类疑问,支持添加各类不同的ai模型,更好的在线进行对话,体验更加流畅的对话服务,随时可以在线进行对话设置。
PocketPal部署方法
1、在本站点击下载,打开软件点击Models,点+,点Hugging Face搜索大模型

2、尽量下载名字带Q4_NL(4bit量化 normal 压缩)的模型,回答比较精准。

3、解释一下部分量化标识命名规则:NL 平衡精度与速度(Normal)、M 中等优化(middle)、 XS 极致压缩(Extra Small)、K 极限压缩(K-special)、Qx 量化位数(手机上运行 Q4 最佳)。

4、在加载好模型后在Settings中把N PREDICT设置为4096。如果遇到问题请发到评论区,我会试着解决。
PocketPal使用流程
下载模型
点击汉堡菜单

PocketPal AI本地大模型
导航到 “Models” 页面
选择您想要的型号并点击下载

PocketPal AI本地大模型
加载模型
下载后,点击 Load 将模型导入内存。现在您可以聊天了!
PocketPal功能介绍
1、随时可以在线进行运行,在这里打造流畅的对话服务
2、让用户获得更加优质的ai对话体验,放心的在线进行对话
3、在后台自动管理内存,通过卸载不活跃的模型来确保性能最大化。
推荐评语
将语言模型直接引入手机的应用程序