前言：在数字化时代，拥有自己的个人智能助手已经不再是科幻小说中的情节了！想象一下，在你的家庭网络中部署一个强大的大语言模型，随时随地与你互动、提供帮助和娱乐——这听起来是不是超级酷？今天，我们就来聊聊如何在群晖NAS上本地搭建这样一个基于Llama 2的聊天机器人，并且通过内网穿透技术实现远程访问。
首先，让我们了解一下为什么这个项目如此吸引人。大多数大语言模型都是在线服务，依赖于云端计算资源。这意味着每次与这些模型互动时，都需要连接到互联网，不仅可能产生额外费用，还可能存在隐私和安全问题。而本地部署的大语言模型则完全不一样——你可以在自己的设备上运行它，享受更快的响应速度、更高的安全性以及更稳定的体验。
当然，要实现这一点并不简单。首先，你需要一台性能强劲的服务器或NAS来支持大语言模型的运算需求。幸运的是，群晖NAS凭借其强大的硬件配置和灵活的操作系统，成为了许多技术爱好者的首选平台之一。接下来，我们将详细介绍如何在群晖NAS上部署Llama 2，并通过内网穿透工具cpolar实现远程访问。
目录
1. 拉取相关的Docker镜像
运行Llama 2需要借助Ollama镜像,对语言模型进行交互需要用到Chatbot-Ollama前端界面,所以我们需要拉取这两个docker镜像,本例群晖版本由于无法直接在群晖控制面板docker界面搜索下载镜像,所以采用命令行方式进行镜像下载,首先开启群晖ssh连接,然后使用工具通过ssh连接上群晖,分别执行下面docker命令 拉取
*拉取Ollama镜像命令
```shell
sudo docker pull ollama/ollama:latest
```
*拉取Chatbot-Ollama镜像命令
```shell
sudo docker pull ghcr.io/ivanfioravanti/chatbot-ollama:main
```
拉取成功后,我们可以在Docker界面看到拉取的两个镜像,下面开始运行两个镜像,首先运行ollama
2. 运行Ollama 镜像
选中镜像,点击运行进入配置界面,名称无需设置,默认即可,然后点击下一步
输入外部访问的端口,和容器内部端口一致,填写11434即可,然后点击下一步
然后点击完成即可运行ollama
运行后,打开容器界面,可以看到运行的服务,下面开始下载运行Llama 2模型,点击选中ollama容器,点击操作
然后打开终端机,进入终端命令界面
然后选择左边新增一个bash命令界面
然后在bash命令界面,执行`ollama run llama2`命令,接着等待下载即可,最后出现success,表示下载运行Llama 2模型成功,下载完成后可以关闭掉窗口.这样ollama 容器启动,并运行Llama 2模型就成功了,下面运行chatbot-ollama镜像,配置前端交互界面
3. 运行Chatbot Ollama镜像
选中我们下载的镜像,点击运行,开始进行设置
名称可以默认,直接点击下一步
设置对外端口,本例设置3001,具体可以自己自定义,这个端口也是我们浏览器上web访问的端口
然后设置一个环境变量,该变量就是连接我们上面运行Ollama框架服务的地址,我们设置本地地址:`http://群晖局域网IP:11434`即可,设置完成点击下一步,然后直接点击完成即可,chatbot Ollama镜像就运行成功了,接下来我们进行本地访问.
4. 本地访问
上面我们运行设置chatbot ollama 的对外端口是3001(具体以自己设置的为准),下面我们在浏览器访问群晖3001端口,既可看到我们的web交互 界面,同时,上面显示了使用的llama2模型,下面输入文字即可对话,这样一个本地部署的机器人就完成了,对话的响应速度取决于设备的配置,尽量使用高配置的服务器运行部署哦,本地完成后,我们接下来设置远程也可以访问,下面安装cpolar工具,实现无公网IP也可以远程访问我们的聊天机器人界面!
5. 群晖安装Cpolar
点击下面Cpolar群晖套件下载地址,下载相应版本的群晖Cpolar套件
> https://www.cpolar.com/synology-cpolar-suite,
打开群晖`套件中心`，点击右上角的`手动安装`按钮。
选择我们本地下载好的cpolar套件安装包,然后点击下一步
点击`同意`按钮,然后点击下一步
最后点击完成即可。
安装完成后,在外部浏览器,我们通过`群晖的局域网ip地址`加`9200`端口访问Cpolar的Web管理界面,然后输入Cpolar邮箱账号与密码进行登录，如无账号可去官网注册：
cpolar官网地址：[https://www.cpolar.com/](https://www.cpolar.com/)
6. 配置公网地址
点击左侧仪表盘的隧道管理——创建隧道，创建一个chatbot的公网地址隧道!
– 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
– 协议：选择http
– 本地地址：3001 (本地访问的端口)
– 域名类型：免费选择随机域名
– 地区：选择China
点击`创建`
隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网访问地址，有两种访问方式,一种是http 和https,下面我们使用生成的http地址访问
7. 公网访问
使用上面cpolar生成的http地址,在浏览器访问,同样可以看到聊天机器人主界面,公网地址访问成功,无需公网IP,无需云服务器,即可把我们本地聊天机器人发布到公网进行访问!
**小结**
为了更好地演示，我们在前述过程中使用了cpolar生成的隧道，其公网地址是随机生成的。这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址由随机字符生成，不太容易记忆（例如：3ad5da5.r10.cpolar.top）。另外，这个地址在24小时内会发生随机变化，更适合于临时使用。
我一般会使用固定二级子域名，原因是我希望将网址发送给同事或客户时，它是一个固定、易记的公网地址（例如：chatbot.cpolar.cn），这样更显正式，便于流交协作。
8. 固定公网地址
由于以上使用Cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化。
[登录cpolar官网](https://dashboard.cpolar.com/)，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称
保留成功后复制保留成功的二级子域名的名称
返回登录Cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑
修改隧道信息，将保留成功的二级子域名配置到隧道中
– 域名类型：选择二级子域名
– Sub Domain：填写保留成功的二级子域名
点击`更新`(注意,点击一次更新即可,不需要重复提交)
更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名的名称域名
最后,我们使用固定的公网http地址访问,可以看到同样访问成功,这样一个固定且永久不变的公网地址就设置好了!
经过一番努力，你现在已经成功地将一个功能强大且安全的个人聊天机器人部署到了自己的家庭网络中！无论是在家办公、学习还是娱乐，这个智能助手都能为你提供极大的便利。更重要的是，由于数据完全存储在本地设备上，你可以放心使用而不用担心隐私泄露的问题。
原文链接：https://blog.csdn.net/m0_61712829/article/details/144355303?ops_request_misc=%257B%2522request%255Fid%2522%253A%25226ddca413f248fc70f636692f336cf7ce%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=6ddca413f248fc70f636692f336cf7ce&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-1-144355303-null-null.nonecase&utm_term=%E6%9E%81%E7%A9%BA%E9%97%B4nas
