最近用 Python 写了一个爬虫在网上搜集资料。因为每次都要遍历几万了网页,完整运行一次灰常耗时。
今天偶然瞥见角落里的群晖,突发奇想,反正文件服务器24小时开着,能不能把简单的爬虫任务交给它呢?我习惯使用 Jupyter Notebook 运行 Python 脚本,首先要解决的自然就是给群辉安装 Jupyter Notebook。
网上搜索一通之后发现前辈们的思路主要有两种:一种是直接安装到群辉系统中,一个是通过 docker 加载专门的镜像。我个人偏向于后一种思路,即把单独的功能做成虚拟机的形式,各自独立的运行在服务器上。万一一个手滑玩脱了,虚拟机最多删了重新下载一次,服务器系统挂了可就凉凉了。
群辉上 docker 可以直接从应用中心下载安装,灰常之方便。
开启 docker,进入 Registery,搜索 jupyter,然后勇敢的面对选择恐惧症,居然有111页的结果。。。当然我关心的主要是排名第一的datascience-notebook。这个镜像大概2GB,最后解压完大概6GB。 趁着下载的时候,我们继续为镜像容器的设置做准备工作。
尽管 Jupyter 会运行在一个与外部相对隔绝的环境,我还是需要文件的输入输出,或者保存程序脚本以防容器崩溃把所有的文件都连着带仙游了。在控制面板中创建一个新的共享文件夹,取一个毫无想象力的名字,比如 jupyter,并且将读写权限交给本地普通用户组,确保镜像容器可以正常访问。按照网上的帖子,有前辈仅向特定用户授予读写权限,
原文链接:https://blog.csdn.net/weixin_39926016/article/details/110569081?ops_request_misc=%257B%2522request%255Fid%2522%253A%25225d1927a47ec5804af686cfd9bd637727%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=5d1927a47ec5804af686cfd9bd637727&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-18-110569081-null-null.nonecase&utm_term=%E7%BE%A4%E6%99%96%E9%83%A8%E7%BD%B2