最近在做爬虫的集群管理
情况是这样的，有n个爬虫和n个服务器，我们不可能每个爬虫的部署，管理和维护都是一个一个服务器登上去弄，所以需要集群管理。有三类爬虫，
- selenium自动化办公的爬虫
- request的爬虫
- 依赖于u盾或者按键精灵等工具的爬虫脚本
因为既需要图形化界面有需要U盾或者虚拟鼠标键盘，浏览器驱动 按键精灵等软件。所以liunx系统的服务器就很不方便了。
所以
Windows部署Docker
Windows虚拟机部署Docker
Windows部署Docker
如果你就是一个实际的服务器或者你本地的机器想当服务器部署项目，安装Docker是很方便的,首先，去官网下载docker-desktop
这里简单且抽象的讲一下docker是什么，就是一个虚拟机，只不过这个虚拟机只有你软件需要的运行环境(你可以想象就是你pycharm里新建一个文件一样，上下都通用的，你在这个文件里import你要的东西然后在里面写代码运行）
然后三个概念，
打包： 就是把你的程序打成一个包就是一个镜像，可以被部署。
分发：你可以把你打包好的程序包上传到一个镜像仓库，其他人可以非常方便的获取和安装
部署：然后就可以一个命令run这个包运行起来你的应用，自动模拟出一摸一样的运行环境，不管是在 Windows/Mac/Linux。
好 然后我们下载完了这个docker-desktop的安装包
先 查看打开任务管理器 查看是否打开了虚拟化功能
如果没有进bois打开一下
电脑开机或重启，常见的为按“DEL”键进入BIOS界面， 但也有按“ESC”、“F2”、“F1”等按键进入的电脑品牌， 具体进入方法根据不同品牌电脑而不同， 有些电脑在开机时屏幕会显示按什么键进入BIOS。 进入到BIOS管理界面后， 我们在管理界面中找到“Advanced”-->“CPU Configuration”菜单， 点击进去后， 如果是Intel CPU则找到“Intel Virtual Technology”，然后设置为“Enable”状态； 如果是AMD CPU则找到“SVM Support”，然后设置为“Enable”状态。 注：不同电脑的菜单存在不同的名称，开启时也可以到各自电脑品牌官网查看开启路径。 然后按f10保存设置并退出然后控制面板–打开卸载程序–打开启用或关闭Windows功能，找到图中选中的功能勾选上
然后安装完成打开程序就可以运行了
运行就是首先写一个dockerfile文件，注意就叫dockerfile不要有后缀
FROM python:3.8 WORKDIR /app COPY requirements.txt ./ RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple COPY . . CMD ["python", "Apprun.py"]文件大概是这样 先是FROM环境 然后是工作目录，然后是依赖文件[文件名空格一个路径]
然后是安装依赖的命令,下面是copy命令从源路径拷到目标路径我们直接 . . 就好了
最后cmd 运行项目启动命令
————
写好dockerfile以后，运行：
docker build -t 项目名:v0 . #打包镜像 docker run -p 项目端口:映射端口 -d 项目名:v0 #运行镜像 然后就可以运行起来项目了。
原文链接：https://blog.csdn.net/paycho/article/details/127574796?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171836884016800178595162%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=171836884016800178595162&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-22-127574796-null-null.nonecase&utm_term=docker%E9%83%A8%E7%BD%B2
