猜您喜欢:
Crawlab这款分布式爬虫管理平台，架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库，主节点负责与前端应用进行通信，工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，MongoDB储存有节点、爬虫、任务、定时任务等数据，下面我们详细介绍一下，一起来看看吧~
Crawlab架构：
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
主节点
主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。
工作节点
工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。
MongoDB
MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。
Redis
Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。
前端
前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。
以上就是非凡小编为大家带来的Crawlab(分布式爬虫管理平台)下载，想要了解更多实用工具类软件就请多多关注非凡软件站吧~
系统优化 系统优化可以尽可能的减少计算机执行少的进程，更改工作模式，优化文件位置使数据读写更快，空出更多的系统资源供用户支配，以及减少不必要的系统加载项及自启动项，使系统运行更加顺畅。本专题系统优化软件种类繁多，欢迎选择适合您的下载哦！
智行火车票是一款十分优质高效的手机订票软件，所有的区域都能够自定义更改，每一次的出行订单都能够查看，全部订单也能够自由筛选，本期小编给大家带来了详细的操作攻略，有想知道的朋友千万不要错过！智行火车票全部订单查看教程首先打开智行火车票订单界面，找到酒店订单并点击打开。然后打开后点击右侧的发票选项。最后在界面选择电子发票后进行开票即可成功获取。总结：首先打开智行火车票订单界面，找到酒店订单并点击打开，
阿里云盘是一款十分好用专业的文件储存管理软件，用户们可以随心所欲的进行各种文件储存，所有的功能都是很全面的，下面小编就来为大家介绍一下设置教程，有需要的小伙伴及时关注哦！阿里云盘使用教程1、打开阿里云盘app，点击“+”按钮。2、选择上传到云盘的文件类型，支持照片、视频、文件等格式！3、选择需要上传阿里云盘的文件。4、在点击右上角的上传选项，等待上传的时间！5、完成传输列，操作完成，目前上传和下载
生活中，有时候我们需要了解某些药品是否被医保覆盖，或者附近哪些药店可以买到我们需要的药物。这篇文章将用简单的步骤教你如何轻松查询江西医疗保障相关的药品和药店信息，帮助你更方便地管理家庭健康，节省时间和精力。让我们一起来看看具体怎么做吧。如何找药品?第一步：关注“江西医疗保障”微信公众号;第二步：在公众号聊天页面点击底部菜单中的“微服务”-“江西医保药品比价”;第三步：进入江西医保药品比价页面，点击
想知道在上海哪里买药更划算?现在有了上海市的药品比价查询系统，市民可以通过“上海医保”微信公众号轻松查找全市定点药店的医保药品价格。下面就跟随小编一起来看看具体的查询教程吧。全国各省市药品比价查询入口（部分）上海市黑龙江省河南省河北省江西省湖北省PS：点击链接跳转查看上海市药品比价查询官网入口搜索进入"上海医保"微信公众号进入"医保服务"再点击"药
Steam是一个广受欢迎的数字游戏分发平台，提供大量的游戏购买、下载、管理以及社交功能。那么，想要在Steam上绑定手机号以增加账户的安全性并方便找回密码等操作，应该如何进行呢?小编这里整理了些相关资料，有需要的小伙伴可以前来看看。Steam绑定手机号步骤一览第一步：双击Steam图标，运行Steam软件。输入自己的账号和密码，登录Steam账户。第二步：登录成功后，进入Steam主界面。点击顶部
Boss直聘是一款广受欢迎的招聘与求职平台。无论是寻找工作的求职者，还是急需人才的企业，都可以在这个平台上找到满意的结果。那么，当我们需要在Boss直聘上更改绑定的手机号时，应该如何操作呢?小编这里整理了些相关资料，快来和我一起看看吧!Boss直聘换绑手机号流程一览第一步：打开BOSS直聘应用，登录后，在底部导航栏点击“我的”进入个人中心页面。第二步：在个人中心页面右上角，点击“设置”图标，进入设
本站所有资源（含游戏）均是软件作者、开发商投稿，任何涉及商业盈利目的均不得使用，否则产生的一切后果将由您自己承担！本站将不对任何资源负法律责任，所有资源请在下载后24小时内删除。
如侵犯了您的版权、商标等，请立刻联系我们并具体说明情况后，本站将尽快处理删除，联系
（版权说明注意事项）。若有关在线投稿、无法下载等问题，请与本站客服人员联系
！
用户可自行按线路选择相应的下载点，可以直接点击下载/另存为，若直接点击下载速度太慢，请尝试使用高速下载器。为确保下载的文件能正常使用，请使用WinRAR最新版本解压本站软件。
建议大家谨慎对待所下载的文件，大家在安装的时候务必留意每一步！关于360安全卫士或QQ电脑管家的有关提示，请自行注意选择操作。
