一、简介

   spider-flow 是一个爬虫平台，以图形化方式定义爬虫流程，无需代码即可实现一个爬虫。

二、特性

• 支持css选择器、正则提取
• 支持JSON/XML格式
• 支持Xpath/JsonPath提取
• 支持多数据源、SQL select/insert/update/delete
• 支持爬取JS动态渲染的页面
• 支持代理
• 支持二进制格式
• 支持保存/读取文件(csv、xls、jpg等)
• 常用字符串、日期、文件、加解密、随机等函数
• 支持流程嵌套
• 支持插件扩展(自定义执行器，自定义函数、自定义Controller、类型扩展等）
• 支持HTTP接口

三、爬取节点

该节点用于请求HTTP/HTTPS页面或接口

• 请求方法：GET、POST、PUT、DELETE等方法
• URL: 请求地址
• 延迟时间：单位是毫秒，意思是爬取之前延迟一段时间在执行抓取
• 超时时间：网络请求的超时时间，单位也是毫秒
• 代理：请求时设置的代理，格式为host:port 如 192.168.1.26:8888
• 编码格式：用来设置页面的编码格式默认为UTF-8，当解析出现乱码时，可以修改此值
• 跟随重定向：默认是跟随30x重定向，当不需要此功能时，可以取消勾选
• TLS证书验证：此项默认是勾选的，当出现证书一类的异常可以取消勾选此项尝试
• 自动管理Cookie：请求时自动设置Cookie（自己手动设置的与之前请求的Cookie都会设置进去）
• 自动去重：勾选时会对url进行去重处理,如果重复则跳过。
• 重试次数：当请求发生异常或状态码不为200时会进行重试
• 重试间隔：重试期间的间隔时间(单位为毫秒)
• 参数：用来设置GET、POST等方法的参数设置
  • 参数名：参数key值
  • 参数值：参数value值
  • 参数描述：仅仅用来描述该项参数（相当于备注/注释）无实际意义
• Cookie：用来设置请求Cookie
  • Cookie名：Cookie key值
  • Cookie值：Cookie value值
  • 描述：仅仅用来描述该项Cookie（相当于备注/注释）无实际意义
• Header：用来设置请求头
  • Header名：Header key值
  • Header值：Header value值
  • 描述：仅仅用来描述该项Header（相当于备注/注释）无实际意义
• Body：请求类型（默认是none）
• form-data（Body项设置为form-data）
  • 参数名：请求参数名
  • 参数值：请求参数值
  • 参数类型：text/file
  • 文件名：上传二进制数据时需要填的文件名
• raw（Body项设置为raw）
  • Content-Type：text/plain,application/json
  • 内容：请求体内容（String类型）

四、插件

• redis插件
• mongodb插件
• IP代理池插件
• OSS插件
• OCR插件
• Selenium插件