CninfoDistributedSpider:巨潮资讯上市公司公告分布式爬虫

基于scrapy和kafka的分布式架构,可爬取指定上市公司列表、指定时间段内的所有公告并保存PDF,后续将加入搜索引擎功能。【此简介由AI生成】

Branch1Tags0

Introduction

基于scrapy和kafka的分布式架构,可爬取指定上市公司列表、指定时间段内的所有公告并保存PDF,后续将加入搜索引擎功能。【此简介由AI生成】

Customize your domain