用户可用于抓取和分析伏美替尼与同类EGFR-TKI药物的对比信息。支持多源数据抓取、结构化数据保存(CSV/Excel/JSON)、定时增量更新及智能对比分析,内置反爬虫保护和数据质量控制功能。【此简介由AI生成】
Access rate limit exceeded. Please log in to continue.
伏美替尼对比爬虫项目
项目简介
这是一个专门用于抓取和分析伏美替尼(Furmonertinib)与同类EGFR-TKI药物对比信息的Python爬虫工具。该工具可以自动从公开网页中抓取药物的疗效、价格、副作用等对比信息,并将结果保存为CSV、Excel或JSON格式,便于后续的数据分析和可视化。
主要功能
- 🔍 多源数据抓取:支持从多个医药网站同时抓取信息
- 📊 结构化数据保存:支持CSV、Excel、JSON三种输出格式
- ⏰ 定时增量更新:可设置定时任务,支持增量数据更新
- 🎯 智能对比分析:自动对比伏美替尼与同类药物的各项指标
- 🛡️ 反爬虫保护:内置请求延迟、User-Agent轮换等保护机制
- 📈 数据质量控制:包含数据验证、清洗和标准化功能
技术栈
- Python 3.11+
- requests 2.31:HTTP请求库
- BeautifulSoup4 4.12:HTML解析
- pandas 2.1:数据处理和分析
- schedule 1.2:定时任务管理
- lxml 4.9.3:XML/HTML解析加速
安装和使用
1. 安装依赖
pip install -r requirements.txt
2. 基本使用
# 抓取伏美替尼对比信息并保存为CSV
python main.py --drug 伏美替尼 --output csv
# 保存为Excel格式
python main.py --drug 伏美替尼 --output excel
# 指定输出路径
python main.py --drug 伏美替尼 --output csv --path 我的数据/伏美替尼对比
# 设置定时更新(每24小时)
python main.py --drug 伏美替尼 --output csv --interval 24
# 增量更新模式
python main.py --drug 伏美替尼 --output csv --incremental --path 现有数据.csv
3. 使用增强版爬虫
# 运行增强版爬虫(推荐)
python enhanced_crawler.py
# 生成模拟测试数据
python enhanced_crawler.py
命令行参数
| 参数 | 说明 | 默认值 | 示例 |
|---|---|---|---|
--drug |
药物名称 | 伏美替尼 | --drug 奥希替尼 |
--output |
输出格式 | csv | --output excel |
--path |
输出文件路径 | 自动生成 | --path 数据/对比结果 |
--interval |
定时更新间隔(小时) | 无 | --interval 24 |
--incremental |
增量更新模式 | False | --incremental |
输出数据结构
抓取的数据包含以下字段:
| 字段名 | 说明 | 示例 |
|---|---|---|
| drug_name | 药物名称 | 伏美替尼 |
| extracted_at | 提取时间 | 2025-06-25 14:30:00 |
| efficacy | 疗效描述 | 第三代EGFR-TKI,对T790M突变有效 |
| price | 价格信息 | 3000-5000元/月 |
| price_value | 价格数值(元) | 3000 |
| side_effects | 副作用信息 | 常见副作用:皮疹、腹泻 |
| comparison | 对比总结 | 伏美替尼 |
| source_url | 来源网址 | https://example.com |
| source_site | 来源网站 | 药智网 |
对比药物列表
程序会自动对比以下EGFR-TKI药物:
- 伏美替尼(Furmonertinib)
- 奥希替尼(Osimertinib)
- 阿美替尼(Almonertinib)
- 贝福替尼(Befotertinib)
- 厄洛替尼(Erlotinib)
- 吉非替尼(Gefitinib)
配置文件
项目包含以下配置文件:
config.py:爬虫配置、目标网站、对比药物列表utils.py:工具函数,包含日志、数据清洗、验证等功能
注意事项
- 合法使用:请确保抓取的数据仅用于学习和研究目的
- 网站友好:程序内置了请求延迟,避免对目标网站造成负担
- 数据准确性:抓取的数据仅供参考,实际用药请遵医嘱
- 网络环境:某些网站可能需要稳定的网络连接
更新日志
- v1.0.0 (2025-06-25):初始版本,基础爬虫功能
- v1.1.0 (2025-06-25):增强版爬虫,支持多网站抓取
许可证
本项目采用 MIT 许可证,详见 LICENSE 文件。
联系方式
如有问题或建议,欢迎提交 Issue 或 Pull Request。
Introduction
用户可用于抓取和分析伏美替尼与同类EGFR-TKI药物的对比信息。支持多源数据抓取、结构化数据保存(CSV/Excel/JSON)、定时增量更新及智能对比分析,内置反爬虫保护和数据质量控制功能。【此简介由AI生成】
Customize your domain