1111:基于 Python 的伏美替尼药物对比信息爬虫项目

用户可用于抓取和分析伏美替尼与同类EGFR-TKI药物的对比信息。支持多源数据抓取、结构化数据保存(CSV/Excel/JSON)、定时增量更新及智能对比分析,内置反爬虫保护和数据质量控制功能。【此简介由AI生成】

Branch1Tags0

伏美替尼对比爬虫项目

项目简介

这是一个专门用于抓取和分析伏美替尼(Furmonertinib)与同类EGFR-TKI药物对比信息的Python爬虫工具。该工具可以自动从公开网页中抓取药物的疗效、价格、副作用等对比信息,并将结果保存为CSV、Excel或JSON格式,便于后续的数据分析和可视化。

主要功能

  • 🔍 多源数据抓取:支持从多个医药网站同时抓取信息
  • 📊 结构化数据保存:支持CSV、Excel、JSON三种输出格式
  • ⏰ 定时增量更新:可设置定时任务,支持增量数据更新
  • 🎯 智能对比分析:自动对比伏美替尼与同类药物的各项指标
  • 🛡️ 反爬虫保护:内置请求延迟、User-Agent轮换等保护机制
  • 📈 数据质量控制:包含数据验证、清洗和标准化功能

技术栈

  • Python 3.11+
  • requests 2.31:HTTP请求库
  • BeautifulSoup4 4.12:HTML解析
  • pandas 2.1:数据处理和分析
  • schedule 1.2:定时任务管理
  • lxml 4.9.3:XML/HTML解析加速

安装和使用

1. 安装依赖

pip install -r requirements.txt

2. 基本使用

# 抓取伏美替尼对比信息并保存为CSV
python main.py --drug 伏美替尼 --output csv

# 保存为Excel格式
python main.py --drug 伏美替尼 --output excel

# 指定输出路径
python main.py --drug 伏美替尼 --output csv --path 我的数据/伏美替尼对比

# 设置定时更新(每24小时)
python main.py --drug 伏美替尼 --output csv --interval 24

# 增量更新模式
python main.py --drug 伏美替尼 --output csv --incremental --path 现有数据.csv

3. 使用增强版爬虫

# 运行增强版爬虫(推荐)
python enhanced_crawler.py

# 生成模拟测试数据
python enhanced_crawler.py

命令行参数

参数 说明 默认值 示例
--drug 药物名称 伏美替尼 --drug 奥希替尼
--output 输出格式 csv --output excel
--path 输出文件路径 自动生成 --path 数据/对比结果
--interval 定时更新间隔(小时) 无 --interval 24
--incremental 增量更新模式 False --incremental

输出数据结构

抓取的数据包含以下字段:

字段名 说明 示例
drug_name 药物名称 伏美替尼
extracted_at 提取时间 2025-06-25 14:30:00
efficacy 疗效描述 第三代EGFR-TKI,对T790M突变有效
price 价格信息 3000-5000元/月
price_value 价格数值(元) 3000
side_effects 副作用信息 常见副作用:皮疹、腹泻
comparison 对比总结 伏美替尼
source_url 来源网址 https://example.com
source_site 来源网站 药智网

对比药物列表

程序会自动对比以下EGFR-TKI药物:

  • 伏美替尼(Furmonertinib)
  • 奥希替尼(Osimertinib)
  • 阿美替尼(Almonertinib)
  • 贝福替尼(Befotertinib)
  • 厄洛替尼(Erlotinib)
  • 吉非替尼(Gefitinib)

配置文件

项目包含以下配置文件:

  • config.py:爬虫配置、目标网站、对比药物列表
  • utils.py:工具函数,包含日志、数据清洗、验证等功能

注意事项

  1. 合法使用:请确保抓取的数据仅用于学习和研究目的
  2. 网站友好:程序内置了请求延迟,避免对目标网站造成负担
  3. 数据准确性:抓取的数据仅供参考,实际用药请遵医嘱
  4. 网络环境:某些网站可能需要稳定的网络连接

更新日志

  • v1.0.0 (2025-06-25):初始版本,基础爬虫功能
  • v1.1.0 (2025-06-25):增强版爬虫,支持多网站抓取

许可证

本项目采用 MIT 许可证,详见 LICENSE 文件。

联系方式

如有问题或建议,欢迎提交 Issue 或 Pull Request。

Introduction

用户可用于抓取和分析伏美替尼与同类EGFR-TKI药物的对比信息。支持多源数据抓取、结构化数据保存(CSV/Excel/JSON)、定时增量更新及智能对比分析,内置反爬虫保护和数据质量控制功能。【此简介由AI生成】

Customize your domain