朱世豪代码
| Files | Last commit | Last update |
|---|---|---|
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago | ||
| 9 months ago |
基于E-Charts的商品销售数据分析系统
项目简介
这是一个基于E-Charts的商品销售数据分析系统,用于分析和可视化多个电商平台的销售数据。系统提供丰富的数据可视化功能,帮助用户深入理解销售趋势、商品表现、用户行为和地域分布等关键业务指标。
项目特性
- 实时数据可视化: 基于E-Charts的动态图表展示
- 多维数据分析: 销售趋势、商品排行、区域分布、用户画像等
- 数据采集功能: 支持基于真实数据样本生成模拟数据
- 响应式界面: 适配不同屏幕尺寸的现代化UI设计
项目结构
ZhuShiHao/
├── dataset/ # 原始数据集目录
├── cleaned_dataset/ # 清洗后的数据集目录
├── src/ # 后端源代码目录
│ ├── app.py # Flask应用主入口,包含所有API端点
│ ├── data_processor.py # 数据处理模块,负责数据清洗、格式化
│ ├── data_analyzer.py # 数据分析模块,负责统计分析
│ ├── chart_generator.py # 图表生成模块,负责数据可视化
│ ├── database.py # 数据库操作模块,包含数据模型定义
│ ├── config.py # 配置文件,包含系统配置参数
│ └── scraper.py # 数据爬虫模块,负责数据采集和模拟
├── frontend/ # 前端源代码目录
│ ├── src/
│ │ ├── views/ # 页面视图组件
│ │ │ ├── Dashboard.vue # 仪表板页面
│ │ │ ├── SalesAnalysis.vue # 销售分析页面(含热力图)
│ │ │ ├── ProductRanking.vue # 商品排行页面
│ │ │ ├── RegionalDistribution.vue # 区域分布页面
│ │ │ ├── UserAnalysis.vue # 用户分析页面
│ │ │ ├── DataManagement.vue # 数据管理页面
│ │ │ └── DataScraper.vue # 数据采集页面
│ │ ├── api/ # API接口定义
│ │ ├── router/ # 路由配置
│ │ ├── store/ # 状态管理
│ │ └── components/ # Vue组件
├── docs/ # 文档目录
├── requirements.txt # Python依赖
└── README.md # 项目说明
详细技术架构
后端模块详解
1. database.py - 数据库模型定义
- User模型: 定义用户表结构,包含用户ID、姓名、城市、性别、年龄等字段
- Product模型: 定义商品表结构,包含商品ID、名称、类别、价格等字段
- Sale模型: 定义销售记录表,包含用户ID、商品ID、购买时间、数量、金额等字段
- init_db()函数: 初始化数据库,创建所有表结构
2. data_processor.py - 数据处理模块
- clean_data()函数: 清洗数据,处理缺失值、异常值
- load_csv_data()函数: 从CSV文件加载数据到数据库
- transform_data()函数: 数据格式转换和标准化
- validate_data()函数: 数据验证,确保数据完整性
3. data_analyzer.py - 数据分析模块
- get_overview_statistics()函数: 获取系统概览统计信息
- get_sales_trend()函数: 获取销售趋势数据,按时间维度分析
- get_product_ranking()函数: 获取商品排行数据,按销售额或销量排序
- get_category_distribution()函数: 获取商品类别分布数据
- get_regional_distribution()函数: 获取区域分布数据
- get_user_analysis()函数: 获取用户分析数据,包括性别、年龄分布等
4. chart_generator.py - 图表生成模块
- generate_sales_trend_chart()函数: 生成销售趋势图表
- generate_product_ranking_chart()函数: 生成商品排行图表
- generate_category_distribution_chart()函数: 生成类别分布图表
- generate_regional_distribution_chart()函数: 生成区域分布图表
- generate_user_analysis_chart()函数: 生成用户分析图表
5. scraper.py - 数据爬虫模块
- DataScraper类: 爬虫主类
- scrape_ecommerce_data()方法: 爬取电商平台数据
- generate_mock_data_from_sample()方法: 基于真实数据样本生成模拟数据
- scrape_and_save_data()方法: 爬取数据并保存到文件
6. app.py - Flask应用主入口
包含以下API端点:
- GET /api/init-database: 初始化数据库
- GET /api/dataset-list: 获取数据集列表
- GET /api/dataset-data: 获取数据集数据预览
- GET /api/clean-and-load-dataset: 清洗并加载数据集
- GET /api/overview: 获取系统概览数据
- GET /api/sales-trend: 获取销售趋势数据
- GET /api/product-ranking: 获取商品排行数据
- GET /api/regional-distribution: 获取区域分布数据
- GET /api/user-analysis: 获取用户分析数据
- GET /api/category-distribution: 获取商品类别分布数据
- GET /api/processing-mode-status: 获取处理模式状态
- POST /api/scrape-data: 爬取/生成电商数据
前端模块详解
1. views/Dashboard.vue - 仪表板页面
- 功能: 显示系统概览统计信息
- API调用:
getOverview()获取总用户数、总商品数、总订单数、总销售额等 - 组件: 包含统计卡片和概览图表
2. views/SalesAnalysis.vue - 销售分析页面
- 功能: 销售趋势、销售额对比、订单量趋势、销售热力图
- API调用:
getSalesTrend()获取销售趋势数据getProductRanking()获取商品排行数据(用于销售额对比)
- 图表类型: 折线图、柱状图、热力图
- 热力图实现: 基于时间和商品类别的销售情况热力图
3. views/ProductRanking.vue - 商品排行页面
- 功能: 显示热销商品排行
- API调用:
getProductRanking()获取商品排行数据 - 组件: 表格展示商品排行信息
4. views/RegionalDistribution.vue - 区域分布页面
- 功能: 显示各城市销售情况分布
- API调用:
getRegionalDistribution()获取区域分布数据 - 图表类型: 柱状图、饼图
5. views/UserAnalysis.vue - 用户分析页面
- 功能: 分析用户性别、年龄、城市分布
- API调用:
getUserAnalysis()获取用户分析数据 - 图表类型: 饼图、柱状图
6. views/DataManagement.vue - 数据管理页面
- 功能: 数据集管理和加载
- API调用:
getDatasetList()获取数据集列表getDatasetData()获取数据集预览loadDataset()加载数据集
7. views/DataScraper.vue - 数据采集页面
- 功能: 基于真实数据样本生成模拟数据
- API调用:
scrapeEcommerceData()生成模拟数据 - 组件: 表单输入、进度显示、结果展示
API接口详细说明
1. 数据管理接口
-
GET /api/dataset-list
- 参数: processing_mode (local/hdfs)
- 返回: 可用数据集列表,包含文件名、大小、路径等信息
-
GET /api/dataset-data
- 参数: dataset (数据集名称), limit (限制条数), processing_mode
- 返回: 数据集前N条记录的预览
-
GET /api/clean-and-load-dataset
- 参数: dataset (数据集名称), processing_mode
- 返回: 清洗和加载结果,包含清洗率、处理行数等
2. 数据分析接口
-
GET /api/overview
- 返回: 系统概览统计,包括总用户数、总商品数、总销售额、平均订单金额等
-
GET /api/sales-trend
- 参数: start_date, end_date, category, dataset
- 返回: 按时间维度的销售趋势数据,包含日期、销售额、销售数量、交易次数
-
GET /api/product-ranking
- 参数: limit (限制条数), category, dataset
- 返回: 商品排行数据,包含排名、商品信息、销售统计
-
GET /api/regional-distribution
- 参数: dataset
- 返回: 区域分布数据,包含城市名称、销售金额、订单数量
-
GET /api/user-analysis
- 参数: dataset
- 返回: 用户分析数据,包含性别分布、年龄分布、城市分布、消费能力分布
-
GET /api/category-distribution
- 参数: dataset
- 返回: 商品类别分布数据,包含类别名称、销售金额、销售数量、订单次数
3. 数据采集接口
- POST /api/scrape-data
- 请求体: {platform: 数据源, num_records: 记录数}
- 返回: 生成的数据文件路径和记录数
数据字段说明
原始数据包含以下字段:
- 用户ID: 用户唯一标识符
- 用户姓名: 用户姓名
- 商品ID: 商品唯一标识符
- 商品名称: 商品名称
- 商品类别: 商品分类(家居、服装、电子产品、书籍等)
- 单价: 商品单价(元)
- 购买时间: 购买时间戳(格式:YYYY-MM-DD HH:MM:SS)
- 购买数量: 购买数量
- 消费金额: 总消费金额(单价 × 购买数量)
- 用户城市: 用户所在城市
- 用户性别: 用户性别(男/女)
- 用户年龄: 用户年龄
技术栈
- 后端: Python, Flask, SQLAlchemy
- 数据处理: Pandas, NumPy
- 可视化: E-Charts, PyEcharts
- 前端: Vue 3, Element Plus, Vite
- 数据库: SQLite (默认)
启动指南
环境要求
- Python 3.8+
- Node.js 16+
1. 安装Python依赖
python -m venv venv
venv\Scripts\activate
pip install -r requirements.txt
2. 安装前端依赖
cd frontend
npm install
3. 启动后端服务
cd src
python app.py
后端服务将运行在 http://localhost:5000
4. 启动前端服务
cd frontend
npm run dev
前端服务将运行在 http://localhost:8080 或自动分配的其他端口
5. 访问系统
在浏览器中打开前端服务地址,即可访问系统界面。
系统功能详解
1. 数据处理流程
系统从原始CSV数据开始,经过以下处理步骤:
- 数据加载: 从dataset目录加载CSV文件
- 数据清洗: 处理缺失值、异常值,标准化数据格式
- 数据验证: 检查数据完整性,确保字段格式正确
- 数据入库: 将清洗后的数据存储到数据库
- 数据分析: 从数据库获取数据,进行统计分析
- 数据可视化: 生成E-Charts图表进行展示
2. 数据分析算法
- 销售趋势分析: 基于时间序列的销售数据统计
- 商品排行算法: 按销售额或销量对商品进行排序
- 用户分群: 基于年龄、消费能力等特征进行用户分群
- 地理分布统计: 按城市维度统计销售数据
- 商品类别分析: 按类别维度统计销售数据
3. 前端交互实现
- 响应式设计: 使用Element Plus组件库确保界面在不同设备上正常显示
- 图表交互: E-Charts支持缩放、筛选、悬停提示等交互功能
- 数据刷新: 支持手动刷新数据,获取最新分析结果
- 页面导航: 使用Vue Router实现页面间导航
4. 数据采集实现
- 真实数据样本: 基于现有清洗数据生成模拟数据
- 数据保真: 保持原始数据的分布特征和统计特性
- 可扩展性: 支持多种数据源和不同规模的数据生成
论文写作参考
技术实现要点
- 系统架构: 前后端分离架构,Flask API + Vue 3前端
- 数据处理: 使用Pandas进行高效数据处理和分析
- 可视化技术: E-Charts实现丰富的数据可视化效果
- 数据模型: 采用用户-商品-销售三表关联的数据模型
关键算法
- 数据清洗算法: 异常值检测、缺失值处理
- 统计分析算法: 趋势分析、分布统计、排名算法
- 图表生成算法: 数据聚合、图表渲染
系统特色
- 数据驱动: 以数据为核心,提供多维度分析
- 可视化直观: E-Charts图表直观展示数据洞察
- 用户友好: 响应式界面,操作简便
- 可扩展性: 模块化设计,易于扩展新功能
许可证
本项目仅供学习和研究使用。