ZhuShiHao:基于E-Charts的商品销售数据分析系统

朱世豪代码

Branch1Tags0
FilesLast commitLast update
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago
9 months ago

基于E-Charts的商品销售数据分析系统

项目简介

这是一个基于E-Charts的商品销售数据分析系统,用于分析和可视化多个电商平台的销售数据。系统提供丰富的数据可视化功能,帮助用户深入理解销售趋势、商品表现、用户行为和地域分布等关键业务指标。

项目特性

  • 实时数据可视化: 基于E-Charts的动态图表展示
  • 多维数据分析: 销售趋势、商品排行、区域分布、用户画像等
  • 数据采集功能: 支持基于真实数据样本生成模拟数据
  • 响应式界面: 适配不同屏幕尺寸的现代化UI设计

项目结构

ZhuShiHao/
├── dataset/              # 原始数据集目录
├── cleaned_dataset/      # 清洗后的数据集目录
├── src/                  # 后端源代码目录
│   ├── app.py            # Flask应用主入口,包含所有API端点
│   ├── data_processor.py # 数据处理模块,负责数据清洗、格式化
│   ├── data_analyzer.py  # 数据分析模块,负责统计分析
│   ├── chart_generator.py # 图表生成模块,负责数据可视化
│   ├── database.py       # 数据库操作模块,包含数据模型定义
│   ├── config.py         # 配置文件,包含系统配置参数
│   └── scraper.py        # 数据爬虫模块,负责数据采集和模拟
├── frontend/             # 前端源代码目录
│   ├── src/
│   │   ├── views/        # 页面视图组件
│   │   │   ├── Dashboard.vue      # 仪表板页面
│   │   │   ├── SalesAnalysis.vue  # 销售分析页面(含热力图)
│   │   │   ├── ProductRanking.vue # 商品排行页面
│   │   │   ├── RegionalDistribution.vue # 区域分布页面
│   │   │   ├── UserAnalysis.vue   # 用户分析页面
│   │   │   ├── DataManagement.vue # 数据管理页面
│   │   │   └── DataScraper.vue    # 数据采集页面
│   │   ├── api/          # API接口定义
│   │   ├── router/       # 路由配置
│   │   ├── store/        # 状态管理
│   │   └── components/   # Vue组件
├── docs/                 # 文档目录
├── requirements.txt      # Python依赖
└── README.md             # 项目说明

详细技术架构

后端模块详解

1. database.py - 数据库模型定义

  • User模型: 定义用户表结构,包含用户ID、姓名、城市、性别、年龄等字段
  • Product模型: 定义商品表结构,包含商品ID、名称、类别、价格等字段
  • Sale模型: 定义销售记录表,包含用户ID、商品ID、购买时间、数量、金额等字段
  • init_db()函数: 初始化数据库,创建所有表结构

2. data_processor.py - 数据处理模块

  • clean_data()函数: 清洗数据,处理缺失值、异常值
  • load_csv_data()函数: 从CSV文件加载数据到数据库
  • transform_data()函数: 数据格式转换和标准化
  • validate_data()函数: 数据验证,确保数据完整性

3. data_analyzer.py - 数据分析模块

  • get_overview_statistics()函数: 获取系统概览统计信息
  • get_sales_trend()函数: 获取销售趋势数据,按时间维度分析
  • get_product_ranking()函数: 获取商品排行数据,按销售额或销量排序
  • get_category_distribution()函数: 获取商品类别分布数据
  • get_regional_distribution()函数: 获取区域分布数据
  • get_user_analysis()函数: 获取用户分析数据,包括性别、年龄分布等

4. chart_generator.py - 图表生成模块

  • generate_sales_trend_chart()函数: 生成销售趋势图表
  • generate_product_ranking_chart()函数: 生成商品排行图表
  • generate_category_distribution_chart()函数: 生成类别分布图表
  • generate_regional_distribution_chart()函数: 生成区域分布图表
  • generate_user_analysis_chart()函数: 生成用户分析图表

5. scraper.py - 数据爬虫模块

  • DataScraper类: 爬虫主类
  • scrape_ecommerce_data()方法: 爬取电商平台数据
  • generate_mock_data_from_sample()方法: 基于真实数据样本生成模拟数据
  • scrape_and_save_data()方法: 爬取数据并保存到文件

6. app.py - Flask应用主入口

包含以下API端点:

  • GET /api/init-database: 初始化数据库
  • GET /api/dataset-list: 获取数据集列表
  • GET /api/dataset-data: 获取数据集数据预览
  • GET /api/clean-and-load-dataset: 清洗并加载数据集
  • GET /api/overview: 获取系统概览数据
  • GET /api/sales-trend: 获取销售趋势数据
  • GET /api/product-ranking: 获取商品排行数据
  • GET /api/regional-distribution: 获取区域分布数据
  • GET /api/user-analysis: 获取用户分析数据
  • GET /api/category-distribution: 获取商品类别分布数据
  • GET /api/processing-mode-status: 获取处理模式状态
  • POST /api/scrape-data: 爬取/生成电商数据

前端模块详解

1. views/Dashboard.vue - 仪表板页面

  • 功能: 显示系统概览统计信息
  • API调用: getOverview()获取总用户数、总商品数、总订单数、总销售额等
  • 组件: 包含统计卡片和概览图表

2. views/SalesAnalysis.vue - 销售分析页面

  • 功能: 销售趋势、销售额对比、订单量趋势、销售热力图
  • API调用:
    • getSalesTrend()获取销售趋势数据
    • getProductRanking()获取商品排行数据(用于销售额对比)
  • 图表类型: 折线图、柱状图、热力图
  • 热力图实现: 基于时间和商品类别的销售情况热力图

3. views/ProductRanking.vue - 商品排行页面

  • 功能: 显示热销商品排行
  • API调用: getProductRanking()获取商品排行数据
  • 组件: 表格展示商品排行信息

4. views/RegionalDistribution.vue - 区域分布页面

  • 功能: 显示各城市销售情况分布
  • API调用: getRegionalDistribution()获取区域分布数据
  • 图表类型: 柱状图、饼图

5. views/UserAnalysis.vue - 用户分析页面

  • 功能: 分析用户性别、年龄、城市分布
  • API调用: getUserAnalysis()获取用户分析数据
  • 图表类型: 饼图、柱状图

6. views/DataManagement.vue - 数据管理页面

  • 功能: 数据集管理和加载
  • API调用:
    • getDatasetList()获取数据集列表
    • getDatasetData()获取数据集预览
    • loadDataset()加载数据集

7. views/DataScraper.vue - 数据采集页面

  • 功能: 基于真实数据样本生成模拟数据
  • API调用: scrapeEcommerceData()生成模拟数据
  • 组件: 表单输入、进度显示、结果展示

API接口详细说明

1. 数据管理接口

  • GET /api/dataset-list

    • 参数: processing_mode (local/hdfs)
    • 返回: 可用数据集列表,包含文件名、大小、路径等信息
  • GET /api/dataset-data

    • 参数: dataset (数据集名称), limit (限制条数), processing_mode
    • 返回: 数据集前N条记录的预览
  • GET /api/clean-and-load-dataset

    • 参数: dataset (数据集名称), processing_mode
    • 返回: 清洗和加载结果,包含清洗率、处理行数等

2. 数据分析接口

  • GET /api/overview

    • 返回: 系统概览统计,包括总用户数、总商品数、总销售额、平均订单金额等
  • GET /api/sales-trend

    • 参数: start_date, end_date, category, dataset
    • 返回: 按时间维度的销售趋势数据,包含日期、销售额、销售数量、交易次数
  • GET /api/product-ranking

    • 参数: limit (限制条数), category, dataset
    • 返回: 商品排行数据,包含排名、商品信息、销售统计
  • GET /api/regional-distribution

    • 参数: dataset
    • 返回: 区域分布数据,包含城市名称、销售金额、订单数量
  • GET /api/user-analysis

    • 参数: dataset
    • 返回: 用户分析数据,包含性别分布、年龄分布、城市分布、消费能力分布
  • GET /api/category-distribution

    • 参数: dataset
    • 返回: 商品类别分布数据,包含类别名称、销售金额、销售数量、订单次数

3. 数据采集接口

  • POST /api/scrape-data
    • 请求体: {platform: 数据源, num_records: 记录数}
    • 返回: 生成的数据文件路径和记录数

数据字段说明

原始数据包含以下字段:

  • 用户ID: 用户唯一标识符
  • 用户姓名: 用户姓名
  • 商品ID: 商品唯一标识符
  • 商品名称: 商品名称
  • 商品类别: 商品分类(家居、服装、电子产品、书籍等)
  • 单价: 商品单价(元)
  • 购买时间: 购买时间戳(格式:YYYY-MM-DD HH:MM:SS)
  • 购买数量: 购买数量
  • 消费金额: 总消费金额(单价 × 购买数量)
  • 用户城市: 用户所在城市
  • 用户性别: 用户性别(男/女)
  • 用户年龄: 用户年龄

技术栈

  • 后端: Python, Flask, SQLAlchemy
  • 数据处理: Pandas, NumPy
  • 可视化: E-Charts, PyEcharts
  • 前端: Vue 3, Element Plus, Vite
  • 数据库: SQLite (默认)

启动指南

环境要求

  • Python 3.8+
  • Node.js 16+

1. 安装Python依赖

python -m venv venv
venv\Scripts\activate
pip install -r requirements.txt

2. 安装前端依赖

cd frontend
npm install

3. 启动后端服务

cd src
python app.py

后端服务将运行在 http://localhost:5000

4. 启动前端服务

cd frontend
npm run dev

前端服务将运行在 http://localhost:8080 或自动分配的其他端口

5. 访问系统

在浏览器中打开前端服务地址,即可访问系统界面。

系统功能详解

1. 数据处理流程

系统从原始CSV数据开始,经过以下处理步骤:

  1. 数据加载: 从dataset目录加载CSV文件
  2. 数据清洗: 处理缺失值、异常值,标准化数据格式
  3. 数据验证: 检查数据完整性,确保字段格式正确
  4. 数据入库: 将清洗后的数据存储到数据库
  5. 数据分析: 从数据库获取数据,进行统计分析
  6. 数据可视化: 生成E-Charts图表进行展示

2. 数据分析算法

  • 销售趋势分析: 基于时间序列的销售数据统计
  • 商品排行算法: 按销售额或销量对商品进行排序
  • 用户分群: 基于年龄、消费能力等特征进行用户分群
  • 地理分布统计: 按城市维度统计销售数据
  • 商品类别分析: 按类别维度统计销售数据

3. 前端交互实现

  • 响应式设计: 使用Element Plus组件库确保界面在不同设备上正常显示
  • 图表交互: E-Charts支持缩放、筛选、悬停提示等交互功能
  • 数据刷新: 支持手动刷新数据,获取最新分析结果
  • 页面导航: 使用Vue Router实现页面间导航

4. 数据采集实现

  • 真实数据样本: 基于现有清洗数据生成模拟数据
  • 数据保真: 保持原始数据的分布特征和统计特性
  • 可扩展性: 支持多种数据源和不同规模的数据生成

论文写作参考

技术实现要点

  1. 系统架构: 前后端分离架构,Flask API + Vue 3前端
  2. 数据处理: 使用Pandas进行高效数据处理和分析
  3. 可视化技术: E-Charts实现丰富的数据可视化效果
  4. 数据模型: 采用用户-商品-销售三表关联的数据模型

关键算法

  1. 数据清洗算法: 异常值检测、缺失值处理
  2. 统计分析算法: 趋势分析、分布统计、排名算法
  3. 图表生成算法: 数据聚合、图表渲染

系统特色

  1. 数据驱动: 以数据为核心,提供多维度分析
  2. 可视化直观: E-Charts图表直观展示数据洞察
  3. 用户友好: 响应式界面,操作简便
  4. 可扩展性: 模块化设计,易于扩展新功能

许可证

本项目仅供学习和研究使用。

Introduction

朱世豪代码

Customize your domain