A unified analytics engine for large-scale data processing

文件	最后提交记录	最后更新时间
0001-change-mvn-scalafmt.patch	update 3.5.0	2 年前
0002-Upgrade-os-maven-plugin-to-1.7.1.patch	Fix build on riscv64	2 年前
1000-Added-support-for-building-the-riscv64-protoc-binari.patch	Fix build on riscv64	2 年前
1001-Add-protoc-java-support-for-riscv64.patch	Fix build on riscv64	2 年前
1002-Added-support-for-building-the-riscv64-protoc-gen-gr.patch	Fix build on riscv64	2 年前
README.md	update: 更新文件 README.md Signed-off-by: xiexing01 <xiexing4@hisilicon.com>	7 个月前
backport-CVE-2024-23945.patch	fix CVE-2024-23945	1 年前
gradle-7.6-bin.zip	Fix build on riscv64	2 年前
protobuf-all-21.7.tar.gz	Fix build on riscv64	2 年前
spark.spec	fix CVE-2024-23945	1 年前
v1.56.0.tar.gz	Fix build on riscv64	2 年前
v3.11.4.tar.gz	Fix build on riscv64	2 年前
v3.11.4.zip	Fix build on riscv64	2 年前
v3.21.7.tar.gz	Fix build on riscv64	2 年前
v3.5.0.tar.gz	update 3.5.0	2 年前

spark

介绍

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。

软件架构

软件架构说明

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。
Spark Streaming：对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据
这里是列表文本MLlib：一个常用机器学习算法库，算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法，比如分类、回归等需要对大量数据集进行迭代的操作。
GraphX：控制图、并行图操作和计算的一组算法和工具的集合。GraphX扩展了RDD API，包含控制图、创建子图、访问路径上所有顶点的操作