spark on yarn集群

Spark 

Spark on YARN 集群部署(Hadoop HA + ZooKeeper + Spark) 集群版本:Hadoop 3.3.6、ZooKeeper 3.8.4、Spark 3.5.6(spark-3.5.6-bin-hadoop3)、JDK 8。 集群规模:node01 ~ node03 共

部署Spark Standalone 高可用集群

Spark 

部署Spark Standalone 高可用集群 适用版本:Spark 4.0+(要求 JDK 17+,内置 Scala 2.13)、ZooKeeper 集群已部署完成(安装步骤省略,复用三节点 ZooKeeper 集群)。 集群规模:Spark Master × 2、Spark Worker ×

三节点部署zookeeper集群


三节点部署 ZooKeeper 集群 适用版本:JDK 1.8 + Apache ZooKeeper 3.8.4,三个节点分别命名为 node01、node02、node03。以下命令默认在三台节点上均执行(特别注明的除外),安装目录统一为 /opt。 1. 安装 Java # 解压 JDK 安装包

三节点完全分布式Hadoop高可用集群部署


1 集群规划 1.1 集群资源规划 主机名 IP地址 资源 操作系统 hadoop01 192.168.2.11 2C4G OpenEuler 2403 hadoop02 192.168.2.12 2C4G OpenEuler 2403 hadoop03 192.168.2.13 2C4G Open
弹