Fly' Blog

spark on yarn集群

Spark

Spark on YARN 集群部署（Hadoop HA + ZooKeeper + Spark）集群版本：Hadoop 3.3.6、ZooKeeper 3.8.4、Spark 3.5.6（spark-3.5.6-bin-hadoop3）、JDK 8。集群规模：node01 ~ node03 共

部署Spark Standalone 高可用集群

Spark

部署Spark Standalone 高可用集群适用版本：Spark 4.0+（要求 JDK 17+，内置 Scala 2.13）、ZooKeeper 集群已部署完成（安装步骤省略，复用三节点 ZooKeeper 集群）。集群规模：Spark Master × 2、Spark Worker ×

三节点部署zookeeper集群

Zookeeper

三节点部署 ZooKeeper 集群适用版本：JDK 1.8 + Apache ZooKeeper 3.8.4，三个节点分别命名为 node01、node02、node03。以下命令默认在三台节点上均执行（特别注明的除外），安装目录统一为 /opt。 1. 安装 Java # 解压 JDK 安装包

shell配置文件生效顺序

Linux

shell配置文件生效顺序本文介绍Linux操作系统shell的配置文件生效顺序。 1. 交互式与非交互式 Shell 介绍类型含义典型场景交互式 Shell 用户可输入命令并立即看到输出终端登录、打开新终端、执行 bash 非交互式 Shell 自动执行命令，无需用户输入运行脚本 b

加密与证书体系知识总结

HTTP/HTTPS

加密与证书体系知识总结涵盖：对称加密、非对称加密、数字签名、数字证书、证书信任链、中间人攻击、HTTPS/TLS 混合加密，以及内网 Harbor 自签证书实例。一、对称加密（Symmetric Encryption）原理加密和解密使用同一把密钥。通信双方必须预先安全地共享该密钥。常见算法

解决docker-compose部署harbor更换ssl证书不生效问题

错误集

背景：docker compose部署harbor，在安装目录下修改harbor.yml配置文件的证书存放路径来更换ssl证书，重启harbor服务发现证书并未更换成功。 1、停止harbor服务 docker-compose down 2、更换ssl证书修改harbor.yml配置文件的证书存放

MinIO介绍：从原理到生产部署

存储 Minio

一、MinIO 背景介绍 1.1 什么是 MinIO？ MinIO 是一个高性能、开源的对象存储系统，完全兼容 Amazon S3 API。它专为云原生应用设计，采用 Go 语言编写，具有极高的性能和极简的部署体验。 MinIO 诞生于 2014 年，由 Anand Babu Periasamy 创

三节点完全分布式Hadoop高可用集群部署

大数据 Hadoop

1 集群规划 1.1 集群资源规划主机名 IP地址资源操作系统 hadoop01 192.168.2.11 2C4G OpenEuler 2403 hadoop02 192.168.2.12 2C4G OpenEuler 2403 hadoop03 192.168.2.13 2C4G Open

Doris3.1.3存算一体6节点高可用集群

数据库 Doris

1 部署前准备 1.1 硬件环境检查在硬件环境检查中，要对以下硬件条件进行检查：检查项建议配置 CPU 支持 AVX2 指令集。内存建议至少 CPU 4 倍。存储推荐 SSD 硬盘。文件系统 ext4 或 xfs 文件系统。网卡 10GbE 网卡。 1.1.1 CPU检查当安装

数据库备份工具之XtraBackup

数据库 MySQL

一、什么是 XtraBackup？ Percona XtraBackup 是由 Percona 公司开发的一款开源 MySQL 物理热备份工具，专为 InnoDB/XtraDB 存储引擎设计。它能够在不停止数据库服务的情况下执行备份，是 MySQL DBA 进行数据库备份恢复的行业标准工具之一。官