hadoop HA高可用

发表于 2022-11-03
本文字数： 22k 阅读时长 ≈ 20 分钟

[TOC]

Hadoop HA 高可用

6.1 HA 概述

（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。

（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。

（3） NameNode 主要在以下两个方面影响 HDFS 集群

➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启

➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA 功能通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

阅读全文 »

学习路线

发表于 2022-11-03 更新于 2022-11-01
本文字数： 9 阅读时长 ≈ 1 分钟

路线图（持续更新）

阅读全文 »

zookeeper

发表于 2022-11-02
本文字数： 24k 阅读时长 ≈ 22 分钟

[TOC]

尚硅谷技术之 Zookeeper

（作者：尚硅谷研究院）

版本：V3.3

第 1 章 Zookeeper 入门

1.1 概述

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。

阅读全文 »

06.生产调优手册-集群迁移（cdh集群版）

发表于 2022-11-02 更新于 2022-11-10
本文字数： 6.3k 阅读时长 ≈ 6 分钟

[TOC]

尚硅谷大数据技术之集群迁移（Apache和CDH）

（作者：尚硅谷大数据研发部）

版本：V1.0

第1章迁移数据

1）准备两套集群，我这使用apache集群和CDH集群。

阅读全文 »

03_尚硅谷大数据技术之Hadoop（HDFS）

发表于 2022-11-02 更新于 2022-11-10
本文字数： 20k 阅读时长 ≈ 18 分钟

[TOC]

尚硅谷大数据技术之Hadoop（HDFS）

（作者：尚硅谷大数据研发部）

版本：V3.3

第1章 HDFS概述

1.1 HDFS产出背景及定义

1）HDFS产生背景

    随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2）HDFS定义

    HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

    HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

阅读全文 »