CDH Zookeeper 支持

https://blueprints.launchpad.net/sahara/+spec/cdh-zookeeper-support

本规范建议在 Sahara 中为 CDH 插件添加 Zookeeper 支持。

问题描述

目前,cdh 插件不支持 Zookeeper。Zookeeper 是一种集中式服务,提供诸如维护配置、分布式同步和提供组服务等功能。在集群中拥有 Zookeeper 对于防止数据丢失和避免单点故障 (SPoF) 至关重要。它已成为在 CDH 环境中部署 hadoop 集群的基本服务。

提议的变更

该实现将支持 CDH 5.0.0。支持特性

  • 在 CDH 集群中安装 Zookeeper 服务

  • 支持在集群中运行独立 Zookeeper

  • 支持在集群中运行复制的 Zookeeper(多台服务器)

  • 在节点组模板中提供选择 Zookeeper 的选项

  • 在 CDH 集群中支持大多数配置参数

替代方案

数据模型影响

REST API 影响

其他最终用户影响

最终用户需要在他们的节点组模板中选择 Zookeeper 进程。

部署者影响

开发者影响

Sahara-image-elements impact

需要在 cdh 镜像中放置必要的软件包。

Sahara-dashboard / Horizon 影响

实现

负责人

主要负责人

ken chen

其他贡献者

weiting-chen

工作项

工作项可以分为几个部分

  • 通过 Cloudera Manager (CM) 调查 CDH 集群中的 Zookeeper 服务

  • 利用 CM-API 客户端调用函数通过 CM 安装 Zookeeper

  • 测试和评估概念

  • 在 Sahara cdh 插件中实现源代码

  • 测试代码

依赖项

测试

编写单元测试以基本测试配置。还需要与集群创建进行集成测试。

文档影响

将 Zookeeper 添加到列表中,并添加更多关于配置的信息。

参考资料