Sahara 与 MapR 的插件

https://blueprints.launchpad.net/sahara/+spec/mapr-plugin

https://blueprints.launchpad.net/sahara/+spec/mapr-image-elements

本规范建议在 Sahara 中添加支持 MapR Hadoop 发行版的插件。

问题描述

MapR Hadoop 发行版为组织提供了一个企业级的分布式数据平台,可靠地存储和处理大数据。MapR 封装了一套广泛的 Apache 开源生态系统项目,支持批处理、交互式或实时应用。该数据平台和项目都通过一个高级管理控制台绑定在一起,以监控和管理整个系统。

MapR 是 Hadoop 最大的发行版之一,支持超过 20 个开源项目。MapR 还支持各种单个项目的多个版本,从而允许用户按照自己的节奏迁移到最新版本。下表显示了当前 GA 版本 MapR Hadoop 发行版以及下一个 Beta 版本中积极支持的所有项目。[1]

提议的变更

MapR 插件的实现将支持 Hadoop 0.20.2 和 Hadoop 2.4.1。插件将支持关键的 Sahara 功能

  • Cinder 集成

  • 集群扩展/退役

  • EDP

  • 集群拓扑验证

  • 与 Swift 的集成

插件将能够安装以下服务

  • MapR-FS

  • YARN

  • Oozie(支持两个版本)

  • HBase

  • Hive(支持两个版本)

  • Pig

  • Mahout

  • Webserver

MapR 插件将支持以下操作系统:Ubuntu 14.04 和 CentOS 6.5。

MapR 插件将支持以下节点类型

  • 运行 ZooKeeper 和 CLDB 的节点

  • 用于数据存储和处理的节点

  • 边缘节点

在生产 MapR 集群中,一些节点通常专用于集群协调和管理,而其他节点则负责数据存储和处理任务。边缘节点为用户提供对集群的访问,将开放的用户权限集中在一个主机上。

替代方案

数据模型影响

REST API 影响

其他最终用户影响

部署者影响

开发者影响

Sahara-image-elements impact

MapR 插件使用带有 MapR 本地仓库文件的特定预安装镜像。

Sahara-dashboard / Horizon 影响

实现

负责人

主要负责人

aosadchiy

其他贡献者

ssvinarchuck

工作项

  • 添加对裸镜像的插件实现。

依赖项

依赖于 OpenStack 的要求。

测试

  • 为 Sahara 添加单元测试,以覆盖插件的基本功能

  • 为 Sahara 添加集成测试

文档影响

MapR 插件文档应添加到 Sahara 文档的插件部分。

参考资料