• 反腐败国际合作"朋友圈"又大了! 2019-07-13
  • 前线 从一面“魔镜” 看苏宁科技集团智能化发展战略 2019-07-13
  • 身份证被盗产生不良记录 网络虚拟账号权属纠纷如何避免 2019-07-07
  • 的确,呆子七窍通了栁窍。[哈哈] 2019-06-20
  • 强国博客首页整合公告 2019-06-08
  • 西海都市报数字报刊平台 2019-05-27
  • 美国反拥枪的孩子很受伤 2019-05-25
  • C罗戴帽单骑救主 葡萄牙33战平西班牙 2019-05-25
  • 证监会去年对外公开监管信息14560条 2019-05-16
  • 中山八路总站调整12公交线 2019-05-16
  • 谢春涛:深刻把握“中国特色社会主义进入新时代”的重大意义 2019-05-09
  • 湖南一博士生举报水利局领导受贿 遭到冒牌纪委约谈 2019-05-09
  • 西安地铁唐风诗韵文化专列将于6月18日首发 2019-04-30
  • 铜梁区旧县街道:全面提升执行力 推动工作落地见效 2019-04-30
  • 上海电影节女性影人大放异彩 中生代女演员不用焦虑 2019-04-29
  • 大数据软件栈部署与管理工具 PackOne

    广东11选5大小: 大数据软件栈部署与管理工具 PackOne

    Apache
    Python
    跨平台
    2019-07-08
    ExcellentW

    广东十一选五推荐号 www.qhysp.com

    PackOne 致力于实现主流大数据软件在云端的快速弹性部署。通过对云 API 和 Apache Ambari API 的联合调用,完成 Hadoop、Spark、NiFi、PiFlow、Kylin、MangoDB、Neo4J 等流行的大数据管理/处理软件在云端的一键部署和一键伸缩。主要特性包括:

    1. 支持在空白虚拟机上完成大数据处理集群的全自动部署。
    2. 通过 Apache Ambari 对已部署的大数据软件进行状态监控、配置管理。
    3. 通过将模版集群物化为系统镜像,实现新集群的分钟级快速部署。
    4. 通过集群节点的全自动增删,实现各类大数据软件处理能力的分钟级弹性伸缩。
    5. 在同一个界面上对来自不同云的虚拟机、存储卷、镜像、模版等进行 CURD 操作。

    PackOne 支持不同类型的云平台。目前版本实现了对 OpenStack 和 EVCloud 两款私有云的适配。

    PackOne 可执行程序包的安装、配置、运行方式都比较简单:

    一、安装

    选择一台能够访问目标云的 Linux 主机 (以 Centos 7.5 为佳),依次执行:

    pip install pk1
    pip install -U pip setuptools

    二、配置

    创建一个Postgresql数据库实例,并准备好其连接信息,包括:db_user(数据库用户)、db_passwd(用户密码)、db_host(数据库主机地址)、db_port(数据库端口号)、db_name(数据库名)。然后执行:

    pk1 setup --database db_user:db_passwd:db_host:db_port:db_name

    (会提示设置管理员 admin 的邮箱、密码等信息。)

    三、运行 PackOne 服务

    pk1 start [--listening 0:11001]

    四、快速上手:以 OpenStack 私有云为例

    进入添加“云”的界面,输入如下图格式所示的 OpenStack 用户密钥信息。创建成功会自动导入云端的镜像、模版。然后进入 user/profiles 界面,为当前用户添加一个 profile,进入 user/balances 界面,为该 profile 在新添加的云上添加余额(大于零即可)。

    • 回到云列表界面,选择刚才新创建的云,在操作下拉框点选“bootstrap…”按钮,触发在空白虚拟机上全自动部署模版集群的后台工作流。通过 clouds/operations 界面可监控工作流的执行进度,若遇到某步操作出错,可以点按 re-run 按钮重新执行,直至成功。

    • 当工作流执行完毕后,可以在 engines/clusters 界面选择刚才创建的名为 bootstrap.<云名称>的模版集群,点按“Materialize the cluster as a scale”将其镜像化。最后,创建新集群时,可在 engines/cluster 的创建集群界面选择名为“packone.<云名称>”的 scale,实现新集群的快速创建。

    五、停止PackOne服务

    pk1 stop

     

    PackOne 目前以 Apache License V2.0 协议在 Gitee 上开源,欢迎提交 Issue、PR。

    的码云指数为
    超过 的项目
    加载中

    评论(0)

    暂无评论

    PackOne 0.1.b3 开源,云端大数据软件栈快速弹性部署工具

    PackOne致力于实现主流大数据软件在云端的快速弹性部署。通过对云API和Apache Ambari API的联合调用,完成Hadoop、Spark、NiFi、PiFlow、Kylin、MangoDB、Neo4J等流行的大数据管理/处理软件在...

    07/07 21:22

    没有更多内容

    加载失败,请刷新页面

    没有更多内容

    暂无问答

    NIFI PutHiveStreaming 开启HDFS HA后无法写入问题

    开启HDFS HA后,NIFI puthiveStreaming无法写入问题,报错 org.apache.nifi.processors.hive.PutHiveStreaming$ShouldRetryException: Hive Streaming connect/write error, flow file will ...

    2018/02/02 13:41
    120
    0

    没有更多内容

    加载失败,请刷新页面

    没有更多内容

    返回顶部
    顶部
  • 反腐败国际合作"朋友圈"又大了! 2019-07-13
  • 前线 从一面“魔镜” 看苏宁科技集团智能化发展战略 2019-07-13
  • 身份证被盗产生不良记录 网络虚拟账号权属纠纷如何避免 2019-07-07
  • 的确,呆子七窍通了栁窍。[哈哈] 2019-06-20
  • 强国博客首页整合公告 2019-06-08
  • 西海都市报数字报刊平台 2019-05-27
  • 美国反拥枪的孩子很受伤 2019-05-25
  • C罗戴帽单骑救主 葡萄牙33战平西班牙 2019-05-25
  • 证监会去年对外公开监管信息14560条 2019-05-16
  • 中山八路总站调整12公交线 2019-05-16
  • 谢春涛:深刻把握“中国特色社会主义进入新时代”的重大意义 2019-05-09
  • 湖南一博士生举报水利局领导受贿 遭到冒牌纪委约谈 2019-05-09
  • 西安地铁唐风诗韵文化专列将于6月18日首发 2019-04-30
  • 铜梁区旧县街道:全面提升执行力 推动工作落地见效 2019-04-30
  • 上海电影节女性影人大放异彩 中生代女演员不用焦虑 2019-04-29
  • 福建31选7今晚开奖结果查询结果 今天江苏7位数开奖时间 快乐8app 河北快3技巧介绍 天津快乐10分钟开奖结果果 快乐12投注技巧视频 单双中特、 黑龙江p62最新开奖结果查询 欢乐斗地主正版下载 中国竞彩网app 福彩3d试机号分析工具 网易竞彩足球比分直播 上海天天彩选4开奖公告 微信福彩3d群二维图片 北京单场几点开奖