扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
本篇文章为大家展示了Cloudera大数据平台有什么用,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
创新互联建站是一家专注于网站制作、成都网站建设与策划设计,封丘网站建设哪家好?创新互联建站做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:封丘等地区。封丘做网站价格咨询:028-86922220
CDH:是Cloudera发布的一个自己封装的Hadoop商业版软件发行包,里面不仅包含了Cloudera的商业版Hadoop,同时CDH中也包含了各类常用的开源数据处理与存储框架,如Spark、Hive、Hbase等。
Cloudera Manager:简称CM 是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大的简化。它是Hadoop集群的软件分发及管理监控平台,通过它可以快速地部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。
CM核心功能分为四大模块
一、管理功能
1、批量自动化部署节点:CM提供强大的Hadoop集群部署能力,能够批量地自动化部署节点,安装一个Hadoop集群只需添加需要安装的节点、安装需要的组件和分配角色这三步,大大缩短了Hadoop的安装时间,也简化了Hadoop的安装过程。
2、可视化的参数配置功能:Hadoop包含许多组件,不同组件都包含各种各样的XML配置文件,CM提供界面GUI可视化参数配置功能。
3、智能参数验证以及优化:当用户配置部分参数值有问题时,CM会给出智能错误提示,帮助用户更合理地修改配置参数。
4、高可用配置:CM对关键的组件使用HA部署,如NameNode高可用可以通过CMweb管理界面,根据向导启动HDFS HA。
5、权限管理:提供不同级别的管理权限,比如只读用户访问CM的界面时,所有服务对应的启停等操作选项都不可用。
二、监控功能
1、服务监控:查看服务和实例级别健康检查的结果,对设置各种指标和系统运行情况进行全面监控,而且系统会对管理员应该采取的行动提出建议。
2、主机监控:监控集群内所有主机的有关信息,包括主机上目前消耗的内存、主机上运行的角色分配等,不但可以显示所有集群主机的汇总视图,而且能进一步显示单个主机的关键指标详细视图。
3、行为监控:CM提供了列表和图表来查看集群上进行的活动,不仅可以显示当前正在进行的活动还可以通过仪表盘查看历史活动。
4、事件活动:监控界面可以查看事件,系统管理员可以通过时间范围、服务、主机、关键字等字段信息过滤事件。
5、报警:通过CM界面可以对指定事件产生报警,并通过邮件或者SNMP通知。
6、日志和报告:可以轻松点击一个链接查看相关特定服务的日志条目,并且CM可以对收集的历史监控数据统计生成报表。
三、诊断功能
1、周期性服务诊断:CM会对集群中运行的服务进行周期性的诊断,已检测这些服务的状态是否正常,如有异常会及时通知。
2、日志采集及检索:对于一个大规模的集群,CM提供了日志的收集功能,能够通过统一的界面查看集群中每台机器、各项服务的日志,并且可以根据日志级别进行检索。
3、系统性能使用报告:CM能够产生系统性能报告,包括集群的CPU使用率、单节点的CPU使用率、单个进程的CPU使用率等各项性能数据,这对hadoop集群调优很重要。
四、集成功能
1、安全配置:为了方便Hadoop大数据平台与原有身份认证系统如AD、LDAP等的集成,CM只需在界面上配置即可完成。
2、CM API:通过CM API 可以方便将CM集成到企业原有管理系统中
3、SNMP集成【简单网络管理协议(SNMP)】:CM提供了方面的SNMP集成能力,只需要简单的配置就能够将SNMP进行集成,并且将集群中的告警信息进行转发。
CM的高级功能(付费)
1、软件滚动升级:Hadoop版本升级和bug修复,支持升级过程中继续对外提供服务及应用。
2、参数版本控制:任何时候进行配置修改并保证之后,CM会对该配置生成一个版本,支持查看历史配置,并能回滚到不同版本,从而为集群恢复、问题诊断提供了可靠的依据。
3、备份及容灾系统BDR:实现界面化的数据备份与容灾恢复。
4、数据审计:支持对数据的审计和访问
5、安全集成向导:启动Kerberos集成和外部安全认证集成,如支持通过内部数据库和外部服务进行用户认证。
上述内容就是Cloudera大数据平台有什么用,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流