认证概述
Hortonworks重新设计了它的开发者认证程序, 为了创建一个通过在Hortonworks(HDP)集群上亲自操作所获取的专业知识的认证体系, 而不是回答多项选择问题. HDP开发者认证考试(HDPCD)第一个比较新颖的地方是亲自实践的, 基于性能的考试, 它设计的目的面向那些工作中经常使用像 Pig, Hive, Sqoop and Flume的开发者.
认证(考试)目的
开发者认证的目的是为了给组织和公司提供一种辨别是否是一个合格的大数据应用开发者, 这种认证实在开源的HDP平台对Pig, Hive, Sqoop and Flume组件对数据的存储、运行和分析的应用.
考试描述
考试主要涉及到三个分类:
- 数据获取
- 数据转换
- 数据分析
考试是在HDP2.2版本上面进行, 通过 Ambari 1.7.0来进行管理, HDP2.2包括 Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以访问HDP 2.2 集群并在集群上进行一些列任务操作.
考试目的
浏览完成下面任务, 它包括一些指向文档和资源的连接
怎么注册
在 www.examslocal.com 网站创建一个帐号. 注册之后登陆, 选择“Schedule an Exam”, 然后进入“Search Here”输入“Hortonworks”进行搜索,然后选择Hortonworks开发者认证考试.
考试卷购买之后一年之内有效.
时间
2小时
模拟考试
Hortonworks官方提供考生的模拟考试和认证考试的环境和任务是相似的 . 点击 [Practice Exam] 下载安装开始模拟考试.
考试及格情况说明
通过 (MQC)认证的考生需要通过开源的Hortonworks数据平台中的Pig、Hive、Sqoop和Flume对数据进行提取，转换和分析
Prerequisites
想获取HDPCD认证的考生需要完成考试大纲下面的所有任务.
语言
考试语言是英文
Hortonworks大学
Hortonworks 大学是你的专业指导对于Hadoop培训和认证. 考生可以通过公开课程和非公开课程是进行学习. 课程结合通过真实的Hadoop环境演示动手试验来进行.
HDP开发者考试的目的
HDPCD考试的考试需要完成下面每项操作:
| 类型 | 任务 | 源(s) |
| 数据获取 | 通过Hadoop Shell把本地文件上传到HDFS | http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#put |
| 使用Hadoop Shell在HDFS上创建一个新的目录 | http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#mkdir | |
| 从一个关系型数据库中导入数据到HDFS | http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_import_literal | |
| 导入关系型数据的查询结果到HDFS | http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_free_form_query_imports | |
| 从一个关系型数据库中导入数据到一个新的或者已经存在的Hive表里 | http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_importing_data_into_hive | |
| 从 HDFS里面插入和更新数据到关系型数据库里面 | http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_export_literal | |
| 给你一个Flume配置文件，启动一个 Flume agent | https://flume.apache.org/FlumeUserGuide.html#starting-an-agent | |
| 给你一个配置好的 sink 和source, 配置一个 Flume 固定容量的内存 channel | https://flume.apache.org/FlumeUserGuide.html#memory-channel |
| 类别 | 任务 | 源(s) |
| 数据转换 | 写出并执行一个pig脚本 | https://pig.apache.org/docs/r0.14.0/start.html#run |
| 加载一个没有schema信息数据到Pig | https://pig.apache.org/docs/r0.14.0/basic.html#load | |
| 加载数据到Pig里面并关联一个schema | https://pig.apache.org/docs/r0.14.0/basic.html#load | |
| 从Hive表里面加载数据到Pig | https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore | |
| 通过Pig把加载的数据格式化 | https://pig.apache.org/docs/r0.14.0/basic.html#foreach | |
| 转换数据匹配一个给定的Hive schema | https://pig.apache.org/docs/r0.14.0/basic.html#foreach | |
| 对 Pig 中数据进行分组 | https://pig.apache.org/docs/r0.14.0/basic.html#group | |
| 使用Pig移除记录里面关联的空值 | https://pig.apache.org/docs/r0.14.0/basic.html#filter | |
| 把 Pig 中的数据保存到HDFS中指定目录里面 | https://pig.apache.org/docs/r0.14.0/basic.html#store |
| 把 Pig中的数据保存到Hive表里 | https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore | |
| 对Pig数据进行排序输出 | https://pig.apache.org/docs/r0.14.0/basic.html#order-by | |
| 把Pig中关联重复数据移除 | https://pig.apache.org/docs/r0.14.0/basic.html#distinct | |
| 对Pig MapReduce指定reduce任务数量 | https://pig.apache.org/docs/r0.14.0/perf.html#parallel | |
| 使用Pig进行关联操作 | https://pig.apache.org/docs/r0.14.0/basic.html#join-inner andhttps://pig.apache.org/docs/r0.14.0/basic.html#join-outer | |
| 通过Pig join操作生成一个副本 | https://pig.apache.org/docs/r0.14.0/perf.html#replicated-joins | |
| 运行一个Pig 任务通过 Tez | https://pig.apache.org/docs/r0.14.0/perf.html#tez-mode | |
| 在一个Pig 脚本内,通过注册一个Jar来使用定义的函数 | https://pig.apache.org/docs/r0.14.0/basic.html#register andhttps://pig.apache.org/docs/r0.14.0/udf.html#piggybank | |
| 在Pig 脚本内, 使用定义的函数定义一个别名 | https://pig.apache.org/docs/r0.14.0/basic.html#define-udfs | |
| 在一个Pig 脚本内, 执行一个用户定义函数 | https://pig.apache.org/docs/r0.14.0/basic.html#register |