MOOC 大数据Note
- Spark
- Spark 一个软件栈满足不同交互场景
- Lineage 血缘关系
- 创建 转换 动作
- ShuffleMapStage
- Spark的部署和应用方式
- RDD操作分为转换(Transformation)和动作(Action)两种类型,下列属于动作(Action)类型的操作的是:count
- Spark支持三种类型的部署方式:Standalone,Spark on Mesos,Spark on YARN
- RDD采用惰性调用,遇到“转换(Transformation)”类型的操作时,只会记录RDD生成的轨迹,只有遇到“动作(Action)”类型的操作时才会触发真正的计算
- 在选择Spark Streaming和Storm时,对实时性要求高(比如要求毫秒级响应)的企业更倾向于选择流计算框架Storm
- 基于实时数据流的数据处理:Storm
- 复杂的批量数据处理:MapReduce
- 基于历史数据的交互式查询:Impala
- Apache软件基金会最重要的三大分布式计算系统开源项目包括:Storm、Spark、Hadoop
- Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快
- Scala是Spark的主要编程语言,但Spark还支持Java、Python、R作为编程语言
- Scala具备强大的并发性,支持函数式编程
- Scala是一种多范式编程语言
- Scala运行于Java平台,兼容现有的Java程序
- Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor
- 常见的动作(Action)和转换(Transformation)操作的API count():返回数据集中的元素个数,map(func):将每个元素传递到函数func中,并将结果返回为一个新的数据集,filter(func):筛选出满足函数func的元素,并返回一个新的数据集
- HBase是一种列式数据库
- HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、列族、列限定符和时间戳
- 每个HBase表都由若干行组成,每个行由行键(row key)来标识
- HBase列族支持动态扩展,可以很轻松地添加一个列族或列
- Zookeeper是一个集群管理工具,常用于分布式计算,提供配置维护、域名服务、分布式同步等
- HBase三层结构的顺序是:Zookeeper文件,-ROOT-表,.MEATA.表
- 客户端是通过三级寻址来定位Region
- 访问HBase表中的行,有哪些方式:通过一个行健的区间来访问,通过单个行键来访问、全表扫描
- HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引
- 下列对HBase的理解正确的是:HBase多用于存储非结构化和半结构化的松散数据,HBase是针对谷歌BigTable的开源实现
成都创新互联-专业网站定制、快速模板网站建设、高性价比广州网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式广州网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖广州地区。费用合理售后完善,10多年实体公司更值得信赖。Spark
Spark 一个软件栈满足不同交互场景
Lineage 血缘关系
创建 转换 动作
ShuffleMapStage
Spark的部署和应用方式
RDD操作分为转换(Transformation)和动作(Action)两种类型,下列属于动作(Action)类型的操作的是:count
Spark支持三种类型的部署方式:Standalone,Spark on Mesos,Spark on YARN
RDD采用惰性调用,遇到“转换(Transformation)”类型的操作时,只会记录RDD生成的轨迹,只有遇到“动作(Action)”类型的操作时才会触发真正的计算
在选择Spark Streaming和Storm时,对实时性要求高(比如要求毫秒级响应)的企业更倾向于选择流计算框架Storm
基于实时数据流的数据处理:Storm
复杂的批量数据处理:MapReduce
基于历史数据的交互式查询:Impala
Apache软件基金会最重要的三大分布式计算系统开源项目包括:Storm、Spark、Hadoop
Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快
Scala是Spark的主要编程语言,但Spark还支持Java、Python、R作为编程语言
Scala具备强大的并发性,支持函数式编程
Scala是一种多范式编程语言
Scala运行于Java平台,兼容现有的Java程序
Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor
常见的动作(Action)和转换(Transformation)操作的API count():返回数据集中的元素个数,map(func):将每个元素传递到函数func中,并将结果返回为一个新的数据集,filter(func):筛选出满足函数func的元素,并返回一个新的数据集
HBase是一种列式数据库
HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、列族、列限定符和时间戳
每个HBase表都由若干行组成,每个行由行键(row key)来标识
HBase列族支持动态扩展,可以很轻松地添加一个列族或列
Zookeeper是一个集群管理工具,常用于分布式计算,提供配置维护、域名服务、分布式同步等
HBase三层结构的顺序是:Zookeeper文件,-ROOT-表,.MEATA.表
客户端是通过三级寻址来定位Region
访问HBase表中的行,有哪些方式:通过一个行健的区间来访问,通过单个行键来访问、全表扫描
HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引
下列对HBase的理解正确的是:HBase多用于存储非结构化和半结构化的松散数据,HBase是针对谷歌BigTable的开源实现
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
新闻名称:MOOC大数据Note-创新互联
文章地址:
http://cxhlcq.com/article/pidjs.html