IT系统运维-MaxCompute简介

MaxCompute是什么？

近几年，大数据云计算等词充斥在各大技术社区，今天给大家讲讲大数据计算MaxCompute供广大IT系统运维参考。MaxCompute（原ODPS，Open Data Processing Service）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案。主要提供了四大功能：数据通道、结构化存储、多计算模型、数据安全运维。

1.数据通道

· 批量/历史数据通道--tunnel

适合于全量数据或历史数据的导入、导出；

· 实时/增量数据通道--DataHub

该服务具有延迟低的特点，适合增量数据的导入，同时还支持多种数据传输的插件，如logstash、flume、fluentd、sqoop、logservice等。

2.数据存储

· 数据进入maxcompute后，默认会以结构化的方式存储，且有自己的数据类型，如Bigint, Boolean, Double, Datetime, String, Decimal；

· 数据上传后，以列压缩的方式存储到盘古上。这种压缩方式的好处就是对于文本类型的数据，一般都能取得较好的压缩比，一般是4：1。

3.多计算模型

1）SQL

· MaxCompute SQL采用标准的SQL语法，兼容部分Hive语法。在语法上和HQL非常接近，熟悉SQL或HQL的编程人员都容易上手；

· MaxCompute提供更高效的计算框架支持SQL计算模型，执行效率比普通的MapReduce模型更高；

· 需要注意的是，MaxCompute SQL不支持事务、索引及Update/Delete等操作。

2）MapReduce

· MaxCompute提供的Java MapReduce编程模型；

· 由于MaxCompute并没有开放文件接口，用户只能通过它所提供的Table读写数据；

· 更为重要的是，MaxCompute还提供了基于MapReduce的扩展计算模型， 即MR2。在该模型下，一个Map函数后，可以接入连续多个Reduce函数。

3）Graph

· 对于某些复杂的迭代计算场景，例如：K-Means，PageRank等，如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。

MaxCompute优化原则

1.选表原则

· 选择满足需求的小表，比如汇总表。维表尽量选择全量表，事实表尽量选择增量表；

· 选择产出早的表；

· 选择可回滚的表，比如使用加购事件表代替加购全流程表；

· 依赖的N个上游表，尽量保证上游产出时间要均匀，如果有差异，考虑换依赖表；

2.小表原则

· 行数小于100万的表认为是小表，这个时候使用mapjoin性能会提高很多；

· 读取数据的时候要加上分区等过滤条件，大表变小表。常用过滤条件字段，做成动态分区，方便下游过滤；

· 不得不读取N天大表的时候，使用unionall方式合并多天数据；

3.代码原则

· Join关联要尽可能是主键关联。关联字段类型要一致；

· 多天汇总，先生成1天轻度汇总表，多天使用1天数据再汇总；

· multiinsert，实现一次读取多次写入；

· 使用系统UDF代替自己的写的UDF；

4.调度原则

· 依赖max_pt的，要排除当天依赖；

· 上游是小时任务，使用max_pt要慎重；

· 执行超过1个小时任务要关注；

MaxCompute应用限制

1.SQL限制

· 多路输出限制：单个SQL里最多可以写128路输出，超过128路报语法错误；

· 动态输出分区限制：任意动态分区SQL不允许生成超过2000个动态分区，否则引发运行时异常；

· Select屏显限制：Select屏显结果最多只有10000条输出；

· Order by语句后必须接Limit；

· Sort By必须与Distribute By配合使用；

· 最多允许128路union all，超过此限制报语法错误；

· MaxCompute 的JOIN支持多路间接，但不支持笛卡尔积，即无on条件的链接；

· MaxCompute中的Join连接条件，只允许and连接的等值条件，并且最多支持16路join操作。只有在MAPJOIN中，可以使用不等值连接或者使用or连接多个条件；

· 目前MaxCompute 在mapjoin中最多支持指定6张小表，否则报语法错误；

· 如果使用mapjoin，则所有小表占用的内存总和不得超过512MB。请注意由于MaxCompute 是压缩存储，因此小表在被加载到内存后，数据大小会急剧膨胀。此处的512MB限制是加载到内存后的空间大小；

· 多个表join时，最左边的两个表不能同时是mapjoin的表；

2.MapReduce限制

· 单个任务引用的资源数量不超过512个，分区表按照一个单位计算。

· 单个任务引用的资源总计字节数大小不超过64MB。

· 单个任务的输入路数不能超过128，单个任务的输出路数不能超过128路。

· 单个任务中自定义Counter的数量不能超过64。

· 单个Map或Reduce Worker占用memory默认为2048MB，范围[256MB, 12GB]。

· 单个Map或Reduce Worker重复读一个资源次数限制 <=64次。

· 本地运行模式下，Map Worker个数不能超过100；Reduce Worker个数不能超过100；默认一路输入下载记录数100。

以上内容由北京艾锑无限科技发展有限公司整理