---
title: "hadoop 学习要点"
author: "thd52java"
date: "2013-11-08T16:23:47Z"
tags: []
categories: ["互联网"]
slug: "hadoop"
draft: false
lastmod: "2013-11-08T16:23:47Z"
id: 1973146
url: "https://thd52java.iteye.com/blog/1973146"
---

# 一、HDFS

### （一）HDFS 概念

### （二）HDFS命令行接口

### （三）Java 接口

### （四）文件读取和文件写入，一致性

### （五）集群数据的均衡

### （六）存档

### （七）NameNode 单点故障问题

### （八）大量小文件处理策略

### （九）数据备份和恢复

### （十）数据安全

### （十一）负载均衡和垃圾回收

### （十二）安装新节点

### （十三）卸载节点

### （十四）HDFS优化

### （十五）HDFS格式化过程

### （十六）数据压缩

### （十七）当前单NameNode 的优势和劣势和改进办法

### （十八）HDFS架构和设计要点

#### 1. NameNode和DataNode

#### 2. 文件系统的NameSpace

#### 3. 镜像和编辑日志

#### 4. 数据拷贝

#### 5. 文件系统元数据的持久化

#### 6. 通讯协议

#### 7. 健壮性

#### 8. 数据组织

#### 9. 可访问性

# 二、Hadoop I/O

 

### （一）数据完整性

### （二）压缩

### （三）序列化

### （四）基于文件的数据结构

#### 1. MapFile

#### 2. SequenceFile

# 三、MapReduce 工作机制

 

### （一）MapReduce Job运行过程

### （二）TaskTaker 机制

### （三）JobTraker机制

### （四）任务失败

### （五）Job的调度

### （六）Suffer 和排序

### （七）任务的执行

### （八）配置优化和MapReduce Job优化

# 四、MapReduce Job 编写

### （一）MapReduce 组件

### （二）输入格式

### （三）输出格式

### （四）计数器

### （五）链接

Map端链接

Reduce端链接

### （六）排序

部分排序

全排序

辅助排序

### （七）边数据分布

 

# 五、读Mysql数据

# 六、自定义组件

# 七、用MapReduce 实现矩阵乘法

# 八、用MapReduce 实现常见机器学习算法

# 九、Reduce 不均匀

分区的Key和分区函数是操作Reduce分区造成不均匀的原因，策略：修改

# 十、MapReduce设计模式

### （一）摘要模式

### （二）过滤器模式

### （三）数据组织模式

### （四）Join模式

### （五）元模式

### （六）输入输出模式

### （七）吞吐量和趋势

&lt;!--EndFragment--&gt;