在MapReduce框架中，LongWritable是一个用于处理长整型数据的泛型类。它属于Hadoop的Writable接口体系，专为高效序列化设计。以下是核心要点：
1. 定位与作用
- 基本功能：封装Java的
long类型，使其适应MapReduce的键值对结构。 - 序列化优化：通过二进制压缩存储（而非文本），显著减少网络传输和磁盘存储开销。
- 典型场景：适用于计数器、文件偏移量、大数值统计等需要处理大范围整数的场景。
2. 与Java原生类型对比
| 特性 | LongWritable | Javalong |
|---|---|---|
| 序列化方式 | 二进制压缩 | 对象序列化（低效） |
| 内存占用 | 固定8字节 + 对象头 | 8字节 |
| 框架兼容性 | 原生支持MapReduce | 需额外转换 |
| 方法调用 | set(long)/get() | 直接赋值 |
3. 代码示例
Mapper输入输出声明
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // key: 文件偏移量（long类型） // value: 文本行 // ... 处理逻辑 } }Reducer中的聚合统计
public class SumReducer extends Reducer<Text, IntWritable, Text, LongWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { long sum = 0; for (IntWritable val : values) { sum += val.get(); // 转换为long累加 } context.write(key, new LongWritable(sum)); // 输出长整型结果 } }4. 性能优势
- 网络传输：序列化后体积比
Text格式减少约75%（例如：1234567890用Text占10字节，LongWritable仅需8字节）。 - 磁盘IO：在TB级数据场景下，节省的存储空间可加速Shuffle阶段。
5. 注意事项
- 类型匹配：需确保Mapper输出与Reducer输入类型一致（如
LongWritable到LongWritable）。 - 空值处理：不支持
null，需用NullWritable占位或默认值（如0L）。
通过合理使用LongWritable，可显著提升大数据处理效率，尤其适用于海量数值型作业。
