hadoop2.x（如何去掉MapReduce输出的默认分隔符）

发表回复

hadoop2.x（如何去掉MapReduce输出的默认分隔符）


我们在用MapReduce做数据处理的时候，经常会遇到将只需要输出键或者值的情况，如context.write(new Text(record), new Text("")),这样得到结果每行尾部会自动加上一个制表符。尽管我们的值是空的，但是MapReduce默认输出的是键值对，且键值对之间默认的分隔符为制表符，这样可能对我们数据的后续处理会产生一些干扰，那么如何去掉或是更改这个制表符呢？这里提供三种解决办法：

         方法一：将键设置为空值

         一般我们用context写入数据的时候，是将要输出的值写在键处，而将值设为""。但是只要反过来，将键设为空值，而值设为我们要输出的条目，如context.write(null, new Text(record))，输出的每行后面就不会有制表符了。


         方法二：自定义输出数据格式

        自定义输出数据格式的步骤如下：

         1）定义一个继承自OutputFormat的类，不过一般继承FileOutputFormat即可；

         2）实现其getRecordWriter方法，返回一个RecordWriter类型

         3）自定义一个继承RecordWriter的类，定义去writer方法，针对每个<key,value>写入文件数据。

具体代码参考：http://www.tuicool.com/articles/BVvMry

         如果是采用Streaming模式做MapReduce开发，可以在运行程序的时候加上-jobconf选项来修改map或者reduce输出分隔符，其参数如下：

         stream.map.output.field.separator 指定map输出时的分割符

         stream.num.map.output.key.fields  指定map输出按照分隔符切割后，key所占有的列数

         stream.reduce.output.field.separator  指定reduce输出时的分割符

         stream.num.reduce.output.key.fields  指定reduce输出按照分隔符切割后，key所占有的列数

         下面展示的是更改分割符为“,”，取前两列作为key的例子：

         -jobconfstream.map.output.field.separator=','

         -jobconfstream.num.map.output.key.fields=2

         参考：http://wingmzy.iteye.com/blog/1260570    


         方法三：文本处理删除TAB键

         如果已经得到了含有Tab键MapReduce的输出，可以直接在本地做文本处理，去掉里面的Tab键，以Java代码为例：

[java] view plain copy
  1. import java.io.BufferedReader;  
  2. import java.io.BufferedWriter;  
  3. import java.io.File;  
  4. import java.io.FileReader;  
  5. import java.io.FileWriter;  
  6.   
  7. public class DeleteTAB {  
  8.   
  9.     public static void main(String[] args) {  
  10.         try {  
  11.             File file = new File("output.txt");  
  12.             BufferedReader reader = new BufferedReader(new FileReader("input.txt"));  
  13.             BufferedWriter writer = new BufferedWriter(new FileWriter(file));  
  14.             try {  
  15.                 String line = new String();  
  16.                 while((line=reader.readLine()) != null) {  
  17.                     line = line.replaceAll("\\s*", ""); //"\\s"表示所有空白符   
  18.                     writer.append(line);  
  19.                     writer.newLine();  
  20.                 }  
  21.             } catch (Exception e) {  
  22.                 e.printStackTrace();  
  23.             } finally {  
  24.                 reader.close();  
  25.                 writer.close();  
  26.             }  
  27.         } catch (Exception e) {  
  28.             e.printStackTrace();  
  29.         }  
  30.   
  31.     }  
  32.   
  33. }