分組取topN統計溫度案例掌握分組取topN統計溫度案例

1、需求2、設計思路3、階段4、代碼編寫5、結果展示需求：從一組數據中，統計每一年的每一個月中，氣溫最高的前兩天。輸入樣例：1949-10-0114:21:0234c1949-10-0214:01:0236c1950-01-0111:21:0232c1950-10-0112:21:0237c1951-12-0112:21:0223c1950-10-0212:21:0241c1950-10-0312:21:0227c1951-07-0112:21:0245c 1951-07-0212:21:0246c1951-07-0312:21:0347c需求輸出樣例：1949-10-2-361949-10-1-341.對于輸出結果，如何保證，選取兩條氣溫最高的記錄？將相同的年月下的記錄按照溫度降序排列。這樣，在最終獲取結果時，前兩條記錄一定是氣溫最高的兩天。2.如何獲得相同的年月下的氣溫最高的記錄呢？對于reduce端拉取的數據，保證reduce每次處理的數據為同一年同一個月份下的數據，將同年同月的數據排序（這個階段可由group做），取前兩條記錄，即為該年該月下，氣溫最高的前兩條記錄。3．上一個wordCount案例中的排序，是按照MapReduce程序默認的字典排序規則，進行排序，但對于本示例，既要對日期進行升序排列（默認），又要對溫度做降序排列，那么如何操作？設計思路map階段：負責將數據切分，對應存入JavaBean中。將JavaBean傳入partition階段。partition階段：繼承Partitioner，復寫getPartition()方法，指定相同年份的數據分到同一個reduce中，這樣，一個reduce任務，對應輸出一個文件。sort階段：確保每個傳遞過來的JavaBean，確定排序規則：相同的年份，比較月份；月份相同，比較溫度。group階段：此階段為shufflereduce端的分組排序。Reduce階段：統計每一年中每一個月中每天的溫度，并選擇其中溫度最高的兩條記錄。階段Configurationconf=newConfiguration();conf.set("fs.defaultFS","HDFS://Master:9000");Jobjob=Job.getInstance(conf);//設置程序入口job.setJarByClass(runJob.class);//設置map類job.setMapperClass(mapper.class);//設置map的輸出類型job.setMapOutputKeyClass(weather.class);job.setMapOutputValueClass(IntWritable.class);//設置reduce類job.setReducerClass(reduce.class);job.setPartitionerClass(TQpartition.class);job.setSortComparatorClass(sort.class);job.setGroupingComparatorClass(group.class);job.setNumReduceTasks(3