JAVA與大數(shù)據(jù)處理的融合點(diǎn)及試題及答案融合點(diǎn)1.數(shù)據(jù)采集與預(yù)處理：Java具備強(qiáng)大而豐富的I/O庫(kù)，像java.io和java.nio包，能方便連接各類數(shù)據(jù)源。在大數(shù)據(jù)場(chǎng)景中，常基于Java編寫網(wǎng)絡(luò)爬蟲程序，對(duì)網(wǎng)頁(yè)進(jìn)行爬取；同時(shí)，在Hadoop生態(tài)中可利用Java編寫MapReduce任務(wù)實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的清洗、轉(zhuǎn)換與格式調(diào)整。例如醫(yī)療大數(shù)據(jù)，利用Java程序?qū)⒉煌袷降牟±龜?shù)據(jù)統(tǒng)一為標(biāo)準(zhǔn)的CSV格式，以便后續(xù)分析。2.分布式計(jì)算框架：Hadoop的核心MapReduce編程模型基于Java實(shí)現(xiàn)。借助Java構(gòu)建Mapper和Reducer類編寫MapReduce程序，可處理大規(guī)模集群數(shù)據(jù)的并行計(jì)算。Spark也是廣泛使用的大數(shù)據(jù)計(jì)算引擎，其提供了JavaAPI，能夠使用Java編寫各種數(shù)據(jù)處理任務(wù)。3.實(shí)時(shí)數(shù)據(jù)處理：Flink是實(shí)時(shí)流處理框架，提供了JavaAPI讓開發(fā)人員使用Java編寫實(shí)時(shí)數(shù)據(jù)分析程序，可用于處理金融交易實(shí)時(shí)監(jiān)控等場(chǎng)景；Storm同樣支持Java作為開發(fā)語(yǔ)言進(jìn)行實(shí)時(shí)數(shù)據(jù)處理。4.數(shù)據(jù)存儲(chǔ)與管理：大數(shù)據(jù)環(huán)境中，使用HBase時(shí)，Java是主要的客戶端開發(fā)語(yǔ)言，能通過Java代碼操作HBase數(shù)據(jù)庫(kù)存儲(chǔ)和獲取大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。MongoDB有Java驅(qū)動(dòng)程序，方便Java程序連接并操作NoSQL數(shù)據(jù)庫(kù)。試題及答案1.在Java中讀取HDFS上文件的代碼實(shí)現(xiàn)是（）-選項(xiàng)：-A.```javaimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importjava.io.BufferedReader;importjava.io.InputStreamReader;publicclassReadHDFSFile{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");FileSystemfs=FileSystem.get(conf);Pathpath=newPath("/testfile.txt");BufferedReaderbr=newBufferedReader(newInputStreamReader(fs.open(path)));Stringline;while((line=br.readLine())!=null){System.out.println(line);}br.close();fs.close();}}```-B.```javaimportorg.apache.hadoop.hdfs.DistributedFileSystem;importjava.io.FileInputStream;importjava.io.InputStreamReader;importjava.io.BufferedReader;publicclassReadHDFSFile{publicstaticvoidmain(String[]args)throwsException{DistributedFileSystemfs=newDistributedFileSystem();fs.open(newjava.io.File("/testfile.txt"));BufferedReaderbr=newBufferedReader(newInputStreamReader(newFileInputStream("/testfile.txt")));Stringline;while((line=br.readLine())!=null){System.out.println(line);}br.close();fs.close();}}```-C.```javaimportorg.apache.hadoop.hdfs.DistributedFileSystem;importjava.io.File;importjava.io.FileReader;importjava.io.BufferedReader;publicclassReadHDFSFile{publicstaticvoidmain(String[]args)throwsException{DistributedFileSystemfs=newDistributedFileSystem();fs.open(newFile("/testfile.txt"));BufferedReaderbr=newBufferedReader(newFileReader(newFile("/testfile.txt")));Stringline;while((line=br.readLine())!=null){System.out.println(line);}br.close();fs.close();}}```-D.```javaimportjava.io.FileInputStream;importjava.io.InputStreamReader;importjava.io.BufferedReader;publicclassReadHDFSFile{publicstaticvoidmain(String[]args)throwsException{BufferedReaderbr=newBufferedReader(newInputStreamReader(newFileInputStream("/testfile.txt")));Stringline;while((line=br.readLine())!=null){System.out.println(line);}br.close();}}```-答案：A-分析：要讀取HDFS上的文件，需使用Hadoop的Configuration和FileSystem，A選項(xiàng)能正確連接和讀取HDFS文件。B、C選項(xiàng)中直接使用DistributedFileSystem打開文件方式錯(cuò)誤，且后面又用本地文件讀取方式。D選項(xiàng)是讀取本地文件，并非HDFS文件。2.在Spark中使用JavaAPI實(shí)現(xiàn)計(jì)算RDD中元素總和的代碼是（）-選項(xiàng)：-A.```javaimportorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;publicclassRDDSum{publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf().setAppName("RDDSum").setMaster("local");JavaSparkContextsc=newJavaSparkContext(conf);JavaRDD<Integer>rdd=sc.parallelize(java.util.Arrays.asList(1,2,3,4,5));intsum=rdd.reduce((a,b)->a+b);System.out.println("Sum:"+sum);sc.stop();}}```-B.```javaimportorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;publicclassRDDSum{publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf().setAppName("RDDSum").setMaster("local");JavaSparkContextsc=newJavaSparkContext(conf);JavaRDD<Integer>rdd=sc.parallelize(java.util.Arrays.asList(1,2,3,4,5));intsum=rdd.filter((a)->a>0).count();System.out.println("Sum:"+sum);sc.stop();}}```-C.```javaimportorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;publicclassRDDSum{publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf().setAppName("RDDSum").setMaster("local");JavaSparkContextsc=newJavaSparkContext(conf);JavaRDD<Integer>rdd=sc.parallelize(java.util.Arrays.asList(1,2,3,4,5));intsum=rdd.map((a)->a2).collect().size();System.out.println("Sum:"+sum);sc.stop();}}```-D.```javaimportorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;publicclassRDDSum{publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf().setAppName("RDDSum").setMaster("local");JavaSparkContextsc=newJavaSparkContext(conf);JavaRDD<Integer>rdd=sc.parallelize(java.util.Arrays.asList(1,2,3,4,5));intsum=rdd.flatMap((a)->java.util.Arrays.asList(a).iterator()).count();System.out.println("Sum:"+sum);sc.stop();}}```-答案：A-分析：在計(jì)算RDD元素總和時(shí)，應(yīng)使用reduce算子進(jìn)行累加。A選項(xiàng)使用reduce正確實(shí)現(xiàn)。B選項(xiàng)的filter和count是篩選大于0的元素并計(jì)數(shù)。C選項(xiàng)是對(duì)元素乘2后計(jì)算集合元素?cái)?shù)量。D選項(xiàng)flatMap和count也是計(jì)算元素?cái)?shù)量，均不符合需求。3.以下哪個(gè)是在Java中使用HBase的基本步驟（）-選項(xiàng)：-A.創(chuàng)建Configuration對(duì)象、獲取HBaseAdmin實(shí)例、創(chuàng)建表描述符、創(chuàng)建表、插入數(shù)據(jù)、查詢數(shù)據(jù)、刪除表、關(guān)閉連接-B.創(chuàng)建表描述符、創(chuàng)建Configuration對(duì)象、獲取HBaseAdmin實(shí)例、創(chuàng)建表、插入數(shù)據(jù)、查詢數(shù)據(jù)、刪除表、關(guān)閉連接-C.獲取HBaseAdmin實(shí)例、創(chuàng)建Configuration對(duì)象、創(chuàng)建表描述符、創(chuàng)建表、插入數(shù)據(jù)、查詢數(shù)據(jù)、刪除表、關(guān)閉連接-D.創(chuàng)建表描述符、創(chuàng)建表、創(chuàng)建Configuration對(duì)象、獲取HBaseAdmin實(shí)例、插入數(shù)據(jù)、查詢數(shù)據(jù)、刪除表、關(guān)閉連接-答案：A-分析：使用HBase時(shí)，首先要?jiǎng)?chuàng)建Configuration對(duì)象來配置HBase連接信息，接著獲取HBaseAdmin實(shí)例進(jìn)行管理操作，然后創(chuàng)建表描述符創(chuàng)建表等后續(xù)操作，A步驟正確。4.在Flink中使用JavaAPI實(shí)現(xiàn)將輸入流的元素乘以2的代碼是（）-選項(xiàng)：-A.```javaimportorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;publicclassMultiplyByTwo{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream<Integer>inputStream=env.fromElements(1,2,3,4,5);DataStream<Integer>outputStream=inputStream.map(value->value2);outputStream.print();env.execute();}}```-B.```javaimportorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;publicclassMultiplyByTwo{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream<Integer>inputStream=env.fromElements(1,2,3,4,5);DataStream<Integer>outputStream=inputStream.filter(value->value2>0);outputStream.print();env.execute();}}```-C.```javaimportorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;publicclassMultiplyByTwo{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream<Integer>inputStream=env.fromElements(1,2,3,4,5);DataStream<Integer>outputStream=inputStream.keyBy(value->value%2);outputStream.print();env.execute();}}```-D.```javaimportorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;publicclassMultiplyByTwo{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();DataStream<Integer>inputStream=env.fromElements(1,2,3,4,5);DataStream<Integer>outputStream=inputStream.reduce((a,b)->a2);outputStream.print();env.execute();}}```-答案：A-分析：要將輸入流元素乘以2，需使用map算子對(duì)每個(gè)元素進(jìn)行轉(zhuǎn)換，A選項(xiàng)正確。B選項(xiàng)是使用filter過濾元素，C選項(xiàng)是使用keyBy進(jìn)行分組操作，D選項(xiàng)reduce用于聚合不符合需求。5.若要在Hadoop的MapReduce中對(duì)單詞進(jìn)行計(jì)數(shù)，Mapper類的主要功能是（）-選項(xiàng)：-A.對(duì)輸入的每行文本進(jìn)行分詞，將每個(gè)單詞作為鍵，值設(shè)置為1輸出-B.對(duì)輸入的每行文本進(jìn)行排序，將排序后的單詞作為鍵，值設(shè)置為1輸出-C.對(duì)輸入的每行文本進(jìn)行過濾，只輸出長(zhǎng)度大于3的單詞，值設(shè)置為1-D.對(duì)輸入的每行文本進(jìn)行大小寫轉(zhuǎn)換，將轉(zhuǎn)換后的單詞作為鍵，值設(shè)置為1輸出-答案：A-分析：?jiǎn)卧~計(jì)數(shù)的Mapper類要把輸入文本按單詞分割，每個(gè)單詞作為鍵，出現(xiàn)次數(shù)初始值設(shè)為1輸出，便于后續(xù)Reducer匯總，A選項(xiàng)正確。B選項(xiàng)排序是后續(xù)Reducer的部分工作。C選項(xiàng)過濾不符合Mapper計(jì)數(shù)核心功能。D選項(xiàng)大小寫轉(zhuǎn)換不是基本的單詞計(jì)數(shù)Mapper核心操作。6.在Java中連接MongoDB數(shù)據(jù)庫(kù)的代碼示例是（）-選項(xiàng)：-A.```javaimportcom.mongodb.MongoClient;importcom.mongodb.client.MongoDatabase;publicclassConnectMongoDB{publicstaticvoidmain(String[]args){MongoClientmongoClient=newMongoClient("localhost",27017);MongoDatabasedatabase=mongoClient.getDatabase("testdb");System.out.println("Connectedto"+database.getName());mongoClient.close();}}```-B.```javaimportcom.mongodb.MongoClient;publicclassConnectMongoDB{publicstaticvoidmain(String[]args){MongoClientmongoClient=newMongoClient("localhost",27017);mongoClient.close();}}```-C.```javaimportcom.mongodb.client.MongoDatabase;publicclassConnectMongoDB{publicstaticvoidmain(String[]args){MongoDatabasedatabase=newMongoDatabase("testdb");System.out.println("Connectedto"+database.getName());}}```-D.```javaimportcom.mongodb.MongoClient;importcom.mongodb.client.MongoDatabase;publicclassConnectMongoDB{publicstaticvoidmain(String[]args){MongoClientmongoClient=newMongoClient("localhost",27018);MongoDatabasedatabase=mongoClient.getDatabase("testdb");System.out.println("Connectedto"+database.getName());mongoClient.close();}}```-答案：A-分析：連接MongoDB要先創(chuàng)建MongoClient實(shí)例，再通過它獲取數(shù)據(jù)庫(kù)對(duì)象，A選項(xiàng)實(shí)現(xiàn)正確。B選項(xiàng)未獲取數(shù)據(jù)庫(kù)對(duì)象。C選項(xiàng)直接實(shí)例化MongoDatabase錯(cuò)誤，MongoDatabase不能直接new。D選項(xiàng)使用的端口一般mongo默認(rèn)是27017。剩余試題及答案（部分示例）7.在Hadoop的MapReduce編程中，Reducer類的輸入數(shù)據(jù)（）-選項(xiàng)：-A.是經(jīng)過Mapper輸出并排序分組后的數(shù)據(jù)-B.是輸入文件的原始數(shù)據(jù)-C.是Mapper輸出但未排序分組的數(shù)據(jù)-D.是根據(jù)鍵進(jìn)行過濾后的數(shù)據(jù)-答案：A-分析：Reducer輸入是Mapper輸出后經(jīng)框架自動(dòng)排序分組的數(shù)據(jù)，方便按鍵匯總值，A正確。B不是原始數(shù)據(jù)，C會(huì)排序分組，D過濾不屬于普遍Reducer輸入特征。8.在Spark中，以下哪種操作屬于轉(zhuǎn)換操作（）-選項(xiàng)：-A.reduce-B.collect-C.map-D.count-答案：C-分析：map是轉(zhuǎn)換操作，它會(huì)根據(jù)函數(shù)將一個(gè)RDD轉(zhuǎn)換為另一個(gè)RDD。reduce、collect、count是行動(dòng)操作會(huì)觸發(fā)計(jì)算，C正確。9.在Java里使用HBase插入數(shù)據(jù)時(shí)，Put對(duì)象用于（）-選項(xiàng)：-A.表示要插入的行數(shù)據(jù)-B.表示要插入的數(shù)據(jù)表-C.表示要插入的列族-D.表示要插入的時(shí)間戳-答案：A-分析：Put對(duì)象用于封裝要插入到HBase表中的一行數(shù)據(jù)，包括行鍵和多個(gè)列及值，A正確。10.Flink中使用窗口操作時(shí)，開窗的主要作用是（）-選項(xiàng)：-A.對(duì)連續(xù)的數(shù)據(jù)流進(jìn)行分段處理-B.對(duì)數(shù)據(jù)流進(jìn)行排序-C.過濾數(shù)據(jù)流中的部分?jǐn)?shù)據(jù)-D.改變數(shù)據(jù)流的方向-答案：A-分析：Flink窗口操作是將連續(xù)無(wú)界的流數(shù)據(jù)按時(shí)間或其他規(guī)則分段，便于對(duì)每個(gè)分段數(shù)據(jù)處理，A正確。11.在Hadoop的配置文件core-site.xml中，`fs.defaultFS`屬性用于（）-選項(xiàng)：-A.指定HDFS的默認(rèn)訪問地址-B.指定MapReduce的作業(yè)跟蹤器地址-C.指定HBase的備份地址-D.指定YARN的資源管理器地址-答案：A-分析：`fs.defaultFS`屬性用于配置HDFS的默認(rèn)訪問地址，A正確。B、C、D分別對(duì)應(yīng)其他組件配置。12.以下關(guān)于Java操作MongoDB的說法，正確的是（）-選項(xiàng)：-A.可以直接使用Java的JDBC驅(qū)動(dòng)連接MongoDB-B.要使用MongoDB提供的Java驅(qū)動(dòng)進(jìn)行連接和操作-C.只能在命令行操作MongoDB，Java無(wú)法操作-D.Java操作MongoDB不需要設(shè)置數(shù)據(jù)庫(kù)名-答案：B-分析：Java操作MongoDB需用MongoDB提供的Java驅(qū)動(dòng)，不能用JDBC驅(qū)動(dòng)，B正確。A錯(cuò)誤，C可以用Java操作，D需要指定數(shù)據(jù)庫(kù)名。13.在Spark中，cache()方法的作用是（）-選項(xiàng)：-A.將RDD數(shù)據(jù)緩存到內(nèi)存中-B.將RDD數(shù)據(jù)保存到硬盤中-C.對(duì)RDD數(shù)據(jù)進(jìn)行排序-D.對(duì)RDD數(shù)據(jù)進(jìn)行過濾-答案：A-分析：cache()是將RDD數(shù)據(jù)緩存在內(nèi)存中，后續(xù)使用時(shí)可避免重復(fù)計(jì)算，A正確。B是persist的更高級(jí)設(shè)置功能，C、D功能不符。14.在Flink中，KeyedStream的作用是（）-選項(xiàng)：-A.根據(jù)特定鍵對(duì)數(shù)據(jù)流進(jìn)行分組-B.對(duì)數(shù)據(jù)流進(jìn)行排序-C.過濾數(shù)據(jù)流中不符合條件的元素-D.對(duì)數(shù)據(jù)流中的元素進(jìn)行聚合-答案：A-分析：KeyedStream用于根據(jù)鍵對(duì)數(shù)據(jù)流分組，后續(xù)可對(duì)分組數(shù)據(jù)操作，A正確。B排序、C過濾、D聚合是后續(xù)操作而非KeyedStream核心作用。15.在Hadoop的MapReduce中，`Combiner`的作用是（）-選項(xiàng)：-A.在Mapper端對(duì)輸出數(shù)據(jù)進(jìn)行局部聚合，減少Shuffle階段的數(shù)據(jù)傳輸量-B.在Reducer端對(duì)輸入數(shù)據(jù)進(jìn)行排序-C.在Mapper端對(duì)輸入數(shù)據(jù)進(jìn)行過濾-D.在Reducer端對(duì)數(shù)據(jù)進(jìn)行二次聚合-答案：A-分析：`Combiner`作用是在Mapper端局部聚合數(shù)據(jù)，減少數(shù)據(jù)傳量，減輕網(wǎng)絡(luò)壓力，A正確。B排序不是主要用途，C過濾非其功能，D不是在Reducer端二次聚合意義。16.在Java中使用HBase時(shí)，`Get`對(duì)象用于（）-選項(xiàng)：-A.從HBase表中獲取指定行的數(shù)據(jù)-B.向HBase表中插入指定行的數(shù)據(jù)-C.刪除HBase表中的指定行數(shù)據(jù)-D.修改HBase表中指定行的數(shù)據(jù)-答案：A-分析：`Get`對(duì)象用來根據(jù)行鍵從HBase表中獲取指定行數(shù)據(jù)，A正確。B用Put，C用Delete，D也是先Get再Put修改。17.在Spark中，`sortBy`方法屬于（）-選項(xiàng)：-A.轉(zhuǎn)換操作-B.行動(dòng)操作-C.輸入操作-D.輸出操作-答案：A-分析：`sortBy`根據(jù)指定規(guī)則排序返回新RDD，是轉(zhuǎn)換操作，不會(huì)觸發(fā)計(jì)算，A正確。18.在Flink中，`DataStream`的`filter`方法用于（）-選項(xiàng)：-A.根據(jù)條件過濾數(shù)據(jù)流中的元素-B.對(duì)數(shù)據(jù)流中的元素進(jìn)行排序-C.對(duì)數(shù)據(jù)流中的元素進(jìn)行聚合-D.對(duì)數(shù)據(jù)流中的元素進(jìn)行轉(zhuǎn)換-答案：A-分析：`filter`根據(jù)傳入條件過濾元素，保留符合條件的，A正確。B不是排序功能，C、D分別是聚合和轉(zhuǎn)換操作。19.以下哪個(gè)是在Java操作HDFS刪除文件的正確代碼片段（）-選項(xiàng)：-A.```javaimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;publicclassDeleteHDFSFile{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");FileSystemfs=FileSystem.get(conf);Pathpath=newPath("/testfile.txt");booleandeleted=fs.delete(path,false);if(deleted){System.out.println("Filedeletedsuccessfully");}else{System.out.println("Filedeletionfailed");}fs.close();}}```-B.```javaimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.DistributedFileSystem;importorg.apache.hadoop.fs.Path;publicclassDeleteHDFSFile{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");DistributedFileSystemfs=newDistributedFileSystem();Pathpath=newPath("/testfile.txt");booleandeleted=fs.deleteOnExit(path);if(deleted){System.out.println("Filedeletedsucce