主講：侯磊目錄0102Hadoop存儲日志的位置NodeManager日志目錄包含的內容Hadoop存儲日志的位置1Hadoop存儲日志的位置想有效地分析Hadoop日志，重要的是要了解Hadoop在作業運行時和作業完成后，在系統中的多個位置存儲作業相關的信息和日志。有以下三個位置。HDFS:這是Hadoop創建用于存儲作業執行文件（如包含運行作業Hadoop參數的job.xml文件）的暫存目錄的位置。如果配置Hadoop的日志聚合功能（本章稍后介紹)，Hadoop還會使用長期的Hadoop作業日志（實際持續時間可配置)HDFS。Hadoop存儲日志的位置NodeManager本地目錄:這些是在本地文件系統上創建的目錄，Hadoop在其中存儲由NodeManager服務生成的Shell腳本，以便執行ApplicationMaster容器?？梢栽诒镜豅inux文件系統的任何位置創建NodeManager本地目錄。在HadoopHDFS文件系統下創建它們并不罕見，如下所示:/u05/hadoop/dfs//在此目錄下創建HDFS文件/u05/hadoop/nm//為NodeManager創建本地目錄//在此目錄下Hadoop存儲日志的位置可以使用yarn-site.xml文件中的yarn.nodemanager.local.dirs參數指定NodeManager本地目錄的位置NodeManager日志目錄:這些是Linux上的本地目錄，NodeManager在此存儲用戶運行的應用程序的實際日志文件。在此節點的NodeManager上執行作業的所有容器(Spark、MapReduce和其他作業任務）并將其應用程序日志存儲在此目錄中。該參數的默認值為${yarn.log.dir}/userlogs。需要知道的是,yarn.log.dir實際上不是一個OS環境變量(例如JAVA_HOME變量)。這是通過yarn-env.sh文件配置的Java系統屬性。在默認情況下，將yarn.log.dir屬性設置為與OS環境變量YARN_LOG_DIR的值相同。Hadoop存儲日志的位置在yarn-site.xml文件中，使用yarn.nodemanager.log-dirs參數指定NodeManager日志目錄的位置。例如:<property><name>yarn.nodemanager.log-dirs</name><value>/var/log/hadoop-yarn</value></property>HDFS分段目錄和NodeManager木地目錄包含具有作業參數和執行ApplicationMaster的shell腳本的字段。由于這些目錄包含實際的應用程序日志文件，所以在日常工作中NodeManager日志目錄對我們更為重要。NodeManager日志目錄包含的內容2NodeManager日志目錄包含的內容應用程序的日志文件中實際上包含的是容器日志。每個應用程序的本地化日志目錄具有以下目錄結構:${yarn.nodemanager.log-dirs)/application_${appid)/appid變量表示MapReduce作業的應用程序ID。每個容器的日志目錄位于此目錄下，并使用以下目錄命名約定:container_{$contid}NodeManager日志目錄包含的內容容器目錄中的每個目錄都包含有我們感興趣的實際日志文件，它們是本容器生成的三種類型的Hadoop日志（本章前面已經介紹過):stderr、stdin和syslog。各個容器的日志目錄位于名為container_{$containerId}的目錄下的${yarn.nodemanager.log-dirs}/application_${appid}目錄下。每個容器目錄都包含名為stderr、stdout和syslog的文件。這是在運行期間找到有關容器錯誤信息的地方。NodeManager日志目錄包含的內容如前所述，yarn.nodemanager.log-dirs屬性的默認值為${yarn.log.dir}/userlogs。假設要檢查應用程序ID為1423588006739_0015的應用程序的日志文件。下面是需要遍歷以獲取此應用程序的容器日志文件的目錄結構。NodeManager日志目錄包含的內容${yarn.nodemanager.log-dirs}=/var/log/hadoop-yarn${appid}=1423588006739_0015{contid}=1423588006739_0015_01_001667該容器的全名是container_1423588006739_0015_01_001667，可以通過訪問以下目錄來訪問syslog、stderr和