-z.概述日志分析主要包括系統日志、應用程序日志和平安日志。系統運維和開發人員可以通過日志了解效勞器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解效勞器的負荷，性能平安性，從而及時采取措施糾正錯誤。通常，日志被分散的儲存不同的設備上，依次登錄每臺機器查閱日志的傳統法很繁瑣并且效率低下。所以將日志集中管理成為運維工作必不可少的手段。開源實時日志分析框架ELK是當前最流行的日志管理架構之一，能夠實現對日志集中管理，并提供全文檢索功能，組件kibana提供豐富的展示法。ELK能夠起到實時系統監測、應用監測、網絡監測、事件管理和發現bug等作用。建立目的為運維人員提供日志信息，實時了解操作系統、業務、數據庫的運行情況。提高解決故障的效率，提升故障預警能力。為開發人員排查故障提供日志查看和搜索功能。ELK簡介ELK是Elasticsearch、Logstash、Kibana的簡稱。Elasticsearch是實時全文搜索和分析引擎，提供搜集、分析、存儲數據三大功能；是一套開放REST和JavaAPI等構造提供高效搜索功能，可擴展的分布式系統。它構建于ApacheLucene搜索引擎庫之上。Logstash是一個用來搜集、分析、過濾日志的工具。它支持幾乎任類型的日志，包括系統日志、錯誤日志和自定義應用程序日志。它可以從多來源接收日志，這些來源包括syslog、消息傳遞〔例如RabbitMQ〕和JM*，它能夠以多種式輸出數據，包括電子、websockets和Elasticsearch。Kibana是一個基于Web的圖形界面，用于搜索、分析和可視化存儲在Elasticsearch指標中的日志數據。它利用Elasticsearch的REST接口來檢索數據，不僅允用戶創立他們自己的數據的定制儀表板視圖，還允他們以特殊的式查詢和過濾數據。Beats：包括filebeat和packetbeat，用來取代logstash-forward的輕量級日志代理，相對于logstash占用系統資源少。日志類型MySQL日志：包括MySQL錯誤、慢查詢、MySQLmethods、讀寫、流量。Redis日志：Ngin*日志：按照固定格式輸出的日志。Tomcat日志：按照固定格式輸出的日志。系統日志messages：整體系統信息，系統層錯誤、告警、信息等。系統日志secure：驗證和授權面信息。部署架構由于當前日志量不大，所以暫時沒有使用redis或kafka等隊列工具，也沒有使用集群。后續可以根據實際負載情況參加緩存和集群。具體部署案如下：使用filebeat收集所有效勞器的/var/log/messages和/var/log/secure日志，并發送給logstash集中轉發給elasticsearch。使用filebeat收集負載均衡訪問和WEB效勞器的Ngin*日志和tomcat日志。并發送給logstash匹配、解析后發送給elasticsearch。使用packetbeat收集數據庫MySQL和redis日志，直接發送給elasticsearch。使用kibana做為日志展示與搜索的工具。架構圖：效果展示MySQL日志儀表盤Ngin*日志儀表盤Ngin*日志系統報錯日志部署文檔IP域名組件日志文件10.10.10.old.71dai.filebeat/usr/local/ngin*/logs/access.logWeb03filebeat/var/log/messagesqyd.test.71dai.filebeat/usr/local/syqyd2_809/log/catalina.outmysqlpacketbeat9032端口日志kibana.test..ELK/var/log/message例如：修改hosts文件，增加域名與IP的映射關系10.10.10.201kibana.test..之后即可通過如下URL訪問：://kibana.test..本例采集了不同效勞器的ngin*日志，tomcat日志，mysql日志，系統日志messages。當然EKL可以采集任日志，只要想要的都可以通過ELK收集和展現。Ngin*儀表盤儀表盤如下截屏：點擊儀表盤按鈕〞Dashboard〞，點翻開按鈕，選擇要翻開的儀表盤名稱。可查看的信息包括：請求數、獨立ip數、請求數趨勢、獨立ip排行、訪問城市排行、_code趨勢。MySQL儀表盤可查看的信息包括：錯誤、法、讀寫次數、出入流量、頻繁的查詢次數排行、慢查詢。Discover實時查看搜索日志首先在搜索日志界面的右上角可以選擇要搜索的時間圍，也可以設置頁面自動刷新時間。Tomcat日志：Tomcat日志采集了企易貸測試環境的訪問日志，在discover菜單可以實時查看和搜索。如在搜索欄輸入：_type:tomcat；或者輸入beat.hostname:TEST-QYDNgin*日志Ngin*日志采集的是WEB02的ngin*日志在搜索欄輸入：host:web02即可查看日志，也可以輸入想要搜索的任關鍵字。如搜*一特定ip地址的日志，或者*個城市訪問的日志。系統messages日志本例采集了web03的/var/log/messages日志，可以輸入host:web03顯示web03的messages日志，使用Shield實現權限控制使用shield插件可以實現不