四人麻将|上海四人麻将单机版

【精彩回顧】第二十期CXO直播:企業級日志分析新視角

2019-08-09 15:15:54  來源:CIO時代網

摘要:2019年8月6日下午,第二十期CXO直播間如期開播。本次直播主題為 "企業級日志分析新視角 ",由日志易技術總監王剛為大家分享一些關于日志分析方面的心得。
關鍵詞: CIO時代 CXO
  2019年8月6日下午,第二十期CXO直播間如期開播。本次直播主題為"企業級日志分析新視角",由日志易技術總監王剛為大家分享一些關于日志分析方面的心得。
\
直播合影
 
  2017年6月1日,《中華人民共和國網絡安全法》正式實施,對業務系統安全審計提出了新的要求。按照新法規的要求,傳統的運維做法及日志分析方式,難以滿足合規要求且在運維、安全、存儲日志性能等方面存在諸多弊端。網絡安全無小事,為什么通過法律的途徑作出這種規定,針對新規,王總指出日志的幾種價值,一、回溯取證;二、實時監控;三、制作可視化分析報表。所以無論IT還是業務部門,日志數據對其都有特殊的價值。
 
  近幾年,隨著云計算、大數據及AI等趨勢及關鍵技術的不斷升級,日志分析技術從過往到現在經歷了4個階段,第一個階段是最原始的階段即1.0,數據存儲在數據庫(如MySQL)里,適合數百臺網絡設備、主機的Syslog收集,每臺每秒10條左右的頻率;2.0階段數據存儲在Hadoop里,適合數百TB以上,MapReduce任務運行按小時計的長期計算任務;3.0階段數據存儲在實時搜索引擎里,適合無固定規則的,毫秒至秒級別的查詢統計任務;現在比較火的智能運維、智能機器學習是4.0階段。
 
  針對日志數據處理及發展過程中遇到的共性特點,王總總結出六點:
 
  1.單: 很多企業的業務系統之間是相互獨立的,流水號、訂單號沒辦法相互關聯;跨業務系統的日志記錄分散孤立,難以做出關聯分析;
 
  2.散:數百GB甚至TB級別的日志量分布在數百臺服務器上,包含數據分布不均的情況;
 
  3.繁:日志種類多,排查一個問題也要針對多種不同格式的日志,一次次重定向文件,這種情況對運維人員而言是個"大災難";
 
  4.慢:日志系統沒有實現實時的日志監控告警,一旦出現問題,不能及時發現問題,同時日志排障消耗很長的時間;
 
  5.難:業務系統多,日志量大,每年都在增加,同時系統間的關聯復雜性強,難以實現聯動分析,日志價值無法及時得到挖掘;
 
  6.險:日志體系建設不健全,企業日志管理方面面臨主機操作風險、敏感信息泄露等安全隱患。這些隱患猶如地雷一般,一招不慎就會引爆。
 
  基于這六個共性特點,王總通過案例演示指出看日志可以從兩方面著手,即內在屬性和外在屬性。內在屬性可從時間戳、字段、字段命名等日志內容本身所具備的信息內容的角度,對日志進行分析。外在屬性可從來源、歸屬分類、資產信息等維度來分析。
 
  伴隨新的支付方式出現,近年來移動支付蓬勃發展,如何分析、利用海量交易數據,已成為當前支付企業面對的巨大難題。日志作為數據的載體,蘊含著豐富的信息,傳統的日志分析方式低效而固化,無法應對數據體量大、格式不統一、增長速度快的現狀,在交易出現異常及失敗時,更難以滿足實時處理、快速響應的需求。
 
  王總引用"知己知彼百戰百勝"這古句回應要解決目前面臨的問題,可先從如下視角來對日志進行多維度梳理:
 
  1、日志來源維度:將我們手中的日志依次分為操作系統日志、網絡安全設備日志、業務系統日志、數據庫日志等種類。
 
  2、日志需求維度:明確我們對于日志最為迫切的需求,可以參考日志審計、監控告警、業務統計、關聯模型、報表分析、智能運維、安全分析等方面。
 
  3、多樣性維度:掌握自己日志是存在編碼多樣性、多行合并、交叉打印、目錄嵌套、日志冗長、快速切分、格式繁多等情況。
 
  從上述維度加以梳理,借助日志工具將會大大降低日志分析系統建設的難度。
 
  本期活動的精彩視頻回放已經同步到CIO時代公眾號與CIO時代APP,錯過直播的朋友們,也歡迎大家觀看回放。

第二十九屆CIO班招生
法國布雷斯特商學院MBA班招生
法國布雷斯特商學院碩士班招生
法國布雷斯特商學院DBA班招生
責編:baiyl
四人麻将 股票分析报告3000字 股票分析师如何考 2011热门股票推荐 股票涨跌的原理 举例 2012上证指数最低点 东华软件股票 股票涨跌幅计算软件 股票推荐咨询 大智慧股票行情查询 股票分析师群