<dl id="5vmrh"><ins id="5vmrh"></ins></dl>
<div id="5vmrh"></div>
  • <progress id="5vmrh"><span id="5vmrh"></span></progress>
  • <div id="5vmrh"><tr id="5vmrh"></tr></div>
    <li id="5vmrh"></li>
    <div id="5vmrh"></div>
    <dl id="5vmrh"><ins id="5vmrh"><small id="5vmrh"></small></ins></dl>
  •   
    測·控領域專業互動媒體平臺
    推動測試測量,檢測診斷,傳感物聯,遙測自控智能化發展
    當前位置:CK365測控網 > 論文 > 應用技術 >

    基于云計算技術的日志管理系統

    2017-07-28 11:09:31

    [導讀] 計算機技術經歷了并行計算、集群/分布式計算、網格計算等發展,現在已步入云計算時代。20世紀80年代,升陽(Sun Microsystems)提出了“網絡式電腦”NC概念,21世紀初,Amazon通過打包、自助服務等業務出租其IT設備,并取得了空前的成功。隨著云計算案例的成功,其影響力也正在逐步展開。本文闡述了從興技術云計算在電信級系統海量日志管理的設計方案,望拋磚引玉。

    摘要

    計算機技術經歷了并行計算、集群/分布式計算、網格計算等發展,現在已步入云計算時代。20世紀80年代,升陽(Sun Microsystems)提出了“網絡式電腦”NC概念,21世紀初,Amazon通過打包、自助服務等業務出租其IT設備,并取得了空前的成功。隨著云計算案例的成功,其影響力也正在逐步展開。本文闡述了從興技術云計算在電信級系統海量日志管理的設計方案,望拋磚引玉。

    正文

    隨著通信技術的不斷發展,用戶對新業務的需求以及對服務質量的要求也不斷提升。通訊運營商需要適應新形式的要求,必須做出相應的調整。如以前的離線計費升級為在線實時計費;又或者升級新的通訊設備,等等。由此帶來了一項新的挑戰,即新環境產生大量的以前不曾有過的日志,并帶來相關的問題,如:日志文件分散存放,數量多,可直接查閱日志文件保存周期短,極不便于運維;日志格式不一致,可閱讀性過低;查詢費時或超時,效率低下;相關日志的關聯性低,無法清晰定位;大量的日志無法統計,無法準確的分析業務;

    由于相關法規、政策或商業上的要求,運營商無法回避以上問題,必須保留、查詢、分析處理這些大數據。基于關系型的傳統數據庫無法滿足新形式下的要求,從興技術憑借自身在通訊行業的經驗與優勢,依托云計算技術,建設了一個高效的通用云計算平臺,將日志管理系統作為云平臺的一個業務系統建設。這樣設計的最大優勢是業務系統作為上層應用,具備良好的擴展性和可堆疊性,滿足信息的交換和處理,避免信息系統煙囪式的發展。

     

    從興SKCP(Smart Keen Cloud Platform)基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能;以Flume為基礎的SK-Pipe系統具備了高效的實時采集功能;配合SK-DETL分布式的ETL的任務設計、調度等功能,可實現日志數據的高效ETL.強大的企業管理器(SK-Admin)能對平臺、節點、任務進行監控和管理等。

    基于SKCP的日志管理系統的主要功能架構如下:

     

    采集子系統提供了批量采集和實時采集功能。批量采集將系統各模塊日志文件按目錄采集到相應的目錄中,以便入庫。實時采集將系統模塊正在產生日志文件實時傳輸到日志云平臺。日志采集支持對采集文件進行壓縮,減輕網絡傳輸壓力。支持對海量的小批量采集文件進行合并處理,以提高入庫效率

    日志云平臺提供了程序發布和運行管理、系統資源監控;并提供日志云平臺定時任務,如數據清理或數據遷移等。日志云平臺支持聯機在線下的新節點加入或退出。

    日志分析模塊采用XML文件配置方式,支持文件名稱的匹配和字段解析匹配,具備靈活的自定義功能。

    日志入庫模塊提供基礎調度功能,按照業務的要求將數據加載到云平臺中,支持霍夫曼壓縮算法,支持多節點的分布式入庫。

     

    頁面查詢展示根據請求查詢云平臺得到相應的數據,并返回去前臺展現。支持均衡負載,減少單個節點上的負擔。

    系統部署邏輯圖:

     

    系統完成部署并成功試商用。系統負載量為:業務系統每天日志總量約為2.8 T,按1:6的壓縮比來計算,壓縮后每天的日志量約500G左右;單節點入庫速度平均10M+每秒;平均壓縮比為2.5:1,數據冗余系數2;數據平均存儲周期1+1個月,目前設計存儲容量為40T,不使用磁盤陣列集中存儲。

    從實際運行情況考慮,基于從興技術云平臺的日志管理系統,采用成熟的技術,更低的成本、更高的業務效率,提供了完整的海量日志解決方案。

    [整理編輯:CK365測控網]
    標簽:  計算機技術[1]    云計算[5]    數據中心[0]
     
    [ 論文搜索 ]  [ ]  [ 好友分享 ]  [ 打印本文 ]  [ 關閉窗口 ]  [ 返回頂部 ]

    版權與免責聲明:

    ①凡本網注明"來源:CK365測控網"的所有作品,版權均屬于CK365測控網,轉載請必須注明CK365測控網 www.40093096.com。違反者本網將追究相關法律責任。
    ②本網轉載并注明自其它來源的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、網站或個人從本網下載使用,必須保留本網注明的"稿件來源",并自負版權等法律責任。
    ③如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

    注冊成為CK365測控網會員

    可以無需任何費用瀏覽專業技術文章

     
     
    注冊CK365測控網會員以便瀏覽全文
     
     
    一心为民六合心水论坛
    <dl id="5vmrh"><ins id="5vmrh"></ins></dl>
    <div id="5vmrh"></div>
  • <progress id="5vmrh"><span id="5vmrh"></span></progress>
  • <div id="5vmrh"><tr id="5vmrh"></tr></div>
    <li id="5vmrh"></li>
    <div id="5vmrh"></div>
    <dl id="5vmrh"><ins id="5vmrh"><small id="5vmrh"></small></ins></dl>
  • <dl id="5vmrh"><ins id="5vmrh"></ins></dl>
    <div id="5vmrh"></div>
  • <progress id="5vmrh"><span id="5vmrh"></span></progress>
  • <div id="5vmrh"><tr id="5vmrh"></tr></div>
    <li id="5vmrh"></li>
    <div id="5vmrh"></div>
    <dl id="5vmrh"><ins id="5vmrh"><small id="5vmrh"></small></ins></dl>