• 回复@“老笑头”,共产主义需要分配生产资料应该是你做梦的时候梦到的吧!这除了让网友们笑掉大牙,还能有什么?你确实是让网友们看着就想笑!哈哈哈哈! 2019-09-16
  • 西部网(陕西新闻网)www.cnwest.com 2019-09-16
  • 杭州控烟令修改引争议 2019-08-29
  • 花几十万得来的“院子”不能装修 2019-08-29
  • 图解丨我国医疗技术和质量双提升 人民健康再添保障 2019-08-12
  • 日报告:全球核弹头数量约1.4万枚 中国有约270枚 2019-08-02
  • 雷政富狱中发声:否认漏罪举报 不服原判正申诉 2019-07-28
  • 伦敦一家酒店发生火灾 2019-07-28
  • 山西首届百名金牌导游大赛太原选拔赛3月8日鸣锣 2019-07-24
  • 货币政策取向仍以国内为主 2019-07-16
  • “自由画家”张碧晨:我的世界不只有黑白灰!张碧晨 2019-06-29
  • 对于党报当然要毫不质疑的宣传党的大政方针,这是论坛,讨论就是宣传,尽量做到以理服人 2019-06-25
  • 央行试点企业银行账户备案制 2019-06-25
  • 2016第十一届中国常州先进制造技术成果展示洽谈会——中国常州网专题 2019-06-22
  • 中国遥感卫星地面站成功接收高分六号卫星数据 2019-06-14
  •   
    排球视频在线直播 测·控领域专业互动媒体平台
    推动测试测量,检测诊断,传感物联,遥测自控智能化发展
    当前位置:排球视频在线直播 > 论文 > 应用技术 >

    排球决胜局多少分:基于云计算技术的日志管理系统

    排球视频在线直播 www.drlhr.com 2017-07-28 11:09:31

    [导读] 计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。20世纪80年代,升阳(Sun Microsystems)提出了“网络式电脑”NC概念,21世纪初,Amazon通过打包、自助服务等业务出租其IT设备,并取得了空前的成功。随着云计算案例的成功,其影响力也正在逐步展开。本文阐述了从兴技术云计算在电信级系统海量日志管理的设计方案,望抛砖引玉。

    摘要

    计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。20世纪80年代,升阳(Sun Microsystems)提出了“网络式电脑”NC概念,21世纪初,Amazon通过打包、自助服务等业务出租其IT设备,并取得了空前的成功。随着云计算案例的成功,其影响力也正在逐步展开。本文阐述了从兴技术云计算在电信级系统海量日志管理的设计方案,望抛砖引玉。

    正文

    随着通信技术的不断发展,用户对新业务的需求以及对服务质量的要求也不断提升。通讯运营商需要适应新形式的要求,必须做出相应的调整。如以前的离线计费升级为在线实时计费;又或者升级新的通讯设备,等等。由此带来了一项新的挑战,即新环境产生大量的以前不曾有过的日志,并带来相关的问题,如:日志文件分散存放,数量多,可直接查阅日志文件保存周期短,极不便于运维;日志格式不一致,可阅读性过低;查询费时或超时,效率低下;相关日志的关联性低,无法清晰定位;大量的日志无法统计,无法准确的分析业务;

    由于相关法规、政策或商业上的要求,运营商无法回避以上问题,必须保留、查询、分析处理这些大数据?;诠叵敌偷拇呈菘馕薹阈滦问较碌囊?,从兴技术凭借自身在通讯行业的经验与优势,依托云计算技术,建设了一个高效的通用云计算平台,将日志管理系统作为云平台的一个业务系统建设。这样设计的最大优势是业务系统作为上层应用,具备良好的扩展性和可堆叠性,满足信息的交换和处理,避免信息系统烟囱式的发展。

     

    从兴SKCP(Smart Keen Cloud Platform)基于HDFS、M/R和Cassandra为核心的SK-Hadoop功能和SK-Store功能;以Flume为基础的SK-Pipe系统具备了高效的实时采集功能;配合SK-DETL分布式的ETL的任务设计、调度等功能,可实现日志数据的高效ETL.强大的企业管理器(SK-Admin)能对平台、节点、任务进行监控和管理等。

    基于SKCP的日志管理系统的主要功能架构如下:

     

    采集子系统提供了批量采集和实时采集功能。批量采集将系统各??槿罩疚募茨柯疾杉较嘤Φ哪柯贾?,以便入库。实时采集将系统??檎诓罩疚募凳贝涞饺罩驹破教?。日志采集支持对采集文件进行压缩,减轻网络传输压力。支持对海量的小批量采集文件进行合并处理,以提高入库效率

    日志云平台提供了程序发布和运行管理、系统资源监控;并提供日志云平台定时任务,如数据清理或数据迁移等。日志云平台支持联机在线下的新节点加入或退出。

    日志分析??椴捎肵ML文件配置方式,支持文件名称的匹配和字段解析匹配,具备灵活的自定义功能。

    日志入库??樘峁┗〉鞫裙δ?,按照业务的要求将数据加载到云平台中,支持霍夫曼压缩算法,支持多节点的分布式入库。

     

    页面查询展示根据请求查询云平台得到相应的数据,并返回去前台展现。支持均衡负载,减少单个节点上的负担。

    系统部署逻辑图:

     

    系统完成部署并成功试商用。系统负载量为:业务系统每天日志总量约为2.8 T,按1:6的压缩比来计算,压缩后每天的日志量约500G左右;单节点入库速度平均10M+每秒;平均压缩比为2.5:1,数据冗余系数2;数据平均存储周期1+1个月,目前设计存储容量为40T,不使用磁盘阵列集中存储。

    从实际运行情况考虑,基于从兴技术云平台的日志管理系统,采用成熟的技术,更低的成本、更高的业务效率,提供了完整的海量日志解决方案。排球视频在线直播

    [整理编辑:CK365测控网]
    标签:  计算机技术[1]    云计算[5]    数据中心[0]
     
    [ 论文搜索 ]  [ ]  [ 好友分享 ]  [ 打印本文 ]  [ 关闭窗口 ]  [ 返回顶部 ]

    版权与免责声明:

    ①凡本网注明"来源:CK365测控网"的所有作品,版权均属于CK365测控网,转载请必须注明CK365测控网 排球视频在线直播。违反者本网将追究相关法律责任。
    ②本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。
    ③如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

    注册成为CK365测控网会员

    可以无需任何费用浏览专业技术文章

     
     
    注册CK365测控网会员以便浏览全文
     
     
  • 回复@“老笑头”,共产主义需要分配生产资料应该是你做梦的时候梦到的吧!这除了让网友们笑掉大牙,还能有什么?你确实是让网友们看着就想笑!哈哈哈哈! 2019-09-16
  • 西部网(陕西新闻网)www.cnwest.com 2019-09-16
  • 杭州控烟令修改引争议 2019-08-29
  • 花几十万得来的“院子”不能装修 2019-08-29
  • 图解丨我国医疗技术和质量双提升 人民健康再添保障 2019-08-12
  • 日报告:全球核弹头数量约1.4万枚 中国有约270枚 2019-08-02
  • 雷政富狱中发声:否认漏罪举报 不服原判正申诉 2019-07-28
  • 伦敦一家酒店发生火灾 2019-07-28
  • 山西首届百名金牌导游大赛太原选拔赛3月8日鸣锣 2019-07-24
  • 货币政策取向仍以国内为主 2019-07-16
  • “自由画家”张碧晨:我的世界不只有黑白灰!张碧晨 2019-06-29
  • 对于党报当然要毫不质疑的宣传党的大政方针,这是论坛,讨论就是宣传,尽量做到以理服人 2019-06-25
  • 央行试点企业银行账户备案制 2019-06-25
  • 2016第十一届中国常州先进制造技术成果展示洽谈会——中国常州网专题 2019-06-22
  • 中国遥感卫星地面站成功接收高分六号卫星数据 2019-06-14
  • 干炮捕鱼电玩城 赌赛车有什么稳赢方法 南宁小姐上门保健按摩 三昇体育手机版 重庆时时号码网易 重庆时时彩最新开奖结果走势 时时十大信誉的平台 山西11选5开奖 湖北丨丨选5开奖结果 腾龙时时彩做号旧版本 山东时时官方 cba总决赛冠军 2016最新白菜网送彩金 黑龙江36选7中几个号有奖 重庆时时五星综合走势 k3k金蟾捕鱼手机版