淮南专业网站建设,网站建设者,网站内容创造,上海浦东哪里有做网站的公司日志系统设计 2009-12-11 00:46:58| 分类#xff1a; 技术 | 标签#xff1a; |字号大中小 订阅 一、重要性日志系统在整个系统架构中的重要性可以称得上基础的基础#xff0c;但是这一点#xff0c;都容易被大多数人所忽视。因为日志在很多人看来只是printf。在系…日志系统设计   2009-12-11 00:46:58|  分类 技术 |  标签 |字号大中小 订阅 一、重要性 日志系统在整个系统架构中的重要性可以称得上基础的基础但是这一点都容易被大多数人所忽视。因为日志在很多人看来只是printf。在系统运行期间是很难step by step的所以只能根据系统的运行轨迹来推断错误出现的位置这往往也是唯一的资料特别是在高可靠性的情况下。 从更大方面的范围来说日志系统是运营维护的范畴。但小的方面来说这是必须的调试的手段。在多年的开发经验来看日志系统必须被我们重视的。 二、解决问题 日志系统的主要解决的问题是记录系统的运行轨迹在这个基础上进行跟踪分析错误审计系统运行流程。在高可靠的系统中是不允许系统运行终止的。日志系统的内容可以分为2类一类可是业务级别的日志主要供终端用户来分析他们业务过程另一类是系统级别的日志供开发者维护系统的稳定。 由于日志系统的数据输出量比较大所以不能不考虑对整个系统性能的影响。从另外一方面来看海量的日志内容有时候并不件好事因为很容易覆盖真实问题的蛛丝马迹。也增加日志阅读者信息检索的困难。 日志系统的设计必须解决几个问题 1、使用方便包括开发和信息检索。 2、组织合理日志内容被有效的组织起来。有助于基于日志内容的分析。 3、过程重现这个目标其实对开发者来说是最重要的。基于日志的分析最重要的是重现当时运行的过程。 4、可控制性允许用户进行干预特别是运行期的干预。比如关闭某些内容或者重定向内容的输入目标点。 三、系统构成 一个日志系统根据他的过程可以分为日志来源系统控制日志输出【日志存储】。根据这个过程我们可以将整个系统分为4个模块并加以抽象。 1、日志来源 日志内容可以来源于任何其他系统但对日志系统来说这是个格式化的缓冲区。对于日志系统来说任何内容都是合法的。最重要的是日志系统必须提供一个简单的规则为后续的管理和检索提供方便性和灵活性。在传统的printf格式中是很难维护一个格式化的日志输出。文本方式对人来说阅读方便但不容易检索特别是在大量日志的情况下更不好维护了。 2、日志控制 系统控制的重点在于控制日志内容在日志系统中的流转过程。比如日志输出目的地比如日志的输出级别。我们在apache的Logging项目中曾经看到他们提供了一个和平时不太一样的输出目的地telnet。这和传统的stdout、stderr、syslog有很大的区别便于远程管理更大的潜力在于可以在运行期通过登录telnet来动态调整系统环境配置。 3、日志输出 日志在控制台输出是比较常见的但如何考虑为系统的可靠性提供支持以及大量日志内容的情况下这个一般不予考虑的。在控制台输出的只会是非常核心的内容或者是致命的错误况且在有些情况下不一样会有控制台。我们一般在这种情况下都倾向于将日志输出到文件。但对一个完善的日志系统日志输出和日志存储又是有区别的。日志存储是日志输出到文件的一种方式。日志输出也是日志控制的一个内容。 4、日志存储 日志存储在很多小型系统往往并不需要关注一个可靠性要求很高的系统中对日志存储却是极为苛刻。就是在现在的数据库系统中也必须依赖日志的存在来还原操作。 四、日志内容 1、内容分级 在LINUX的SYSLOG中对日志内容进行分级将分为8个级别如下 #define LOG_EMERG 0 /* system is unusable */ #define LOG_ALERT 1 /* action must be taken immediately */ #define LOG_CRIT 2 /* critical conditions */ #define LOG_ERR 3 /* error conditions */ #define LOG_WARNING 4 /* warning conditions */ #define LOG_NOTICE 5 /* normal but significant condition */ #define LOG_INFO 6 /* informational */ #define LOG_DEBUG 7 /* debug-level messages */ 这样我们只需要设置一个全局变量监控日志内容输出级别。当产生日志内容的级别比输出级别更优先时将被记录下来否则被简单的忽略。这种方式很容易控制日志的输出内容。在WIN32平台下有分类的功能但是没有分级。但实际上也有个问题就是只能控制一个输出范围如果想只输出特定类的日志内容在策略上还是比较麻烦的。 2、内容分类 在LINUX的SYSLOG中不但对日志内容有分级同样也有分类主要是根据日志内容的来源如下 #define LOG_KERN (03) /* kernel messages */ #define LOG_USER (13) /* random user-level messages */ #define LOG_MAIL (23) /* mail system */ #define LOG_DAEMON (33) /* system daemons */ #define LOG_AUTH (43) /* security/authorization messages */ #define LOG_SYSLOG (53) /* messages generated internally by syslogd */ #define LOG_LPR (63) /* line printer subsystem */ #define LOG_NEWS (73) /* network news subsystem */ #define LOG_UUCP (83) /* UUCP subsystem */ #define LOG_CRON (93) /* clock daemon */ #define LOG_AUTHPRIV (103) /* security/authorization messages (private) */ #define LOG_FTP (113) /* ftp daemon */ 在WIN32平台下的事件管理器也是有相应的功能只是有部分区别。WIN32的系统日志被分为安全性、应用程序、系统等几类。每类都有几个固定的字段日志内容是以文本方式被保存的。分类的主要依据也是日志内容的来源。 3、内容格式 虽然内容的分级和分类在很大的程度上对日志内容进行归类但这远远不够。这个规则的粒度相当粗糙。也就是说针对特定级别特定类的日志内容也会是相当地庞大。因此有必要针对日志内容在更小粒度的划分就是内容格式的设计。内容格式的设计上有个很致命的问题就是内容的多样性很难用一个统一的格式来限定内容输出。对于动态内容的格式话其实我们也有几个现成方案值得借鉴。 首先、XML在格式化多样性内容方面具有相当大的灵活性不过他也有个致命的弱点就是解析内容时具有相当大的时间复杂度。 其实、TDS协议是SYBASE数据库在输出DBMS结果给客户端时数据流的格式。他允许在一个流中存在不同类表的数据比如多个不同结果字段的游标。在灵活性方面不如XML但速度要快于XML。 最后、每个内容块都遵循同样的格式这种方式灵活性最差但要简单多了。整个日志内容相当于一个固定结构的表。 从笔者的角度出发倾向于以TDS的格式为基础引进XML的某些特性来设计出一个内容格式。 4、内容边界 日志系统可能需要将各种各种格式的日志内容统一存储在一起这些内容同样可能是不同的大小因此我们需要确认每个内容边界否则极有可能混淆每个内容的确切内容。内容边界是日志系统设计的一个最基本细节否则这个日志系统将是不可能。没法确切区分每个日志内容后续的分析就没法是实现了。内容边界的设计在日志存储系统之前就必须是明确的。 五、日志控制 1、控制目标 日志系统要控制的目标包含整个日志内容流转的过程。对日志来源的控制一般着重于对日志内容的过滤。上面对内容进行分级、分类、制定格式一个最重要的原因就是对日志内容的过滤。对日志输出控制主要着重于输出目的比如是文件还是SYSLOG以及诸如此类。 日志控制是日志内容流转过程中的一个强化功能。一般来说越多的日志内容对系统跟踪分析更有利但更多的内容就越增加分析的难度。所以我们需要通过日志控制这个功能来进行平衡。 2、来源控制 一个最明显的例子为了方便调试可能需要在系统中增加调试信息在正在发布中这些是不需要。所以在很多系统发布版本中都要区分发布版和调试版。如果增加了来源控制系统那么这些事情就简单多了。我们只要将这些信息简单地分级分类。通过一个逻辑控制将不需要的给过滤掉。前面的分级分类的工作在这个时候就会发挥很大的作用。 在wireshark原来的ethereal允许自己编辑过滤条件。POSIX的正则表达式也是个很好的设置过滤条件工具。过滤是来源控制功能的一个很重要的工作。实际上内容在来源上已经产生只是没有到达或者说没有必要到达到输出目的地。 3、输出控制 输出控制是日志控制的一个重要工作但是这个工作和日志输出会有个概念重合的地方。控制只是负责按规则解释这个内容究竟是否需要输出至于输出的具体内容其实和他已经没有什么关系了。 六、日志输出 日志输出有两个重点功能就是输出什么样以及往哪里输出。 1、输出格式 输出格式是解释内容是什么样的工作printf的格式串是很明显的例子。但是一个强大的日志系统可能更为复杂比如DBMS的日志系统。格式问题往往在日志检索中或者日志分析中体现出巨大的作用。在通常的使用中还是要依赖于分级和分类。不过格式的使用针对日志内容级别的检索和分析将更为有用。 2、输出目标 输出目标通常为文件控制台syslog在apache logging项目中还有个telnet。在文件和syslog作为输出目标时其实和存储已经很相似了。往哪个目标输出是输出控制的功能不过每个目标输出内容应该如何输出就是日志输出的工作了。 3、telnet telnet作为输出目标是很少见因为他比较复杂不过因为他功能强大所以在大型服务器中是非常需要的。在这里必须着重提醒一下。apache logging项目专门有个功能。telnet配合日志控制允许在运行期得到更为详细的功能供调试。这是个很重要的特性他提供了在运行期和系统进行交互的一个手段。 七、日志存储 日志存储其实是日志输出的一部分不过是日志输出中一个很特别的部分。日志输出可能没有IO操作只在内存中完成操作但是日志存储是必须存储到物理磁盘中。这个特性就会涉及到一个效率问题。我们知道IO操作和内存操作的性能级别不是一个数量级的。当日志系统涉及到存储时就必须考虑到性能问题。当大量的数据频繁地被写入到磁盘中性能问题就更为严重。必须采取更有效的措施来避免写盘操作对其他系统的影响。 原文转自http://blog.csdn.net/romandion/archive/2007/11/10/1877189.aspx