想用Python语言完成日志分析工作,请问这样的程序思路是什么?
近期想做一个分析小软件是关于分析日志文件的,当然是用python了,但是捉摸了好久没有太多的思路,希望各位给我一些建议,我该如何分析这个日志。
日志的源文件是类似这样的
$DEBUG 2014-06-24 14:30:01.331@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]
$ INFO 2014-06-24 14:30:01.332@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][298]解析后,收到UI命令码为[ 3000 ]
$ INFO 2014-06-24 14:30:01.332@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][327]界面消息:[ 业务START ]消息。
$DEBUG 2014-06-24 14:30:01.332@00000000@0000@[InitUITicketSinglePriceInfo][558]乘客选择价: [ 200 ]
.................由于日志文件行数太多中间这部分我就省略了..........................
.................由于日志文件行数太多中间这部分我就省略了..........................
.................由于日志文件行数太多中间这部分我就省略了..........................
$DEBUG 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/businessInterfaceBase/BusinessInterfaceUIBase.cpp][72] 发送售卡结果URL,售卡结果[0]出数量[1]找零金额[800]
$DEBUG 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/businessInterfaceBase/BusinessInterfaceUIBase.cpp][79] 发送售卡结果URL[file:///Afc/Run/tvm_ui/response.html?action=3010&errorcode=0&outticket=1&changesum=800]
$ INFO 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][251]内队列消息[ 确定处理消息 ]处理完成。
每一个乘客在购的时候,系统会在日志文件中记录收到乘客操作指令,就是日志文件中的这一行
$DEBUG 2014-06-24 14:30:01.331@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]
也就代表着一笔交易的START
当一笔交易结束后程序会在日志文件中添加这样一行记录作为一笔交易的结束日志
$ INFO 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][251]内队列消息[ 确定处理消息 ]处理完成。
我现在想的是如何利用python将日志文件中 每一笔完整的交易日志(不是每一行)单独提取出来以后,进行逐行分析,但是有一个关键点,也是为什么要做这个日志分析软件的原因就是这个系统可能存在bug,导致进程之间通信中断,直接导致某一笔交易日志残缺不全,也就是说很可能日志文件中某一笔交易没有“内队列消息[ 确定处理消息 ]处理完成”这一行或者这一行以上的若干行,那在如何读取一笔完整交易日志记录的时候就存在问题了,如何能实现在提取日志文件中
[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]
有这样字样的记录到下一次再次出现这条记录中间的部分 就可以理解为是一笔交易记录。
代码的逻辑这块没啥太好的思路希望各位给我一些好的思路。
提示:日志文件是每10MB一个,当日志文件容量达到10MB以后就自动生成下一个日志文件,tvmticket.log、tvmticket.log.1、tvmticket.log.2、tvmticket.log.3,数字越大的日志记录时间越靠前,如果想合并出一个完整的日志文件先要读取tvmticket.log.3然后tvmticket.log.2、tvmticket.log.1、tvmticket.log。
我不知道代码要什么逻辑,我看你说的挺清晰的,是在问代码怎么实现? 解决你的问题 我几行代码解决。
大概代码
a = log3 + log2 +log1
print re.findall('.+收到界面Url[\s\S]+?处理完成。', a) #得到每笔的log, 如果不全 你可以再对它检验
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13749.html
相关文章 Recommend
- • 2019年3月最新消息: Python 3.4.10 现已推出
- • [上海]招Python量化系统开发工程师
- • 优集品网络科技有限公司招Python中/高级工程师
- • 爱因互动科技发展有限公司招募Python开发攻城狮
- • mozio招聘Python/Django工程师
- • Kavout金融科技公司招Python研发工程师
- • Python数组逆向输出,编程练习题实例四十
- • Python数组插入排序,编程练习题实例三十九
- • Python矩阵for循环应用,编程练习题实例三十八
- • Python操作Redis数据库方面的问题
- • 请python高手帮我看看这段python代码中函数setter的
- • Python什么方法可以快速将两个队列变成字典
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • django app提供pv信息的方法是什么
- • Django项目版本升级如何操作?
- • django较多数据传递如何优雅的呈现
- • django1.7获取参数问题求助
- • Django1.7使用内置comment遇到问题
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
图文精华 RECOMMEND
-
django1.7获取参数问题求助
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问