使用python下载日志
第一步：主要是读取配置文件的内容，以及把各种数据存放到文件里#下载日志def down(): downloadfile=os.path.join(util.FileUtil.getconfig("info", "downloadfile"))#需要下载的文件列表 downloadpath=os.path.join(util.FileUtil.getconfig("info", "downloadpath")) logpath=os.path.join(util.FileUtil.getconfig("info", "logpath")) today=util.DateUtil.getYesterday(0)#今天 yesterday=util.DateUtil.getYesterday(1)#昨天# befor=util.DateUtil.getYesterday(2)#前天 successdownlog=os.path.join(logpath,"dwonsuccess"+str(today)+".txt")#记录下载成功的文件 successdownfile=os.path.join(logpath,"dwonsuccess"+str(yesterday)+".txt")#记录下载成功的文件 #错误日志按时间进行区分,这个采用哪中方法需要订策略 #beforlog=os.path.join(logpath,str(befor)+"downerror.txt")#前天的日志错误下载列表，主要是读取 #yesterdaylog=os.path.join(logpath,str(yesterday)+"downerror.txt")#昨天的日志错误下载列表，主要是写入 # downlist=getDownloadList(downloadfile,beforlog,successdownfile)#把前天下载错误的日志和昨天需要下载的日志进行合并 # for li in downlist:# wgetFile(li,downloadpath,successdownfile,yesterdaylog) errorlog=os.path.join(logpath,"downerror.txt")#下载的错误日志 #下载地址列表 downlist=getDownloadList(downloadfile,errorlog,successdownfile,successdownlog) for li in downlist: wgetFile(li,downloadpath,successdownlog,errorlog)
第二步：通过各个文件里获取需要下载的列表
#获取下载列表#downfile是下载文件的列表#errordownfile错误日志#successdownfile下载成功的记录#successdownlog 当天下载成功的记录，当停止再执行时不会重复下载已经成功的日志#print getDownloadList("c:\\ip.txt","c:\\ip1.txt")def getDownloadList(downfile,errordownfile,successdownfile,successdownlog): #从配置的文件里获取下载列表 li=util.FileUtil.readfiletolist(downfile) #从错误的下载文件里获取下载列表 errorli=util.FileUtil.readfiletolist(errordownfile) #成功的下载列表 successli=util.FileUtil.readfiletolist(successdownfile) #成功的下载列表 todaysuccessli=util.FileUtil.readfiletolist(successdownlog) #更新错误的下载列表文件 util.FileUtil.coverLine(errordownfile, errorli, successli) util.FileUtil.coverLine(errordownfile, errorli, todaysuccessli) #合并下载列表的文件以及下载错误的文件里的列表 ret=[] map={} for line in li: map=line ret.append(line) for line in errorli: if line in map.keys(): pass else: map=line ret.append(line) for line in successli: if line in map.keys(): del(map) ret.remove(line) else: pass for line in todaysuccessli: if line in map.keys(): del(map) ret.remove(line) else: pass return ret;
第三步:下载日志的函数（通过wget下载，需要把wget.exe复制到目录下）：
#下载文件#wgetFile('http://localhost/test/1.zip','c:\\','log.zip')def wgetFile(url,path,successdowloadfile,errordowloadfile): """ 下载url指定的网络资源对象 return result 0 成功 1 wget error, 2 User interrupt, 3 Execution failed """ filename=util.FileUtil.getFileNameByUrl(url) #-t2试两次；-c是继续,相当于断点续传；-o是输出到wget.log日志中；-T是timeout，超时时间；--waitretry 等待5m检索 #-U参数还不是很清楚；-O是把url下载了放到那个目录下并重新命名。 cmd='wget -t2 -c -o wget.log -T2 --waitretry=5 -U downyclog -O '+path+filename+' '+url+'' try: retcode = subprocess.call(cmd, shell = True) #os.system(cmd) print url,"wget return code:",retcode if retcode!=0 : print "\nFailed" util.FileUtil.appendfile(errordowloadfile, url+"\n") return 1 else: util.FileUtil.appendfile(successdowloadfile, url+"\n") except KeyboardInterrupt,e: print >>sys.stderr, "User Interrupt!",e util.FileUtil.appendfile(errordowloadfile, url+"\n") return 2 except OSError,e: print >>sys.stderr, "Execution failed!",e util.FileUtil.appendfile(errordowloadfile, url+"\n") return 3 print "\tOK" return 0
附件为在myeclipce下建的python项目，程序里只是进行了日志的下载以及解压缩的处理，并没有对日志进行解析，用python只能把原始数据导入到数据库中，在数据库中进行聚合的操作，具有一些局限性，对于url进行统计的数据可以实现，但对于log4j进行统计的数据比较困难，例如;对access日志可以用python进行解析，把url按参数解析为一些字段，这个需要看具体的业务逻辑，比较重要的参数需要放到单独的字段中进行统计，这样可以加快数据库的运算，当然数据量比较大的话最好是一天一个表。对于广告日志使用python做解析并不太合适，主要是一个广告的属性比较多，需要统计的比较杂，这个需要看需求，用python实现比较麻烦一些。
日志解析可以使用c语言来做，这样应该可以提高整体的效率，可能存在的瓶颈一是在数据库，二是在解析日志，三是下载。数据库的优化不是很懂，知道的有分表，索引之类的优化；
下载和网速有关系，这个一般在内网，因此这里应该不会有问题；最后在解析日志这里，使用不同的语言会有比较大的差异，主要是和各种语言的执行速度有关系，知道的c语言应该是特别快的一种吧。
页:
[1]