使用python下载日志

canofy

第一步：主要是读取配置文件的内容，以及把各种数据存放到文件里
#下载日志def down():    downloadfile=os.path.join(util.FileUtil.getconfig("info", "downloadfile"))#需要下载的文件列表    downloadpath=os.path.join(util.FileUtil.getconfig("info", "downloadpath"))    logpath=os.path.join(util.FileUtil.getconfig("info", "logpath"))    today=util.DateUtil.getYesterday(0)#今天    yesterday=util.DateUtil.getYesterday(1)#昨天#    befor=util.DateUtil.getYesterday(2)#前天       successdownlog=os.path.join(logpath,"dwonsuccess"+str(today)+".txt")#记录下载成功的文件     successdownfile=os.path.join(logpath,"dwonsuccess"+str(yesterday)+".txt")#记录下载成功的文件        #错误日志按时间进行区分,这个采用哪中方法需要订策略    #beforlog=os.path.join(logpath,str(befor)+"downerror.txt")#前天的日志错误下载列表，主要是读取    #yesterdaylog=os.path.join(logpath,str(yesterday)+"downerror.txt")#昨天的日志错误下载列表，主要是写入     #    downlist=getDownloadList(downloadfile,beforlog,successdownfile)#把前天下载错误的日志和昨天需要下载的日志进行合并    #    for li in downlist:#        wgetFile(li,downloadpath,successdownfile,yesterdaylog)    errorlog=os.path.join(logpath,"downerror.txt")#下载的错误日志    #下载地址列表    downlist=getDownloadList(downloadfile,errorlog,successdownfile,successdownlog)    for li in downlist:        wgetFile(li,downloadpath,successdownlog,errorlog)
第二步：通过各个文件里获取需要下载的列表
#获取下载列表#downfile是下载文件的列表#errordownfile错误日志#successdownfile下载成功的记录#successdownlog 当天下载成功的记录，当停止再执行时不会重复下载已经成功的日志#print getDownloadList("c:\\ip.txt","c:\\ip1.txt")def getDownloadList(downfile,errordownfile,successdownfile,successdownlog):    #从配置的文件里获取下载列表    li=util.FileUtil.readfiletolist(downfile)    #从错误的下载文件里获取下载列表    errorli=util.FileUtil.readfiletolist(errordownfile)    #成功的下载列表    successli=util.FileUtil.readfiletolist(successdownfile)    #成功的下载列表    todaysuccessli=util.FileUtil.readfiletolist(successdownlog)    #更新错误的下载列表文件    util.FileUtil.coverLine(errordownfile, errorli, successli)    util.FileUtil.coverLine(errordownfile, errorli, todaysuccessli)    #合并下载列表的文件以及下载错误的文件里的列表    ret=[]    map={}    for line in li:        map[line]=line        ret.append(line)    for line in errorli:        if line in map.keys():            pass                   else:            map[line]=line            ret.append(line)    for line in successli:        if line in map.keys():            del(map[line])            ret.remove(line)        else:            pass    for line in todaysuccessli:        if line in map.keys():            del(map[line])            ret.remove(line)        else:            pass    return ret;

第三步:下载日志的函数（通过wget下载，需要把wget.exe复制到目录下）：
#下载文件#wgetFile('http://localhost/test/1.zip','c:\\','log.zip')def wgetFile(url,path,successdowloadfile,errordowloadfile):    """     下载url指定的网络资源对象    return result    0 成功    1 wget error, 2 User interrupt, 3 Execution failed        """    filename=util.FileUtil.getFileNameByUrl(url)    #-t2试两次；-c是继续,相当于断点续传；-o是输出到wget.log日志中；-T是timeout，超时时间；--waitretry 等待5m检索    #-U参数还不是很清楚；-O是把url下载了放到那个目录下并重新命名。    cmd='wget -t2 -c -o wget.log -T2 --waitretry=5 -U downyclog -O '+path+filename+' '+url+''    try:        retcode = subprocess.call(cmd, shell = True)        #os.system(cmd)        print url,"wget return code:",retcode        if retcode!=0 :            print "\nFailed"            util.FileUtil.appendfile(errordowloadfile, url+"\n")            return 1        else:            util.FileUtil.appendfile(successdowloadfile, url+"\n")    except KeyboardInterrupt,e:        print >>sys.stderr, "User Interrupt!",e        util.FileUtil.appendfile(errordowloadfile, url+"\n")        return 2    except OSError,e:        print >>sys.stderr, "Execution failed!",e        util.FileUtil.appendfile(errordowloadfile, url+"\n")        return 3        print "\tOK"    return 0

附件为在myeclipce下建的python项目，程序里只是进行了日志的下载以及解压缩的处理，并没有对日志进行解析，用python只能把原始数据导入到数据库中，在数据库中进行聚合的操作，具有一些局限性，对于url进行统计的数据可以实现，但对于log4j进行统计的数据比较困难，例如;对access日志可以用python进行解析，把url按参数解析为一些字段，这个需要看具体的业务逻辑，比较重要的参数需要放到单独的字段中进行统计，这样可以加快数据库的运算，当然数据量比较大的话最好是一天一个表。对于广告日志使用python做解析并不太合适，主要是一个广告的属性比较多，需要统计的比较杂，这个需要看需求，用python实现比较麻烦一些。
日志解析可以使用c语言来做，这样应该可以提高整体的效率，可能存在的瓶颈一是在数据库，二是在解析日志，三是下载。数据库的优化不是很懂，知道的有分表，索引之类的优化；
下载和网速有关系，这个一般在内网，因此这里应该不会有问题；最后在解析日志这里，使用不同的语言会有比较大的差异，主要是和各种语言的执行速度有关系，知道的c语言应该是特别快的一种吧。