爱净意的个人技术博客
你的位置:爱净意»计算机»

[计算机]分享几个python小脚本

今天我想给大家分享几个python脚本,分别是:

1.公司访问外网认证脚本(最初有同事写过,我优化了一下)。

2.统计周报系统所有同事的最近一篇周报。

3.统计测试技术分享里指定一个月所有同事的文章数量。

4.统计bugzilla系统里所有的quips

这几个小脚本都是利用空闲时间,经过多次修改完成的。技术含量也不是特别高,主要是学以致用,因为光说不练假把式,只有在实践当中才能够真正的掌握知识点。实践是检验真理的唯一标准。

一、公司访问外网认证

在公司访问外网得需要认证,有时候不一定能够接触到浏览器,所以利用脚本认证上网还是很方便的。

优化功能:

1. 登录成功会有提示信息

2. 登录失败也会有提示信息,就是说可以捕捉异常

3. 有时候输入中文名字不方便,所以可以把名字提前输入脚本

4. 输入密码屏幕不可见,先前同事写的脚本是明文密码

源码:

#!/usr/bin/env python
#coding:utf-8

####################
#公司访问外网认证脚本
#update by kai.liang@i-soft.com.cn
###################

import urllib, urllib2, getpass

#name = raw_input('请输入用户名:')
name = '梁凯' # 在本行输入您的名字
url = 'http://172.16.1.3/webAuth/index.htm'

def auth():
	page = 0
	parameters = {'password':passwd,'pwd':passwd,'secret':'true','username':name} 
	#提交的数据参数
	data = urllib.urlencode(parameters)  #对参数进行编码
	req = urllib2.Request(url, data) #形成url请求
	try:
		response = urllib2.urlopen(req) #发送请求
		response = urllib2.urlopen(req) #发送请求
		page = response.read() #读取返回的页面
	except Exception, e:
		print '登录失败,请重新登录!' #修复HTTPError错误
	if page:
		if "认证成功" in page or "该IP已登录" in page:
			print '恭喜您,登录成功,您现在可以访问外网了!'
		else:
			print '账号或密码错误,请重新登录!'

if __name__ == '__main__':
	print "####################################"
	print "#公司访问外网认证脚本              #"
	print "#初次使用请将脚本12行替换为您的名字#"
	print "####################################"
	print '用户名:%s' %name
	passwd = getpass.getpass('请输入密码:')
	auth()

二、统计周报系统所有同事的最近一篇周报

本脚本可以把所有同事最近发布的一篇周报标题给抓取出来,这样可以知道哪些同事有没有更新周报了,嘿嘿。

这其实属于爬虫类型的脚本,使用urllib2模块抓取特定网页,然后使用re正则表达式模块进行过滤字符,把需要的信息给抓取出来。利用爬虫还可以批量下载图片。

上源码:

#!/usr/bin/python
#coding:utf-8

####################
#本文档爬取周报系统所有同事的最近一篇周报
#powered by: kai.liang@i-soft.com.cn
#date:20170224
#version:1.0
######################

import urllib2
import re                  #载入所需模块


class Bloglist():
    url='http://tfs.i-soft.com.cn/drupal/?q=blog/'  #周报系统日志网址的前缀

    def __init__(self, userid):
        self.url=Bloglist.url+str(userid)          #网址=网址前缀+用户id
    def getHtml(self):                             #获取网页内容
        try:
            html = urllib2.urlopen(self.url).read()
            return html
        except Exception, e:
            print 'url error!!'


    def getTitle(self):                          #应用正则表达式提取网页中的日志标题
	html=self.getHtml()
        reg = r'node/\d+">(.*\d{6}.*)'
        titlere = re.compile(reg)
        lines = html.split()
        m = re.search(titlere, html)
        titles = m.groups()
        title = ''.join(titles)
        return title
def main():
    """
    zhaopanpan:7
    lixiaoshuang:21
    huangjun:22
    wangjue:23
    liuke:24
    lipeng:28
    hanjingjing:30
    lixingfeng:41
    liuhui:42
    liangkai:43
    liulu:44
    zhaolili:45
    yaoxiangchuang:46
    liuchang:47
    liuchunyuan:48
    lufei:49
    liuyang:50
    chijianping:51
    
    """                  #每位用户的id
    users = [7,21,22,23,24,28,30,41,42,43,44,45,46,47,48,49,50,51]
    print '----------------------------'
    print '测试中心成员最近一篇周报'
    print '----------------------------'
    for i in users:
        userBlog = Bloglist(i)         #对象初始化
        title = userBlog.getTitle()    #使用对象方法
        print title  
    print '----------------------------'
  

if __name__== '__main__':
    main()

使用方法:./weekpaper-spider.py

[root@server49 pytest_20170309]# ./weekpaper-spider.py
----------------------------
测试中心成员最近一篇周报
----------------------------
测试个人周报20170331-赵盼盼
测试个人周报-20170331-李小双
测试个人周报-20170331-黄俊
测试个人周报-20170331-王珏
测试个人周报-20170331-刘柯
测试个人周报20170331-李鹏
测试个人周报20170331-韩晶晶
测试个人周报20170331-李兴峰
测试个人周报-20170331-刘辉
测试个人周报-20170331-梁凯
测试个人周报-20170331-刘璐
测试个人周报-20170331-赵丽丽
测试个人周报-20170331-姚翔川
测试个人周报-20170331-刘畅
测试个人周报-20170331-刘春媛
测试个人周报20170331-路斐
测试个人周报-20170407-刘杨
测试个人周报-20170331-迟健平
----------------------------

三、统计测试技术分享里指定一个月所有同事的文章数量

本脚本可以统计测试技术分享里指定一个月所有同事的文章数量,包括每位同事发布文章数量,转载和原创各自数量。还有总文章数量以及总转载和总原创数量。辨别是不是转载主要是看标题有没有“转载”或“转”的关键词,如果同事不写这个关键词的话只能认为是原创了。

最开始可以显示作者标题,看着乱我给去掉了。现在是直接屏幕输出,其实可以写入文本文件,或者制作成excel文件,当然得使用第三方模块才可以。

源码:

#!/usr/bin/python
#coding:utf-8

##################
#爬取测试技术分享里指定某一月所有同事的文章发布数量
#powered by: kai.liang@i-soft.com.cn
#date: 20170307
#version: 1.0
#################

import urllib2
import re
import sys    #载入网络、正则、系统的模块

try:
    month = sys.argv[1]      #运行脚本时传递的参数
except Exception as e:
    print '请输入参数,例如:'
    print '查询3月份的文章请输入:python blog-spider.py 03'
    exit() 
year = 2017                 #默认年份为2017,可以此处修改

class Bloglist():           #定义类,脚本的核心
    total_zhuan=0
    total_yuan=0
    total = 0
    urlHead = 'http://192.168.32.3/blog/?author=%s&&m=%s'
    def __init__(self, author, date='201703'):        #初始化参数
        self.url = self.urlHead %(author,date)
        self.zhuan = 0
        self.yuan = 0
    def getHtml(self):                             #获取网页文本
        html = urllib2.urlopen(self.url).read()
        return html
    def getTitle(self):                            #获取网页中某一作者的文章标题
        reg = r'"bookmark">(.*)'
        titlere = re.compile(reg)
        title = re.findall(titlere, self.getHtml())
        return title
    def count(self):                  #计算作者的文章数量,本打算输出文章标题
                                      #看着乱,就给注释掉了
	#print "文章标题:"
	#print "-----------------------------"
        for line in self.getTitle():
           # if '转载' or '(转)' in line:
            if '转载' in line or line[0:9]== '(转)':
                self.zhuan += 1
            else:
                self.yuan += 1
            #print line
	#print "-----------------------------"
	print "发布文章:" + str(self.zhuan+self.yuan) + "篇 ",
	print "转载:"+ str(self.zhuan) + "篇 " + "原创:" + str(self.yuan) + "篇"
	Bloglist.total_zhuan = Bloglist.total_zhuan + self.zhuan
	Bloglist.total_yuan = Bloglist.total_yuan + self.yuan
	Bloglist.total = Bloglist.total_zhuan + Bloglist.total_yuan
def author():
    date = str(year) + str(month)
    user = {2:'李  鹏', 3:'王  珏', 5:'黄  俊',6:'韩晶晶', 7:'李小双', 8:'赵盼盼', \
10:'刘  珂',11:'刘  辉', 12:'刘春媛', 13:'路  斐', 14:'梁  凯', 15:'李兴峰', 16:'刘  璐',\
 17:'姚翔川',18:'刘  畅', 19:'刘  杨', 20:'赵丽丽', 21:'迟建平'}
    #测试成员对应的id
    print "-------------------------------------------"
    print "2017年%s月份测试中心成员发布文章情况" %month
    print "-------------------------------------------"
    for i in user.keys():
        userPaper = Bloglist(i, date)     #成员对象的实例化
        print '%s' %user[i],
        userPaper.count()
    print "总计:%s篇,转载:%s篇,原创:%s篇" %(Bloglist.total, Bloglist.total_zhuan, Bloglist.total_yuan)
    print "-------------------------------------------"
    
if __name__ == '__main__':
    author()

使用方法:

./blog-spider.py 03 脚本后面加入月份,默认是年份是2017。
[root@server49 pytest_20170309]# ./blog-spider.py 03
-------------------------------------------
2017年03月份测试中心成员发布文章情况
-------------------------------------------
李  鹏 发布文章:3篇  转载:1篇 原创:2篇
王  珏 发布文章:2篇  转载:0篇 原创:2篇
黄  俊 发布文章:2篇  转载:1篇 原创:1篇
韩晶晶 发布文章:2篇  转载:1篇 原创:1篇
李小双 发布文章:1篇  转载:0篇 原创:1篇
赵盼盼 发布文章:3篇  转载:2篇 原创:1篇
刘  珂 发布文章:3篇  转载:0篇 原创:3篇
刘  辉 发布文章:3篇  转载:2篇 原创:1篇
刘春媛 发布文章:3篇  转载:2篇 原创:1篇
路  斐 发布文章:2篇  转载:1篇 原创:1篇
梁  凯 发布文章:3篇  转载:2篇 原创:1篇
李兴峰 发布文章:3篇  转载:1篇 原创:2篇
刘  璐 发布文章:3篇  转载:2篇 原创:1篇
姚翔川 发布文章:3篇  转载:2篇 原创:1篇
刘  畅 发布文章:3篇  转载:2篇 原创:1篇
刘  杨 发布文章:3篇  转载:2篇 原创:1篇
赵丽丽 发布文章:3篇  转载:1篇 原创:2篇
迟建平 发布文章:3篇  转载:2篇 原创:1篇
总计:48篇,转载:24篇,原创:24篇
-------------------------------------------

四、统计bugzilla系统里所有的quips

大家访问bugzilla时会看到很多好玩的句子,可是你有没有想过一共有多少个quips呢,如果是都抓取下来该如何去做呢?好,大家先不要参考下面的代码,自己去写写,然后跟我的对比一下,看看你到底比我强多少。

此处需等待10分钟……………………………………

好,相信大家都写完了。我们来分析一下,首先应该使用一个可以看到quips的地址,这个地址bug数量越少越好,减少载入时间呀。然后把所以网页内容抓取下来,分析quips的关键词,使用re模块的正则表达式过滤quips。因为每次显示的quips都是随机的,所以你得抓取足够多的次数才可以遍历整个quips的数据库,而且还会有重复,你得把重复的去掉。我选择获取100次quips,执行一遍可能不能遍历所有的数据,得运行几遍才可以。

我得到的结果是一共含有48个quips。

上源码:

#!/usr/bin/python
#coding:utf-8
import urllib2
import re
import os

#查看quips所使用的网址
url = "http://192.168.32.3/buglist.cgi?query_format=advanced&list_id=81057&short_desc=123&short_desc_type=allwordssubstr&product=smb_DEV"

def getquip():
	html = urllib2.urlopen(url).read()  #读取网页内容
	rules = r'"quips.cgi">(.*)'
	reg = re.compile(rules)
	quip = re.findall(reg,html)         #使用正则表达式提取quips字符
	quip = ''.join(quip) 
	#print quip
	q = open('quips.txt', 'r+')
	quips = q.read()
	q.close()                               #读取文件内容
	if quip not in quips:                   #如果获取的quip不在quips.txt文件里则写入文件
		f = open('quips.txt', 'a')
		f.write(quip)
		f.write('\n')
		f.close()
def isquips():
	if not os.path.isfile('quips.txt'):
		a = os.system('touch quips.txt')    #判断quips.txt是否存在,不存在就创建
if __name__ == "__main__":
	print "Getting quips, please waiting....."	
	isquips()
	for i in range(100):    #获取100个quips
		getquip()
	print "Getting quips completed, please look over the quips.txt."

使用方法:./bugQuips.py

[root@server49 pytest_20170309]# ./bugQuips.py
Getting quips, please waiting.....
Getting quips completed, please look over the quips.txt.
[root@server49 pytest]# cat quips.txt
水深火热~
骂程序员职业的人大都自己就是程序员。因为高水平的人不屑于骂,低水平的人不知道怎么骂
……于浩歌狂热之际中寒;于天上看见深渊。于一切眼中看见无所有;于无所希望中得救。……
质量即生命,责任重泰山
程序员都是好男人,因为他们一整天都在扪心自问:我到底错在哪了,让我知道,我一定改...
Fear can hold you prisoner. Hope can set you free.
再见,罗纳尔多!
过少的测试是一种不负责任,过多的测试是一种犯罪!
你是我们加班的罪魁祸首,坚决消灭你!!!!!!!!!!
很多程序员不知道格子衫有一个隐藏属性:穿上后遇到BUG的概率减少5%!
问君能有几多愁,恰似调完bug改需求!!!
平均每三个“屌丝”拥有一个女友(男友)
我们有理由相信计算机的世界没有诡异的事情,一定是自己犯了某个傻X的错误
"hello world" 就是罪魁祸首。不编程,何来bug!?!?
原谅我一生不羁放纵爱自由
若是黄艺博不娶林妙可,我就再也不相信爱情了……
一切罪恶BUG的根源都是“Hello,word!”
一切Bug都是纸老虎!你强他就弱!你弱他就强!在战略上藐视bug,在战术上重视bug!有木有?
北京人说,推开窗,咱就能闻到烟。上海人讲,这有啥,呵呵,打开自来水,咱就能喝到排骨汤。
所有的程序都有逻辑,所有的事物都有因果。
人生一梦,白云苍狗
the quieter you become,the more you are able to hear
爱他,就给他提bug;恨他,也给他提bug
神马bug,都是浮云
国家项目是学术腐败之源!
抗bug战争,漫长而艰难
谁也无法改变现状,唯有无数程序员血洒大地,才能使项目重建天日~
Jobs教主去了,改变世界的事就交给我们吧
^如今但愿关门睡,一任梅花任雪飞^
你若不离不弃,我必死无疑
人生三恨:一恨海棠无香,二恨鲥鱼多刺,三恨红楼梦未完
轻轻地我走了,正如我悄悄的来;我挥一挥衣袖,fix一片bug……
你若安好,便是晴天。
人生如梦亦如幻,朝如晨露暮如霞。
一个程序员看到bug后,如果第一反应是,这是硬件、库的问题,那么说看程序员入门
片云归洞非有意,我造Bug本无心
恨你在心口难开
满纸心酸泪。
不管你有多少经验,BUG一直跟着你
生命不息,测试不止
天下风云出我辈,一入江湖岁月催
成也bug,败也bug
皇图霸业谈笑中,不胜人生一场醉
不生不灭,不垢不净,不增不减
未来姗姗来迟,现在如箭飞逝
知识就是力量,一种让别人觉得自己很笨的力量。。。。
菩提本无树,明镜亦非台,本来无一物,何处惹尘埃。
道,生一一,生二二,生三三,生万物万物,附阴而抱阳,冲气以为和。

结语

直接复制网页的源码由于格式问题可能不能执行,建议wordpress上装个代码高亮显示的插件,那样查看代码就方便了。需要的童鞋去github上下载吧。

纸上得来终觉浅,觉知此事要躬行。看十行代码不如实实在在的敲一行代码。当你敲出来时才可以发现一些细节问题,才可以体会代码的精妙之处。很多同学都在学习编程,我认为还是应该多把书上的代码自己敲一遍,可能的话把学到的知识用于解决工作和生活中的问题。毕竟技术可以改变生活。学习——工作——再学习——再工作——能力提升。

Life is short, you need python

 

作者: kevin
« »
除非注明,爱净意文章均为原创,转载请以链接形式标明本文地址
本文地址:http://aijingyi.com/2017/05/02/%e5%88%86%e4%ba%ab%e5%87%a0%e4%b8%aapython%e5%b0%8f%e8%84%9a%e6%9c%ac/

欢迎您发表评论:

 站内搜索

邮件订阅  预览

点击这里给我发消息 点击这里给我发消息

友情链接(不分先后)

控制面板

图标汇集

  • 爱净意
  • 文章导航
© 2020 爱净意 版权所有
自豪地采用 WordPress | 使用仿月光博客主题 | 页面装载时间:0.530毫秒,40查询