python

超轻量级php框架startmvc

Python正则抓取新闻标题和链接的方法示例

更新时间:2020-04-29 14:54:01 作者:startmvc
本文实例讲述了Python正则抓取新闻标题和链接的方法。分享给大家供大家参考,具体如下:

本文实例讲述了Python正则抓取新闻标题和链接的方法。分享给大家供大家参考,具体如下:


#-*-coding:utf-8-*-
import re
from urllib import urlretrieve
from urllib import urlopen
#获取网页信息
doc = urlopen("http://www.itongji.cn/news/").read() #自己找的一个大数据的新闻网站
#抓取新闻标题和链接
def extract_title(info):
 pat = '<h3><a target=\"_blank\"(.*?)</a></h3>'
 title = re.findall(pat, info)
 titles='\n'.join(title)
 #print titles
#修改指定字符串
 titles1=titles.replace('class="title"','title')
 titles2=titles1.replace('>',':')
 titles3=titles2.replace('href','url:')
 titles4=titles3.replace('="/','"http://www.itongji.cn/')
#写入文件
 save=open('xinwen.txt','w')
 save.write(titles4)
 save.close()
titles = extract_title(doc)

PS:这里再为大家提供2款非常方便的正则表达式工具供大家参考使用:

JavaScript正则表达式在线测试工具: http://tools.jb51.net/regex/javascript

正则表达式在线生成工具: http://tools.jb51.net/regex/create_reg

Python 正则 抓取 新闻标题 链接