正则表达式
|
1,601
|
0
|
python,spider

2511 字
|
10 分钟
本文最后更新于 1149 天前，其中的信息可能已经有所发展或是发生改变。

1. 匹配规则汇总表

|   模式   | 描述 |
| :------: | :---------------------------: |
|    \w    |                     匹配字母数字及下划线                     |
|    \W    |                    匹配非字母数字及下划线                    |
|    \s    |            匹配任意空白字符，等价于 `[\t\n\r\f]`             |
|    \S    |                       匹配任意非空字符                       |
|    \d    |                 匹配任意数字，等价于 `[0-9]`                 |
|    \D    |                        匹配任意非数字                        |
|    \A    |                        匹配字符串开始                        |
|    \Z    |  匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串  |
|    \z    |                        匹配字符串结束                        |
|    \G    |                    匹配最后匹配完成的位置                    |
|    \n    |                        匹配一个换行符                        |
|    \t    |                        匹配一个制表符                        |
|    ^     |                       匹配字符串的开头                       |
|    $     |                       匹配字符串的末尾                       |
|    .     | 匹配任意字符，除了换行符，当 `re.DOTALL` 标记被指定时，则可以匹配包括换行符的任意字符 |
|  [...]   |    用来表示一组字符，单独列出：`[amk]` 匹配 'a'，'m' 或 'k'    |
|  [^...]  |      不在 `[]` 中的字符：abc 匹配除了 a,b,c 之外的字符。       |
|    *     |                  匹配 0 个或多个的表达式。                   |
|    +     |                  匹配 1 个或多个的表达式。                   |
|    ?     |   匹配 0 个或 1 个由前面的正则表达式定义的片段，非贪婪方式   |
|   {n}    |                  精确匹配 n 个前面表达式。                   |
|  {n, m}  |     匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式     |
| a|b |                         匹配 a 或 b                   |
|   ( )    |               匹配括号内的表达式，也表示一个组               |

2. re.match()

match() 方法是从字符串的开头开始匹配，一旦开头不匹配，那么整个匹配就失败了。

2.1 例子

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}', content)
print('result: ', result)
print('result.group(): ', result.group())
print('result.span(): ', result.span())

41
result:  <_sre.SRE_Match object; span=(0, 25), match='Hello 123 4567 World_This'>
result.group():  Hello 123 4567 World_This
result.span():  (0, 25)

此例正则表达式:

^Hello\s\d\d\d\s\d{4}\s\w{10}

解析:

以Hello开头，然后 \s 匹配空白字符，用来匹配目标字符串的空格，\d 匹配数字，3 个 \d 匹配 123，然后再写 1 个 \s 匹配空格，后面还有 4567，我们其实可以依然用 4 个 \d 来匹配，但是这么写起来比较繁琐，所以在后面可以跟 {4} 代表匹配前面的规则 4 次，也就是匹配 4 个数字，这样也可以完成匹配，然后后面再紧接 1 个空白字符，然后 \w{10} 匹配 10 个字母及下划线，正则表达式到此为止就结束了，我们注意到其实并没有把目标字符串匹配完，不过这样依然可以进行匹配，只不过匹配结果短一点而已。

match()

match() 方法，第一个参数传入了正则表达式，第二个参数传入了要匹配的字符串。
打印输出一下结果，可以看到结果是 SRE_Match 对象，证明成功匹配，它有两个方法，group() 方法可以输出匹配到的内容，结果是 Hello 123 4567 World_This，这恰好是我们正则表达式规则所匹配的内容，span() 方法可以输出匹配的范围，结果是 (0, 25)，这个就是匹配到的结果字符串在原字符串中的位置范围。

2.2 匹配目标例子

match() 方法从一段文本中提取出邮件或电话号等内容

import re

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld', content)
print('result: ', result)
print('result.group(): ', result.group())
print('result.group(1): ', result.group(1))
print('result.span(): ', result.span())

result:  <_sre.SRE_Match object; span=(0, 19), match='Hello 1234567 World'>
result.group():  Hello 1234567 World
result.group(1):  1234567
result.span():  (0, 19)

可以看到在结果中成功得到了 1234567，我们获取用的是group(1)，与 group() 有所不同，group() 会输出完整的匹配结果，而 group(1) 会输出第一个被 () 包围的匹配结果，假如正则表达式后面还有 () 包括的内容，那么我们可以依次用 group(2)、group(3) 等来依次获取。

2.3 通用匹配: .*

.* (点星): .（点）可以匹配任意字符（除换行符），*（星） 又代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意的字符了

import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello.*Demo$', content)
print(result)
print(result.group())
print(result.span())

<_sre.SRE_Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>
Hello 123 4567 World_This is a Regex Demo
(0, 41)

将中间的部分直接省略，全部用 .* 来代替，最后加一个结尾字符串就好了

2.4 贪婪与非贪婪

在使用上面的通用匹配 .* 的时候可能我们有时候匹配到的并不是想要的结果, 如下面例子:

import re

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$', content)
print('result: ', result)
print('result.group(1): ', result.group(1))

result:  <_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
result.group(1):  7

想获取中间的数字，所以中间我们依然写的是 (\d+)，数字两侧由于内容比较杂乱，所以两侧我们想省略来写，都写 .，最后组成 ^He.(\d+).*Demo$，看样子并没有什么问题，但是结果却只匹配到了一个数字7。

这里就涉及一个贪婪匹配与非贪婪匹配:

  • 贪婪匹配下，.* 会匹配尽可能多的字符，我们的正则表达式中 .* 后面是 \d+，也就是至少一个数字，并没有指定具体多少个数字，所以 .* 就尽可能匹配多的字符，所以它把 123456 也匹配了，给 \d+ 留下一个可满足条件的数字 7，所以 \d+ 得到的内容就只有数字 7 了。
    但这样很明显会给我们的匹配带来很大的不便，有时候匹配结果会莫名其妙少了一部分内容。其实这里我们只需要使用非贪婪匹配匹配就好了，
  • 非贪婪匹配的写法是 .*?。示例如下：
import re

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)
print('result: ', result)
print('result.group(1): ', result.group(1))

result:  <_sre.SRE_Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
result.group(1):  1234567

在这里我们只是将第一个 .* 改成了 .*?，转变为非贪婪匹配结果就理想了。
原因可想而知，贪婪匹配是尽可能匹配多的字符，非贪婪匹配就是尽可能匹配少的字符，.*? 之后是 \d+ 用来匹配数字，当 .*? 匹配到 Hello 后面的空白字符的时候，再往后的字符就是数字了，而 \d+ 恰好可以匹配，那么这里 .*? 就不再进行匹配，交给 \d+ 去匹配后面的数字。所以这样，.*? 匹配了尽可能少的字符，\d+ 的结果就是 1234567 了。

所以说，在做匹配的时候，字符串中间我们可以尽量使用非贪婪匹配来匹配，也就是用 .? 来代替 .，以免出现匹配结果缺失的情况。

但这里注意，如果匹配的结果在字符串结尾，.*? 就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符，例如：

import re

content = 'http://weibo.com/comment/kEraCN'
result1 = re.match('http.*?comment/(.*?)', content)
result2 = re.match('http.*?comment/(.*)', content)
print('result1', result1.group(1))
print('result2', result2.group(1))

result1 
result2 kEraCN

2.5 修饰符

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。
例子:

import re

content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$', content)
print(result.group(1))

------------------------------------------------------------------

AttributeError    Traceback (most recent call last)

<ipython-input-11-8aafafca5161> in <module>()
      5 '''
      6 result = re.match('^He.*?(\d+).*?Demo$', content)
----> 7 print(result.group(1))
AttributeError: 'NoneType' object has no attribute 'group'

和上面的例子相仿，我们在字符串中加了个换行符，正则表达式也是一样的来匹配其中的数字，但运行结果就会报错：
正则表达式没有匹配到这个字符串，返回结果为 None，
而我们又调用了 group() 方法所以导致AttributeError。
那我们加了一个换行符为什么就匹配不到了呢？是因为 . 匹配的是除换行符之外的任意字符，当遇到换行符时，.*? 就不能匹配了，所以导致匹配失败。

想要修正这个错误就需要加入修饰符re.S

import re

content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$', content, re.S)
print(result.group(1))

1234567

在 match() 方法的第三个参数传入 re.S，它的作用是使 . 匹配包括换行符在内的所有字符。

这个 re.S 在网页匹配中会经常用到，因为 HTML 节点经常会有换行，加上它我们就可以匹配节点与节点之间的换行了。

修饰符汇总表

修饰符 描述
re.I 使匹配对大小写不敏感
re.L 做本地化识别（locale-aware）匹配
re.M 多行匹配，影响 ^ 和 $
re.S 使 . 匹配包括换行在内的所有字符
re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

在网页匹配中较为常用的为 re.S、re.I。

2.6 转义匹配

. 匹配除换行符以外的任意字符，但是如果目标字符串里面它就包含 . ，此时就需要转义匹配，加字符前加\（反斜杠即可）

import re

content = '(百度)www.baidu.com'
result = re.match('\(百度\)www\.baidu\.com', content)
print('result: ', result)

result:  <_sre.SRE_Match object; span=(0, 17), match='(百度)www.baidu.com'>

3. re.search()

search()，它在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果

match() 方法是从字符串的开头开始匹配，一旦开头不匹配，那么整个匹配就失败了。
我们看下面的例子：

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)
print(result)

None

在这里我们有一个字符串，它是以 Extra 开头的，但是正则表达式我们是以 Hello 开头的，整个正则表达式是字符串的一部分，但是这样匹配是失败的，也就是说只要第一个字符不匹配整个匹配就不能成功

所以 match() 方法在我们在使用的时候需要考虑到开头的内容，所以在做匹配的时候并不那么方便，它适合来检测某个字符串是否符合某个正则表达式的规则。

所以在这里就有另外一个方法 search()，它在匹配时会扫描整个字符串，然后返回第一个成功匹配的结果，也就是说，正则表达式可以是字符串的一部分，在匹配时，search() 方法会依次扫描字符串，直到找到第一个符合规则的字符串，然后返回匹配内容，如果搜索完了还没有找到，那就返回 None。
我们把上面的代码中的 match() 方法修改成 search()，再看下运行结果：

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.search('Hello.*?(\d+).*?Demo', content)
print('result: ', result)
print('result.group(1): ', result.group(1))

result:  <_sre.SRE_Match object; span=(13, 53), match='Hello 1234567 World_This is a Regex Demo'>
result.group(1):  1234567

例 – 提取歌手与歌曲

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''

result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
    print(result.group(1), result.group(2))

任贤齐 沧海一声笑

只返回了第一个结果

4. re.findall()

findall() 方法会搜索整个字符串然后返回匹配正则表达式的所有内容，返回类型是列表。

使用上面的html, 例子:

results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)
print(results)
print(type(results))
for result in results:
    print(result)
    print(result[0], result[1], result[2])

[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '<i class="fa fa-user"></i>但愿人长久')]
<class 'list'>
('/2.mp3', '任贤齐', '沧海一声笑')
/2.mp3 任贤齐 沧海一声笑
('/3.mp3', '齐秦', '往事随风')
/3.mp3 齐秦 往事随风
('/4.mp3', 'beyond', '光辉岁月')
/4.mp3 beyond 光辉岁月
('/5.mp3', '陈慧琳', '记事本')
/5.mp3 陈慧琳 记事本
('/6.mp3', '邓丽君', '<i class="fa fa-user"></i>但愿人长久')
/6.mp3 邓丽君 <i class="fa fa-user"></i>但愿人长久

上面例子会将<i>节点也匹配到，所以完整匹配规则还要加上<i>的判断 

results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(<i.*?</i>)?(.*?)</a>', html, re.S)
print(results)
print(type(results))
for result in results:
#     print(result)
    print(result[0], result[1], result[3])

[('/2.mp3', '任贤齐', '', '沧海一声笑'), ('/3.mp3', '齐秦', '', '往事随风'), ('/4.mp3', 'beyond', '', '光辉岁月'), ('/5.mp3', '陈慧琳', '', '记事本'), ('/6.mp3', '邓丽君', '<i class="fa fa-user"></i>', '但愿人长久')]
<class 'list'>
/2.mp3 任贤齐 沧海一声笑
/3.mp3 齐秦 往事随风
/4.mp3 beyond 光辉岁月
/5.mp3 陈慧琳 记事本
/6.mp3 邓丽君 但愿人长久

5. re.sub()

sub() 替换字符串，可以用来删除字符串(替换为空)

正则表达式除了提取信息，我们有时候还需要借助于它来修改文本，比如我们想要把一串文本中的所有数字都去掉，如果我们只用字符串的 replace() 方法那就太繁琐了，在这里我们就可以借助于 sub() 方法。

例1 — 删除所有数字:

import re

content = '54aK54yr5oiR54ix5L2g'
content = re.sub('\d+', '', content)
print(content)

aKyroiRixLg

例2 — 正则获取上面html所有 li 节点的歌名:

因为歌名前的字符有的有有<a>节点，有的没有，需要使用 ? 来匹配0次或1次

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
for result in results:
    print(result[1])

一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

但如果我们借助于 sub() 方法就比较简单了，我们可以先用sub() 方法将 a 节点去掉，只留下文本，然后再利用findall() 提取就好了。

html = re.sub('<a.*?>|</a>', '', html)
print(html)
results = re.findall('<li.*?>(.*?)</li>', html, re.S)
for result in results:
    print(result.strip())

<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            沧海一声笑
        </li>
        <li data-view="4" class="active">
            往事随风
        </li>
        <li data-view="6">光辉岁月</li>
        <li data-view="5">记事本</li>
        <li data-view="5">
            <i class="fa fa-user"></i>但愿人长久
        </li>
    </ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
<i class="fa fa-user"></i>但愿人长久

6. re.compile()

compile() 方法，这个方法可以将正则字符串编译成正则表达式对象，以便于在后面的匹配中复用。

import re

content1 = '2016-12-15 12:00'
content2 = '2016-12-17 12:55'
content3 = '2016-12-22 13:21'
pattern = re.compile('\d{2}:\d{2}')
result0 = re.search(pattern, content1)
result1 = re.sub(pattern, '', content1)
result2 = re.sub(pattern, '', content2)
result3 = re.sub(pattern, '', content3)
if result0:
    print(result0.group())
print(result1, result2, result3)

12:00
2016-12-15  2016-12-17  2016-12-22
pythonspider
暂无评论

发送评论 编辑评论 


				

			

						

				

					

						

							

								
							

							
						

					

				

				

					

						

							

								
							

							
						

					

				

				

					

						

							

								
							

							
							
						

					

				

			

			
			

				

					
				

			

				

											

							
							
						

																					

							
							
						

										
					
											
						

	

		
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
（╯‵□′）╯︵┴─┴
￣﹃￣
(/ω＼)
∠( ᐛ 」∠)＿
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ｀)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ(￣∇￣o)
ヾ(´･ ･｀｡)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò｡)
Σ(っ °Д °;)っ
( ,,´･ω･)ﾉ"(´っω･｀｡)
╮(╯▽╰)╭
o(*////▽////*)q
＞﹏＜
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
	

	

		
颜文字
Emoji
小恐龙
花!
	


									

			

			
			
		

	






上一篇
下一篇