本文目標:在三十分鐘內讓你明白正則表達式是什麼,並對它有基本的認識,足以在自己的程式或網頁裡派上用場。
怎麼讀這篇教學:最重要的是——請給我三十分鐘。如果你完全沒有正則表達式的經驗,別指望三十秒入門,除非你是超人。
別被那些看起來很複雜的式子嚇到,跟著一步一步來,你會發現它並沒有想像中那麼難。當然,讀完之後你若覺得「好像懂了,但幾乎什麼都記不得」,那也是正常的——沒接觸過正則的人,看完能記住八成語法的機率基本上是零。這裡的目的只是讓你理解原理,之後還得多練習、多使用才能真正上手。
除了入門,本文也可以當作日常工作中的語法參考手冊來翻。
字元是軟體處理文字最基本的單位,可能是字母、數字、標點、空格、換行、漢字等等。字串是零個或多個字元的序列。所謂「某個字串匹配某個正則表達式」,通常是指這個字串裡有一部分(或幾部分分別)能滿足表達式給出的條件。
在撰寫處理字串的程式時,我們常需要找出符合某些複雜規則的字串。正則表達式就是描述這些規則的工具——換句話說,它是記錄文字規則的程式碼。
你大概用過 Windows/DOS 下的萬用字元(wildcard),也就是 * 和 ?。想找出某目錄下所有的 Word 文件,你會搜尋 *.doc,這裡 * 被解釋成任意字串。正則表達式和它類似,只是能更精確地描述需求——代價是更複雜。比如你可以寫一個表達式,找出所有「以 0 開頭、接著 2 到 3 個數字、然後一個連字號、最後 7 或 8 位數字」的字串。
學正則最好的方式就是從範例開始,理解之後再改、再試。
假設你在英文小說裡找 hi,可以用表達式 hi。這幾乎是最簡單的正則,它精確匹配「兩個字元、前一個是 h、後一個是 i」的字串。多數工具提供忽略大小寫的選項,開啟後它也能匹配 HI、Hi、hI。
麻煩的是,很多單詞含有 hi 這兩個連續字母,比如 him、history、high。要精確找到 hi 這個單詞,應該寫 \bhi\b。
\b 是正則規定的特殊程式碼(有人叫它元字元),代表單詞的開頭或結尾,也就是單詞的分界處。雖然英文單詞通常由空格、標點或換行分隔,但 \b 並不匹配這些分隔字元中的任何一個,它只匹配一個位置。
更精確的說法是:\b 匹配這樣的位置——它的前一個字元和後一個字元不全是 \w。
如果要找 hi 後面不遠處跟著一個 Lucy,用 \bhi\b.*\bLucy\b。這裡的 . 匹配除換行符以外的任意字元;* 代表的不是字元也不是位置,而是數量——它指定前面的內容可以連續重複任意次。所以 .* 合起來就是「任意數量、不含換行的字元」。
換行符是 '\n',ASCII 碼 10(十六進位 0x0A)。
再來看一個例子:0\d\d-\d\d\d\d\d\d\d\d 匹配以 0 開頭、接著兩個數字、一個連字號、最後八個數字的字串(也就是三位區號的中國電話號碼)。\d 匹配一位數字,- 不是元字元,只匹配它自己。
為了少寫幾個重複,可以改寫成 0\d{2}-\d{8}。{2} 表示前面的 \d 必須連續匹配兩次。
正則表達式的語法相當令人頭痛,即使常用的人也是如此。正因為難讀寫、易出錯,找個工具來測試是很有必要的。可用的工具有 RegexBuddy、線上的 JavaScript 正則表達式測試工具等。
不同環境下正則的一些細節並不相同。本文介紹的是微軟 .NET Framework 4.0 下的行為。
你已經認識了 \b、.、*、\d。此外 \s 匹配任意空白符(空格、Tab、換行、中文全角空格等),\w 匹配字母、數字、下劃線或漢字。
對中文的支援是 .NET 正則引擎提供的,其他環境請查閱相關文件。
幾個例子:
\ba\w*\b:以字母 a 開頭的單詞\d+:一或多個連續數字。+ 與 * 類似,不同的是 * 可重複零次,+ 至少一次\b\w{6}\b:剛好六個字元的單詞| 程式碼 | 說明 |
|---|---|
| . | 匹配除換行符以外的任意字元 |
| \w | 匹配字母或數字或下劃線或漢字 |
| \s | 匹配任意的空白符 |
| \d | 匹配數字 |
| \b | 匹配單詞的開始或結束 |
| ^ | 匹配字串的開始 |
| $ | 匹配字串的結束 |
正則引擎通常提供「測試指定字串是否匹配某表達式」的方法,如 JavaScript 的 RegExp.test() 或 .NET 的 Regex.IsMatch()。這裡的「匹配」指的是字串裡有沒有符合規則的部分。若不加 ^ 和 $,\d{5,12} 只能保證字串含有五到十二位連續數字,而不是整串就是五到十二位。
^ 和 $ 同樣匹配一個位置:^ 對應字串開頭,$ 對應結尾。驗證輸入時非常有用,例如要求 QQ 號必須是 5 到 12 位數字,就可以寫 ^\d{5,12}$。{5,12} 表示重複次數不能少於五次、不能多於十二次。
有些工具還有「處理多行」的選項,開啟後 ^ 和 $ 的意義變成匹配每一行的行首與行尾。
如果你想查找元字元本身(比如 . 或 *),就得用 \ 取消它們的特殊意義,寫成 \. 和 \*。要查找 \ 本身則寫 \\。
例如 deerchao\.net 匹配 deerchao.net,C:\\Windows 匹配 C:\Windows。
| 程式碼 | 說明 |
|---|---|
| * | 重複零次或更多次 |
| + | 重複一次或更多次 |
| ? | 重複零次或一次 |
| {n} | 重複 n 次 |
| {n,} | 重複 n 次或更多次 |
| {n,m} | 重複 n 到 m 次 |
例如 Windows\d+ 匹配 Windows 後面跟一或多個數字;^\w+ 匹配一行的第一個單詞。
要匹配沒有預定義元字元的字元集合時,用方括號列出即可。[aeiou] 匹配任何一個英文元音字母,[.?!] 匹配標點(. 或 ? 或 !)。
也可以指定範圍:[0-9] 與 \d 含義完全一致;[a-z0-9A-Z_] 等同於 \w(只考慮英文時)。
一個更複雜的例子:\(?0\d{2}[) -]?\d{8}。括號是元字元(後面的分組會提到),所以需要轉義。這個式子能匹配 (010)88886666、022-22334455、02912345678 等格式:先是可出现零或一次的 \(,然後 0 加兩位數字,接著是 ) 或 - 或空格中的一個(可不出現),最後八位數字。
上面那個式子也會匹配 010)12345678 這種不合法的格式。要排除它,需要用到分枝條件——用 | 分隔多條規則,命中任一條即算匹配。
0\d{2}-\d{8}|0\d{3}-\d{7} 能匹配兩種以連字號分隔的電話號碼:三位區號配八位本地號,或四位區號配七位本地號。
\d{5}-\d{4}|\d{5} 用於匹配美國郵編(五位數字,或以連字號分隔的九位數字)。這個例子說明了分枝條件的一個陷阱:順序很重要。若改成 \d{5}|\d{5}-\d{4},就只有五位郵編會被匹配(以及九位郵編的前五位),因為引擎由左至右測試各分枝,一旦滿足就不再看後面的。
用括號可以指定子表達式(分組),進而對它指定重複次數或做其他操作。
(\d{1,3}\.){3}\d{1,3} 是一個簡單的 IP 位址匹配式:先匹配一到三位數字加一個英文句號,這個整體重複三次,最後再加一到三位數字。
當然,它也會匹配 256.300.888.999 這種不存在的位址。正則不提供數學比較能力,只能用冗長的分組、選擇與字元類來描述正確範圍:((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。理解它的關鍵是 2[0-4]\d|25[0-5]|[01]?\d\d?,三部分分別涵蓋 200–249、250–255 和 0–199。
| 程式碼 | 說明 |
|---|---|
| \W | 匹配任意不是字母、數字、下劃線、漢字的字元 |
| \S | 匹配任意不是空白符的字元 |
| \D | 匹配任意非數字的字元 |
| \B | 匹配不是單詞開頭或結束的位置 |
| [^x] | 匹配除了 x 以外的任意字元 |
| [^aeiou] | 匹配除了 aeiou 以外的任意字元 |
例如 \S+ 匹配不含空白符的字串;<a[^>]+> 匹配用尖括號括起來、以 a 開頭的字串。
用括號指定子表達式後,該分組捕獲的文字可以在表達式中被重複使用。預設情況下,每個分組從左向右、以左括號為標志依序編號,第一組為 1,第二組為 2,依此類推。
實際的編號規則要複雜一些:分組 0 對應整個表達式;編號過程會掃描兩遍,先給未命名組分配,再給命名組分配,因此所有命名組的組號都大於未命名組;用 (?:exp) 可以剝奪一個分組參與編號的資格。
\b(\w+)\b\s+\1\b 用來匹配重複的單詞,像 go go 或 kitty kitty。它先匹配一個單詞並捕獲到 1 號組,接著一個或多個空白符,最後是 1 號組捕獲的內容。
你也可以自行命名:(?<Word>\w+)(或 (?'Word'\w+))把組名設為 Word,再用 \k<Word> 反向引用,於是上一例可寫成 \b(?<Word>\w+)\b\s+\k<Word>\b。
| 分類 | 程式碼 | 說明 |
|---|---|---|
| 捕獲 | (exp) | 匹配 exp,並捕獲文字到自動命名的組裡 |
| 捕獲 | (?<name>exp) | 匹配 exp,並捕獲到名為 name 的組 |
| 捕獲 | (?:exp) | 匹配 exp,不捕獲也不分配組號 |
| 零寬斷言 | (?=exp) | 匹配 exp 前面的位置 |
| 零寬斷言 | (?<=exp) | 匹配 exp 後面的位置 |
| 零寬斷言 | (?!exp) | 匹配後面不是 exp 的位置 |
| 零寬斷言 | (?<!exp) | 匹配前面不是 exp 的位置 |
| 註解 | (?#comment) | 不影響處理,僅供人閱讀 |
斷言用來聲明一個應該為真的事實,只有斷言成立時匹配才會繼續。這四個語法像 \b、^、$ 一樣指定一個位置,但該位置必須滿足某個條件。
(?=exp) 斷言自身出現的位置後面能匹配 exp。例如 \b\w+(?=ing\b) 匹配以 ing 結尾的單詞的前半部分:搜尋 I'm singing while you're dancing. 時,它會匹配 sing 和 danc。
(?<=exp) 斷言自身出現的位置前面能匹配 exp。例如 (?<=\bre)\w+\b 匹配以 re 開頭的單詞的後半部分,搜尋 reading a book 時匹配 ading。
如果想給一個長數字每三位加一個逗號(從右邊開始),可以用 ((?<=\d)\d{3})+\b 找出需要加逗號的部分,對 1234567890 查找的結果是 234567890。
兩種斷言也可以合用:(?<=\s)\d+(?=\s) 匹配以空白符隔開的數字(不含那些空白符)。
如果只想確保某字元沒出現,但不想去匹配它呢?例如找出「含有字母 q,但 q 後面不是 u」的單詞。
你可能會試 \b\w*q[^u]\w*\b。但測一下就會發現,當 q 出現在單詞結尾時(如 Iraq、Benq)它就出錯了——因為 [^u] 一定要匹配一個字元,此時它會去匹配 q 後面的分隔符號,而後面的 \w*\b 又會匹配下一個單詞,於是整個式子會匹配到 Iraq fighting 這麼一大段。
負向零寬斷言能解決這問題,因為它只匹配位置、不消費任何字元:\b\w*q(?!u)\w*\b。
(?!exp) 斷言此位置後面不能匹配 exp。例如 \d{3}(?!\d) 匹配三位數字且後面不是數字;\b((?!abc)\w)+\b 匹配不含連續字串 abc 的單詞。
同理,(?<!exp) 斷言此位置前面不能匹配 exp:(?<![a-z])\d{7} 匹配前面不是小寫字母的七位數字。
請細看這個式子:(?<=<(\w+)>).*(?=<\/\1>),它最能體現零寬斷言的用途。前綴 (?<=<(\w+)>) 指定「被尖括號括起來的單詞」(比如 <b>)作為前置條件,接著 .* 匹配任意文字,後綴 (?=<\/\1>) 要求後面是對應的閉合標籤。注意後綴裡的 \/ 用到了字元轉義,\1 則反向引用第一組捕獲的標籤名。整個式子匹配的是標籤之間的內容,不含標籤本身。
用 (?#comment) 可以在表達式中加入註解,例如 2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)。
更好的做法是開啟「忽略表達式裡的空白符」選項,這樣就能自由添加空格、Tab 與換行,並用 # 到行尾的文字作為註解:
(?<= # 斷言要匹配的文字的前綴
<(\w+)> # 查找尖括號括起來的字母或數字(即 HTML/XML 標籤)
) # 前綴結束
.* # 匹配任意文字
(?= # 斷言要匹配文字的後綴
<\/\1> # 查找閉合標籤:前面是一個 "/",後面是先前捕獲的標籤
) # 後綴結束
當表達式中含有可接受重複的限定符時,預設行為是在能讓整個式子匹配成功的前提下,盡可能多匹配字元。以 a.*b 為例,它會匹配最長的、以 a 開始 b 結束的字串;搜尋 aabab 時會匹配整個 aabab。這叫貪婪匹配。
有時我們更需要匹配盡可能少的字元,這叫懶惰匹配。只要在原有限定符後面加一個問號即可:a.*?b 匹配最短的、以 a 開始 b 結束的字串,對 aabab 而言會匹配 aab(第一到第三個字元)和 ab(第四到第五個字元)。
為什麼第一個匹配是 aab 而不是 ab?因為正則還有一條優先級更高的規則:最先開始的匹配擁有最高優先權。
| 程式碼 | 說明 |
|---|---|
| *? | 重複任意次,但盡可能少 |
| +? | 重複一次或更多次,但盡可能少 |
| ?? | 重複零次或一次,但盡可能少 |
| {n,m}? | 重複 n 到 m 次,但盡可能少 |
| {n,}? | 重複 n 次以上,但盡可能少 |
在 C# 中可以用 Regex(String, RegexOptions) 建構式設定選項,例如:
Regex regex = new Regex(@"\ba\w{6}\b", RegexOptions.IgnoreCase);
| 名稱 | 說明 |
|---|---|
| IgnoreCase(忽略大小寫) | 匹配時不區分大小寫 |
| Multiline(多行模式) | 更改 ^ 和 $ 的含義,使其在任一行的行首與行尾匹配 |
| Singleline(單行模式) | 更改 . 的含義,使其與每一個字元匹配(包括換行符 \n) |
| IgnorePatternWhitespace(忽略空白) | 忽略非轉義的空白並啟用 # 標記的註解 |
| ExplicitCapture(顯式捕獲) | 僅捕獲已被顯式命名的組 |
常被問到的一個問題:多行模式與單行模式是否只能擇一使用?答案是兩者沒有任何關係,除了名字相似容易搞混之外,它們完全可以同時開啟。
以下語法由 .NET Framework 支援,其他語言或函式庫不一定提供。
有時我們需要匹配可嵌套的層次結構,例如 ( 100 * ( 50 + 15 ) )。簡單地用 \(.+\) 只會匹配到最左邊的左括號與最右邊的右括號之間的所有內容;若左右括號數量不相等,結果裡兩者的個數也不會相等。
為避免括號混淆,我們改用尖括號來說明:如何從 xx <aa <bbb> <bbb> aa> yy 這樣的字串裡,捕獲最長的配對尖括號內的內容?
所需的語法構造:
(?'group'):把捕獲的內容命名為 group,並壓入堆疊(?'-group'):從堆疊彈出最後壓入的名為 group 的內容;若堆疊本來為空,則本分組匹配失敗(?(group)yes|no):若堆疊上存在名為 group 的內容,繼續匹配 yes 部分,否則匹配 no 部分(?!):零寬負向先行斷言,由於沒有後綴表達式,嘗試匹配總是失敗若你不熟悉堆疊,可以這樣理解:第一個語法是在黑板上寫一個 "group",第二個是擦掉一個,第三個是看黑板上有沒有 "group",有就繼續匹配 yes,否則匹配 no。
思路是:每遇到左括號壓入一個 "Open",每遇到右括號彈出一個,最後檢查堆疊是否為空——不為空就證明左括號比右括號多,匹配應該失敗。引擎會進行回溯,盡量讓整個式子匹配成功。
< # 最外層的左括號
[^<>]* # 最外層左括號後面不是括號的內容
(
(
(?'Open'<) # 碰到左括號,在黑板上寫一個 "Open"
[^<>]* # 匹配左括號後面不是括號的內容
)+
(
(?'-Open'>) # 碰到右括號,擦掉一個 "Open"
[^<>]* # 匹配右括號後面不是括號的內容
)+
)*
(?(Open)(?!)) # 在最外層右括號前面,判斷黑板上還有沒有沒擦掉的 "Open"
# 如果還有,則匹配失敗
> # 最外層的右括號
平衡組最常見的應用是匹配 HTML。下面這個式子可以匹配嵌套的 <div> 標籤:
<div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]*)+((?'-Open'</div>)[^<>]*)+)*(?(Open)(?!))</div>
上面已經描述了正則的大量構成元素,但仍有很多未涵蓋:
| 程式碼 | 說明 |
|---|---|
| \a | 報警字元 |
| \b | 通常是單詞分界位置,但在字元類裡代表退格 |
| \t | 制表符,Tab |
| \r | 回車 |
| \v | 豎向制表符 |
| \f | 換頁符 |
| \n | 換行符 |
| \e | Escape |
| \0nn | 八進位碼為 nn 的 ASCII 字元 |
| \xnn | 十六進位碼為 nn 的 ASCII 字元 |
| \unnnn | 十六進位碼為 nnnn 的 Unicode 字元 |
| \cN | ASCII 控制字元,如 \cC 代表 Ctrl+C |
| \A | 字串開頭(不受多行選項影響) |
| \Z | 字串結尾或行尾(不受多行選項影響) |
| \z | 字串結尾(不受多行選項影響) |
| \G | 目前搜尋的開頭 |
| \p{name} | Unicode 中命名為 name 的字元類,如 \p{IsGreek} |
| (?>exp) | 貪婪子表達式 |
| (?<x>-<y>exp) | 平衡組 |
| (?im-nsx:exp) | 在子表達式 exp 中改變處理選項 |
| (?im-nsx) | 為表達式後面的部分改變處理選項 |
| (?(exp)yes|no) | 把 exp 當作零寬正向先行斷言,成立則用 yes,否則用 no |
| (?(name)yes|no) | 若命名為 name 的組捕獲到內容則用 yes,否則用 no |
讀到這裡,你大概花了不只三十分鐘。相信我,這是我的錯,不是因為你理解力有問題——之所以說「三十分鐘」,只是為了讓你有信心、有耐心繼續讀下去。
正則表達式的關鍵從來不是背下所有語法,而是養成分解問題的習慣:先想清楚要匹配的字串長什麼樣子,再一塊一塊拼上去,遇到不對勁就用工具測。手邊有個測試器,比記住多少條規則都管用。