PHP正規表達式詳解(一)

本文是Jan Goyvaerts為RegexBuddy寫的教程的譯文,版權歸原作者所有,歡迎轉載。但是為了尊重原作者和譯者的勞動,請註明出處!謝謝!
1.什麼是正規表達式

基本說來,正規表達式是一種用來描述一定數量文本的模式。Regex代表Regular Express。本文將用<<regex>>來表示一段具體的正規表達式。

一段文本就是最基本的模式,簡單的匹配相同的文本。
2.不同的正規表達式引擎

正規表達式引擎是一種可以處理正規表達式的軟件。通常,引擎是更大的應用程序的一部分。在軟件世界,不同的正規表達式並不互相兼容。本教程會集中討論 Perl 5 類型的引擎,因為這種引擎是應用最廣泛的引擎。同時我們也會提到一些和其他引擎的區別。許多近代的引擎都很類似,但不完全一樣。例如.NET正規 庫,JDK正規包。
3.文字符號

最基本的正規表達式由單個文字符號組成。如<<a>>,它將匹配字符串中第一次出現的字符「a」。如對字符串「Jack is a boy」。「J」後的「a」將被匹配。而第二個「a」將不會被匹配。

正規表達式也可以匹配第二個「a」,這必須是你告訴正規表達式引擎從第一次匹配的地方開始搜索。在文本編輯器中,你可以使用「查找下一個」。在編程語言中,會有一個函數可以使你從前一次匹配的位置開始繼續向後搜索。

類似的,<<cat>>會匹配「About cats and dogs」中的「cat」。這等於是告訴正規表達式引擎,找到一個<<c>>,緊跟一個<<a>>,再 跟一個<<t>>。

要注意,正規表達式引擎缺省是大小寫敏感的。除非你告訴引擎忽略大小寫,否則<<cat>>不會匹配「Cat」。

    特殊字符

對於文字字符,有12個字符被保留作特殊用途。他們是:

[ ] / ^ $ . | ? * + ( )

這些特殊字符也被稱作元字符。

如果你想在正規表達式中將這些字符用作文本字符,你需要用反斜槓「/」對其進行換碼 (escape)。例如你想匹配「1+1=2」,正確的表達式為<<1/+1=2>>.

需要注意的是,<<1+1=2>>也是有效的正規表達式。但它不會匹配「1+1=2」,而會匹配「123+111=234」中的「111=2」。因為「+」在這裡表示特殊含義(重複1次到多次)。

在編程語言中,要注意,一些特殊的字符會先被編譯器處理,然後再傳遞給正規引擎。因此正規表達式<<1/+2=2>>在C++中 要寫成「1//+1=2」。為了匹配「C:/temp」,你要用正規表達式<<C://temp>>。而在C++中,正規表達式 則變成了「C:////temp」。

    不可顯示字符

可以使用特殊字符序列來代表某些不可顯示字符:

<</t>>代表Tab(0×09)

<</r>>代表回車符(0x0D)

<</n>>代表換行符(0x0A)

要注意的是Windows中文本文件使用「/r/n」來結束一行而Unix使用「/n」。
 4.正規表達式引擎的內部工作機制

知道正規表達式引擎是如何工作的有助於你很快理解為何某個正規表達式不像你期望的那樣工作。

有兩種類型的引擎:文本導向(text-directed)的引擎和正規導向(regex-directed)的引擎。Jeffrey Friedl把他們稱作DFA和NFA引擎。本文談到的是正規導向的引擎。這是因為一些非常有用的特性,如「惰性」量詞(lazy quantifiers)和反向引用(backreferences),只能在正規導向的引擎中實現。所以毫不意外這種引擎是目前最流行的引擎。

你可以輕易分辨出所使用的引擎是文本導向還是正規導向。如果反向引用或「惰性」量詞被實現,則可以肯定你使用的引擎是正規導向的。你可以作如下測試:將正 則表達式<<regex|regex not>>應用到字符串「regex not」。如果匹配的結果是regex,則引擎是正規導向的。如果結果是regex not,則是文本導向的。因為正規導向的引擎是「猴急」的,它會很急切的進行表功,報告它找到的第一個匹配 。

    正規導向的引擎總是返回最左邊的匹配

這是需要你理解的很重要的一點:即使以後有可能發現一個「更好」的匹配,正規導向的引擎也總是返回最左邊的匹配。

當把<<cat>>應用到「He captured a catfish for his cat」,引擎先比較<<c>>和「H」,結果失敗了。於是引擎再比較<<c>>和「e」,也失敗了。 直到第四個字符,<<c>>匹配了「c」。<<a>>匹配了第五個字符。到第六個字 符<<t>>沒能匹配「p」,也失敗了。引擎再繼續從第五個字符重新檢查匹配性。直到第十五個字符開 始,<<cat>>匹配上了「catfish」中的「cat」,正規表達式引擎急切的返回第一個匹配的結果,而不會再繼續查找是 否有其他更好的匹配。
5.字符集

字符集是由一對方括號「[]」括起來的字符集合。使用字符集,你可以告訴正規表達式引擎僅僅匹配多個字符中的一個。如果你想匹配一個「a」或一個「e」, 使用<<[ae]>>。你可以使用<<gr[ae]y>>匹配gray或grey。這在你不確定你要搜 索的字符是採用美國英語還是英國英語時特別有用。相反,<<gr[ae]y>>將不會匹配graay或graey。字符集中的字 符順序並沒有什麼關係,結果都是相同的。

你可以使用連字符「-」定義一個字符範圍作為字符集。<<[0-9]>>匹配0到9之間的單個數字。你可以使用不止一個範 圍。<<[0-9a-fA-F] >>匹配單個的十六進制數字,並且大小寫不敏感。你也可以結合範圍定義與單個字符定義。<<[0-9a-fxA- FX]>>匹配一個十六進制數字或字母X。再次強調一下,字符和範圍定義的先後順序對結果沒有影響。

    字符集的一些應用

查找一個可能有拼寫錯誤的單詞,比如<<sep[ae]r[ae]te>> 或 <<li[cs]en[cs]e>>。

查找程序語言的標識符,<<A-Za-z_][A-Za-z_0-9]*>>。(*表示重複0或多次)

查找C風格的十六進制數<<0[xX][A-Fa-f0-9]+>>。(+表示重複一次或多次)

    取反字符集

在左方括號「[」後面緊跟一個尖括號「^」,將會對字符集取反。結果是字符集將匹配任何不在方括號中的字符。不像「.」,取反字符集是可以匹配回車換行符的。

需要記住的很重要的一點是,取反字符集必須要匹配一個字符。<<q[^u]>>並不意味著:匹配一個q,後面沒有u跟著。它意味 著:匹配一個q,後面跟著一個不是u的字符。所以它不會匹配「Iraq」中的q,而會匹配「Iraq is a country」中的q和一個空格符。事實上,空格符是匹配中的一部分,因為它是一個「不是u的字符」。

如果你只想匹配一個q,條件是q後面有一個不是u的字符,我們可以用後面將講到的向前查看來解決。

    字符集中的元字符

需要注意的是,在字符集中只有4個 字符具有特殊含義。它們是:「] / ^ -」。「]」代表字符集定義的結束;「/」代表轉義;「^」代表取反;「-」代表範圍定義。其他常見的元字符在字符集定義內部都是正常字符,不需要轉義。 例如,要搜索星號*或加號+,你可以用<<[+*]>>。當然,如果你對那些通常的元字符進行轉義,你的正規表達式一樣會工作得 很好,但是這會降低可讀性。

在字符集定義中為了將反斜槓「/」作為一個文字字符而非特殊含義的字符,你需要用另一個反斜槓對它進行轉義。<<[//x]>> 將會匹配一個反斜槓和一個X。「]^-」都可以用反斜槓進行轉義,或者將他們放在一個不可能使用到他們特殊含義的位置。我們推薦後者,因為這樣可以增加可 讀性。比如對於字符「^」,將它放在除了左括號「[」後面的位置,使用的都是文字字符含義而非取反含義。如<<[x^]>>會匹 配一個x或^。<<[]x]>>會匹配一個「]」或「x」。<<[-x]>>或<< [x-]>>都會匹配一個「-」或「x」。

    字符集的簡寫

因為一些字符集非常常用,所以有一些簡寫方式。

<</d>>代表<<[0-9]>>;

<</w>>代表單詞字符。這個是隨正規表達式實現的不同而有些差異。絕大多數的正規表達式實現的單詞字符集都包含了<<A-Za-z0-9_]>>。

<</s>>代表「白字符」。這個也是和不同的實現有關的。在絕大多數的實現中,都包含了空格符和Tab符,以及回車換行符<</r/n>>。

字符集的縮寫形式可以用在方括號之內或之外。<</s/d>>匹配一個白字符後面緊跟一個數字。<<[/s /d]>>匹配單個白字符或數字。<<[/da-fA-F]>>將匹配一個十六進制數字。

取反字符集的簡寫

<<[/S]>> = <<[^/s]>>

<<[/W]>> = <<[^/w]>>

<<[/D]>> = <<[^/d]>>

    字符集的重複

如果你用「?*+」操作符來重複一個字符集,你將會重複整個字符集。而不僅是它匹配的那個字符。正規表達式<<[0-9]+>>會匹配837以及222。

如果你僅僅想重複被匹配的那個字符,可以用向後引用達到目的。我們以後將講到向後引用。
6.使用?*或+ 進行重複

?:告訴引擎匹配前導字符0次或一次。事實上是表示前導字符是可選的。

+:告訴引擎匹配前導字符1次或多次

*:告訴引擎匹配前導字符0次或多次

<[A-Za-z][A-Za-z0-9]*>匹配沒有屬性的HTML標籤,「<」以及「>」是文字符號。第一個字符集匹配一個字母,第二個字符集匹配一個字母或數字。

我們似乎也可以用<[A-Za-z0-9]+>。但是它會匹配<1>。但是這個正規表達式在你知道你要搜索的字符串不包含類似的無效標籤時還是足夠有效的。

    限制性重複

許多現代的正規表達式實現,都允許你定義對一個字符重複多少次。詞法是:{min,max}。min和max都是非負整數。如果逗號有而max被忽略了,則max沒有限制。如果逗號和max都被忽略了,則重複min次。

因此{0,}和*一樣,{1,}和+ 的作用一樣。

你可以用<</b[1-9][0-9]{3}/b>>匹配1000~9999之間的數字(「/b」表示單詞邊界)。<</b[1-9][0-9]{2,4}/b>>匹配一個在100~99999之間的數字。

    注意貪婪性

假設你想用一個正規表達式匹配一個HTML標籤。你知道輸入將會是一個有效的HTML文件,因此正規表達式不需要排除那些無效的標籤。所以如果是在兩個尖括號之間的內容,就應該是一個HTML標籤。

許多正規表達式的新手會首先想到用正規表達式<< <.+> >>,他們會很驚訝的發現,對於測試字符串,「This is a <EM>first</EM> test」,你可能期望會返回<EM>,然後繼續進行匹配的時候,返回</EM>。

但事實是不會。正規表達式將會匹配「<EM>first</EM>」。很顯然這不是我們想要的結果。原因在於「+」是貪婪的。也 就是說,「+」會導致正規表達式引擎試圖儘可能的重複前導字符。只有當這種重複會引起整個正規表達式匹配失敗的情況下,引擎會進行回溯。也就是說,它會放 棄最後一次的「重複」,然後處理正規表達式餘下的部分。

和「+」類似,「?*」的重複也是貪婪的。

    深入正規表達式引擎內部

讓我們來看看正規引擎如何匹配前面的例子。第一個記號是「<」,這是一個文字符號。第二個符號是「.」,匹配了字符「E」,然後「+」一直可以匹配 其餘的字符,直到一行的結束。然後到了換行符,匹配失敗(「.」不匹配換行符)。於是引擎開始對下一個正規表達式符號進行匹配。也即試圖匹配 「>」。到目前為止,「<.+」已經匹配了「<EM>first</EM> test」。引擎會試圖將「>」與換行符進行匹配,結果失敗了。於是引擎進行回溯。結果是現在「<.+」匹配 「<EM>first</EM> tes」。於是引擎將「>」與「t」進行匹配。顯然還是會失敗。這個過程繼續,直到「<.+」匹配 「<EM>first</EM」,「>」與「>」匹配。於是引擎找到了一個匹配「<EM>first< /EM>」。記住,正規導向的引擎是「急切的」,所以它會急著報告它找到的第一個匹配。而不是繼續回溯,即使可能會有更好的匹配,例如 「<EM>」。所以我們可以看到,由於「+」的貪婪性,使得正規表達式引擎返回了一個最左邊的最長的匹配。

    用懶惰性取代貪婪性

一個用於修正以上問題的可能方案是用「+」的惰性代替貪婪性。你可以在「+」後面緊跟一個問號「?」來達到這一點。「*」,「{}」和「?」表示的重複也 可以用這個方案。因此在上面的例子中我們可以使用「<.+?>」。讓我們再來看看正規表達式引擎的處理過程。

再一次,正規表達式記號「<」會匹配字符串的第一個「<」。下一個正規記號是「.」。這次是一個懶惰的「+」來重複上一個字符。這告訴正規引 擎,儘可能少的重複上一個字符。因此引擎匹配「.」和字符「E」,然後用「>」匹配「M」,結果失敗了。引擎會進行回溯,和上一個例子不同,因為是 惰性重複,所以引擎是擴展惰性重複而不是減少,於是「<.+」現在被擴展為「<EM」。引擎繼續匹配下一個記號「>」。這次得到了一個 成功匹配。引擎於是報告「<EM>」是一個成功的匹配。整個過程大致如此。

    惰性擴展的一個替代方案

我們還有一個更好的替代方案。可以用一個貪婪重複與一個取反字符集:「<[^>]+>」。之所以說這是一個更好的方案在於使用惰性重複時,引擎會在找到一個成功匹配前對每一個字符進行回溯。而使用取反字符集則不需要進行回溯。

最後要記住的是,本教程僅僅談到的是正規導向的引擎。文本導向的引擎是不回溯的。但是同時他們也不支持惰性重複操作。
7.使用「.」匹配幾乎任意字符

在正規表達式中,「.」是最常用的符號之一。不幸的是,它也是最容易被誤用的符號之一。

「.」匹配一個單個的字符而不用關心被匹配的字符是什麼。唯一的例外是新行符。在本教程中談到的引擎,缺省情況下都是不匹配新行符的。因此在缺省情況下,「.」等於是字符集[^/n/r](Window)或[^/n]( Unix)的簡寫。

這個例外是因為歷史的原因。因為早期使用正規表達式的工具是基於行的。它們都是一行一行的讀入一個文件,將正規表達式分別應用到每一行上去。在這些工具中,字符串是不包含新行符的。因此「.」也就從不匹配新行符。

現代的工具和語言能夠將正規表達式應用到很大的字符串甚至整個文件上去。本教程討論的所有正規表達式實現都提供一個選項,可以使「.」匹配所有的字符,包 括新行符。在RegexBuddy, EditPad Pro或PowerGREP等工具中,你可以簡單的選中「點號匹配新行符」。在Perl中,「.」可以匹配新行符的模式被稱作「單行模式」。很不幸,這是 一個很容易混淆的名詞。因為還有所謂「多行模式」。多行模式隻影響行首行尾的錨定(anchor),而單行模式隻影響「.」。

其他語言和正規表達式庫也採用了Perl的術語定義。當在.NET Framework中使用正規表達式類時,你可以用類似下面的語句來激活單行模式:Regex.Match(「string」,」regex」,RegexOptions.SingleLine)

    保守的使用點號「.」

點號可以說是最強大的元字符。它允許你偷懶:用一個點號,就能匹配幾乎所有的字符。但是問題在於,它也常常會匹配不該匹配的字符。

我會以一個簡單的例子來說明。讓我們看看如何匹配一個具有「mm/dd/yy」格式的日期,但是我們想允許用戶來選擇分隔符。很快能想到的一個方案 是<</d/d./d/d./d/d>>。看上去它能匹配日期「02/12/03」。問題在於02512703也會被認為是一個 有效的日期。

<</d/d[-/.]/d/d[-/.]/d/d>>看上去是一個好一點的解決方案。記住點號在一個字符集裡不是元字符。這個 方案遠不夠完善,它會匹配「99/99/99」。而<<[0-1]/d[-/.][0-3]/d[-/.]/d/d>>又更進一 步。儘管他也會匹配「19/39/99」。你想要你的正規表達式達到如何完美的程度取決於你想達到什麼樣的目的。如果你想校驗用戶輸入,則需要儘可能的完 美。如果你只是想分析一個已知的源,並且我們知道沒有錯誤的數據,用一個比較好的正規表達式來匹配你想要搜尋的字符就已經足夠。
8.字符串開始和結束的錨定

錨定和一般的正規表達式符號不同,它不匹配任何字符。相反,他們匹配的是字符之前或之後的位置。「^」匹配一行字符串第一個字符前的位 置。<<^a>>將會匹配字符串「abc」中的a。<<^b>>將不會匹配「abc」中的任何字符。

類似的,$匹配字符串中最後一個字符的後面的位置。所以<<c$>>匹配「abc」中的c。

    錨定的應用

在編程語言中校驗用戶輸入時,使用錨定是非常重要的。如果你想校驗用戶的輸入為整數,用<<^/d+$>>。

用戶輸入中,常常會有多餘的前導空格或結束空格。你可以用<<^/s*>>和<</s*$>>來匹配前導空格或結束空格。

    使用「^」和「$」作為行的開始和結束錨定

如果你有一個包含了多行的字符串。例如:「first line/n/rsecond line」(其中/n/r表示一個新行符)。常常需要對每行分別處理而不是整個字符串。因此,幾乎所有的正規表達式引擎都提供一個選項,可以擴展這兩種錨 定的含義。「^」可以匹配字串的開始位置(在f之前),以及每一個新行符的後面位置(在/n/r和s之間)。類似的,$會匹配字串的結束位置(最後一個e 之後),以及每個新行符的前面(在e與/n/r之間)。

在.NET中,當你使用如下代碼時,將會定義錨定匹配每一個新行符的前面和後面位置:Regex.Match(「string」, 「regex」, RegexOptions.Multiline)

應用:string str = Regex.Replace(Original, 「^」, 「> 「, RegexOptions.Multiline)–將會在每行的行首插入「> 」。

    絕對錨定

<</A>>只匹配整個字符串的開始位置,<</Z>>只匹配整個字符串的結束位置。即使你使用了「多行模式」,<</A>>和<</Z>>也從不匹配新行符。

即使/Z和$只匹配字符串的結束位置,仍然有一個例外的情況。如果字符串以新行符結束,則/Z和$將會匹配新行符前面的位置,而不是整個字符串的最後面。 這個「改進」是由Perl引進的,然後被許多的正規表達式實現所遵循,包括Java,.NET等。如果應用<<^[a- z]+$>>到「joe/n」,則匹配結果是「joe」而不是「joe/n」。

留言

這個網誌中的熱門文章

c語言-關於#define用法

CMD常用網管指令

PHP 與 JavaScript 之間傳值利用 json