BiLSTM上的CRF層是如何工作

預(yù)備知識(shí)

你需要知道的惟一的事情是什么是命名實(shí)體識(shí)別。如果你不知道神經(jīng)網(wǎng)絡(luò)，CRF或任何其他相關(guān)知識(shí)，請(qǐng)不要擔(dān)心。我會(huì)盡可能直觀地解釋一切。

1. 介紹

對(duì)于命名實(shí)體識(shí)別任務(wù)，基于神經(jīng)網(wǎng)絡(luò)的方法非常普遍。我將以文中的模型為例來解釋CRF層是如何工作的。

如果你不知道BiLSTM和CRF的細(xì)節(jié)，請(qǐng)記住它們是命名實(shí)體識(shí)別模型中的兩個(gè)不同的層。

1.1 開始之前

我們假設(shè)，我們有一個(gè)數(shù)據(jù)集，其中有兩個(gè)實(shí)體類型，Person和Organization。但是，事實(shí)上，在我們的數(shù)據(jù)集中，我們有5個(gè)實(shí)體標(biāo)簽：

• B-Person
• I- Person
• B-Organization
• I-Organization
• O

此外，x是一個(gè)包含5個(gè)單詞的句子，w0，w1，w2，w3，w4。更重要的是，在句子x中，[w0，w1]是一個(gè)Person實(shí)體，[w3]是一個(gè)Organization實(shí)體，其他都是“O”。

1.2 BiLSTM-CRF模型

我將對(duì)這個(gè)模型做一個(gè)簡(jiǎn)單的介紹。

如下圖所示：

• 首先，將句子x中的每個(gè)單詞表示為一個(gè)向量，其中包括單詞的嵌入和字符的嵌入。字符嵌入是隨機(jī)初始化的。詞嵌入通常是從一個(gè)預(yù)先訓(xùn)練的詞嵌入文件導(dǎo)入的。所有的嵌入將在訓(xùn)練過程中進(jìn)行微調(diào)。
• 第二，BiLSTM-CRF模型的輸入是這些嵌入，輸出是句子x中的單詞的預(yù)測(cè)標(biāo)簽。

雖然不需要知道BiLSTM層的細(xì)節(jié)，但是為了更容易的理解CRF層，我們需要知道BiLSTM層輸出的意義是什么。

上圖說明BiLSTM層的輸出是每個(gè)標(biāo)簽的分?jǐn)?shù)。例如，對(duì)于w0, BiLSTM節(jié)點(diǎn)的輸出為1.5 (B-Person)、0.9 (I-Person)、0.1 (B-Organization)、0.08 (I-Organization)和0.05 (O)，這些分?jǐn)?shù)將作為CRF層的輸入。

然后，將BiLSTM層預(yù)測(cè)的所有分?jǐn)?shù)輸入CRF層。在CRF層中，選擇預(yù)測(cè)得分最高的標(biāo)簽序列作為最佳答案。

1.3 如果沒有CRF層會(huì)怎么樣

你可能已經(jīng)發(fā)現(xiàn)，即使沒有CRF層，也就是說，我們可以訓(xùn)練一個(gè)BiLSTM命名實(shí)體識(shí)別模型，如下圖所示。 

因?yàn)槊總€(gè)單詞的BiLSTM的輸出是標(biāo)簽分?jǐn)?shù)。我們可以選擇每個(gè)單詞得分最高的標(biāo)簽。

例如，對(duì)于w0，“B-Person”得分最高(1.5)，因此我們可以選擇“B-Person”作為其最佳預(yù)測(cè)標(biāo)簽。同樣，我們可以為w1選擇“I-Person”，為w2選擇“O”，為w3選擇“B-Organization”，為w4選擇“O”。

雖然在這個(gè)例子中我們可以得到正確的句子x的標(biāo)簽，但是并不總是這樣。再試一下下面圖片中的例子。

顯然，這次的輸出是無效的，“I-Organization I-Person”和“B-Organization I-Person”。

1.4 CRF層可以從訓(xùn)練數(shù)據(jù)中學(xué)到約束

CRF層可以向最終的預(yù)測(cè)標(biāo)簽添加一些約束，以確保它們是有效的。這些約束可以由CRF層在訓(xùn)練過程中從訓(xùn)練數(shù)據(jù)集自動(dòng)學(xué)習(xí)。

約束條件可以是：

• 句子中第一個(gè)單詞的標(biāo)簽應(yīng)該以“B-”或“O”開頭，而不是“I-”
• “B-label1 I-label2 I-label3 I-…”，在這個(gè)模式中，label1、label2、label3…應(yīng)該是相同的命名實(shí)體標(biāo)簽。例如，“B-Person I-Person”是有效的，但是“B-Person I-Organization”是無效的。
• “O I-label”無效。一個(gè)命名實(shí)體的第一個(gè)標(biāo)簽應(yīng)該以“B-”而不是“I-”開頭，換句話說，有效的模式應(yīng)該是“O B-label”
• …

有了這些有用的約束，無效預(yù)測(cè)標(biāo)簽序列的數(shù)量將顯著減少。