使用Python怎么過濾相似的文本-創(chuàng)新互聯(lián)

今天就跟大家聊聊有關(guān)使用Python怎么過濾相似的文本，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)建站主營任縣網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都app軟件開發(fā),任縣h5微信小程序開發(fā)搭建,任縣網(wǎng)站營銷推廣歡迎任縣等地區(qū)企業(yè)咨詢

titles = [
 "End of Year Review 2020",
 "2020 End of Year",
 "January Sales Projections",
 "Accounts 2017-2018",
 "Jan Sales Predictions"
]

# Desired output
filtered_titles = [
 "End of Year Review 2020",
 "January Sales Projections",
 "Accounts 2017-2018",
]

根據(jù)以上的問題，本文適合那些希望快速而實用地概述如何解決這樣的問題并廣泛了解他們同時在做什么的人!

接下來，我將介紹我為解決這個問題所采取的不同步驟。下面是控制流的概要:

預(yù)處理所有標題文本

生成所有標題成對

測試所有對的相似性

如果一對文本未能通過相似性測試，則刪除其中一個文本并創(chuàng)建一個新的文本列表

繼續(xù)測試這個新的相似的文本列表，直到?jīng)]有類似的文本留下

用Python表示，這可以很好地映射到遞歸函數(shù)上!

代碼

下面是Python中實現(xiàn)此功能的兩個函數(shù)。

import spacy
from itertools import combinations


# Set globals
nlp = spacy.load("en_core_web_md")

def pre_process(titles):
 """
 Pre-processes titles by removing stopwords and lemmatizing text.
 :param titles: list of strings, contains target titles,.
 :return: preprocessed_title_docs, list containing pre-processed titles.
 """

 # Preprocess all the titles
 title_docs = [nlp(x) for x in titles]
 preprocessed_title_docs = []
 lemmatized_tokens = []
 for title_doc in title_docs:
  for token in title_doc:
   if not token.is_stop:
    lemmatized_tokens.append(token.lemma_)
  preprocessed_title_docs.append(" ".join(lemmatized_tokens))
  del lemmatized_tokens[
   :
   ] # empty the lemmatized tokens list as the code moves onto a new title

 return preprocessed_title_docs

def similarity_filter(titles):
 """
 Recursively check if titles pass a similarity filter.
 :param titles: list of strings, contains titles.
 If the function finds titles that fail the similarity test, the above param will be the function output.
 :return: this method upon itself unless there are no similar titles; in that case the feed that was passed
 in is returned.
 """

 # Preprocess titles
 preprocessed_title_docs = pre_process(titles)

 # Remove similar titles
 all_summary_pairs = list(combinations(preprocessed_title_docs, 2))
 similar_titles = []
 for pair in all_summary_pairs:
  title1 = nlp(pair[0])
  title2 = nlp(pair[1])
  similarity = title1.similarity(title2)
  if similarity > 0.8:
   similar_titles.append(pair)

 titles_to_remove = []
 for a_title in similar_titles:
  # Get the index of the first title in the pair
  index_for_removal = preprocessed_title_docs.index(a_title[0])
  titles_to_remove.append(index_for_removal)

 # Get indices of similar titles and remove them
 similar_title_counts = set(titles_to_remove)
 similar_titles = [
  x[1] for x in enumerate(titles) if x[0] in similar_title_counts
 ]

 # Exit the recursion if there are no longer any similar titles
 if len(similar_title_counts) == 0:
  return titles

 # Continue the recursion if there are still titles to remove
 else:
  # Remove similar titles from the next input
  for title in similar_titles:
   idx = titles.index(title)
   titles.pop(idx)
   
  return similarity_filter(titles)

if __name__ == "__main__":
 your_title_list = ['title1', 'title2']
 similarty_filter(your_title_list)

第一個是預(yù)處理標題文本的簡單函數(shù);它刪除像' the '， ' a '， ' and '這樣的停止詞，并只返回標題中單詞的引理。

如果你在這個函數(shù)中輸入“End of Year Review 2020”，你會得到“end year review 2020”作為輸出;如果你輸入“January Sales Projections”，你會得到“january sale projection”。

它主要使用了python中非常容易使用的spacy庫.

第二個函數(shù)(第30行)為所有標題創(chuàng)建配對，然后確定它們是否通過了余弦相似度測試。如果它沒有找到任何相似的標題，那么它將輸出一個不相似標題的列表。但如果它確實找到了相似的標題，在刪除沒有通過相似度測試的配對后，它會將這些過濾后的標題再次發(fā)送給它自己，并檢查是否還有相似的標題。

這就是為什么它是遞歸的!簡單明了，這意味著函數(shù)將繼續(xù)檢查輸出，以真正確保在返回“最終”輸出之前沒有類似的標題。

什么是余弦相似度?

但簡而言之，這就是spacy在幕后做的事情……

首先，還記得那些預(yù)處理過的工作嗎?首先，spacy把我們輸入的單詞變成了一個數(shù)字矩陣。

一旦它完成了，你就可以把這些數(shù)字變成向量，也就是說你可以把它們畫在圖上。

一旦你這樣做了，計算兩條直線夾角的余弦就能讓你知道它們是否指向相同的方向。

所以，在上圖中，想象一下，A線代表“閃亮的橙色水果”，B線代表“閃亮的紅蘋果是一種水果”。

在這種情況下，行A和行B都對應(yīng)于空格為這兩個句子創(chuàng)建的數(shù)字矩陣。這兩條線之間的角度——在上面的圖表中由希臘字母theta表示——是非常有用的!你可以計算余弦來判斷這兩條線是否指向同一個方向。

看完上述內(nèi)容，你們對使用Python怎么過濾相似的文本有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

分享標題：使用Python怎么過濾相似的文本-創(chuàng)新互聯(lián)
URL鏈接：http://bm7419.com/article18/hddgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、全網(wǎng)營銷推廣、自適應(yīng)網(wǎng)站、動態(tài)網(wǎng)站、網(wǎng)站制作、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)