介紹Transformer的發(fā)明最近取代了自然語言處理的世界。transformers是完全無視傳統(tǒng)的基于序列的網絡。RNN是用于基于序列的任務(如文本生成,文本分類等)的最初武器。但是,隨著LSTM和GRU單元的出現(xiàn),解決了捕捉文本中長期依賴關系的問題。但是,使用LSTM單元學習模型是一項艱巨的任務,因為我們無法使其并行學習。

Transformer類似于以編碼器-解碼器為基礎的網絡,并在其末尾添加了注意層,以使模型能夠根據(jù)文本的相關上下文進行有效學習。讓我們看看如何使用這個很棒的python包裝器。你需要創(chuàng)建一個Twitter開發(fā)人員帳戶,以便可以訪問其API并利用許多不可思議的功能。

請通過此來了解它。

先決條件構建簡單的Transformer模型時要考慮到特定的自然語言處理(NLP)任務。每個此類模型都配備有旨在最適合它們要執(zhí)行的任務的特性和功能。使用簡單Transformer模型的高級過程遵循相同的模式。我們將使用庫中的文本分類模塊來構建情感分類器模型。通過以下代碼安裝簡單的轉換器庫。pip install simpletransfomers

最好創(chuàng)建一個虛擬環(huán)境并進行安裝。在安裝軟件包后,請按照以下鏈接中提到的步驟來組織你的Twitter開發(fā)帳戶。設置帳戶后,獲取帳戶的記名令牌并將其保存在YAML文件中,如下所示:  
   bearer_token: xxxxxxxxxxxxxxxxxxxxxxx

模型對于此任務,我們將使用Kaggle的以下數(shù)據(jù)集:數(shù)據(jù)集有兩列,一列具有文本,另一列具有相應的情感。讓我們可視化數(shù)據(jù)集及其類分布。

數(shù)據(jù)集中有以下情感類別:*悲傷,憤怒,愛,驚奇,恐懼,快樂,*你可以在下圖中看到其分布

在對數(shù)據(jù)集進行建模之前,我們可以執(zhí)行一些基本的預處理步驟,例如清除文本,使用數(shù)字對類進行編碼等,以便最終的數(shù)據(jù)幀看起來像下面的圖像。

我已將以下內容定義為模型訓練的輸入配置。我已經使用XL-Net對數(shù)據(jù)集進行建模,因為它是Transformer的高級版本,可以捕獲較長序列的上下文。max_seq_length保持為64,因為在數(shù)據(jù)集中找到的最大token數(shù)為66,如果你希望為更大的文本輸入訓練模型,可以根據(jù)需要將其增加到更大的值。from simpletransformers．classification import ClassificationModel, ClassificationArgs
model_args = ClassificationArgs()
model_args．num_train_epochs = 4
model_args．reprocess_input_data = True
model_args．save_best_model = True
model_args．save_optimizer_and_scheduler = False
model_args．overwrite_output_dir = True
model_args．manual_seed = 4
model_args．use_multiprocessing = True
model_args．train_batch_size = 16
model_args．eval_batch_size = 8
model_args．max_seq_length = 64
model = ClassificationModel("xlnet",
                           "xlnet-base-cased",
                           num_labels=6,
                           args=model_args,
                           use_cuda=True)
訓練模型后,你可以獲取驗證數(shù)據(jù)集的指標并評估其性能。如果你之前未進行任何配置,則模型權重將保存在 output/ directory 中。接下來是使用Twitter API獲得推文的部分。你可以使用該API的最大推文數(shù)量為100,可以通過使用高級帳戶進一步增加。可以使用以下代碼片段獲取特定句柄的tweet。def create_twitter_url(handle, max_results):
   mrf = "max_results={}"．format(max_results)
   q = "query=from:{}"．format(handle)
   url = "https://api．twitter．com/2/tweets/search/recent?{}&{}"．format(
       mrf, q
   )
   return url
 
def process_yaml():
 with open("keys．yaml") as file:
   return yaml．safe_load(file)
 
def create_bearer_token(data):
   return data["search_tweets_api"]["bearer_token"]
 
def twitter_auth_and_connect(bearer_token, url):
   headers = {"Authorization": "Bearer {}"．format(bearer_token)}
   response = requests．request("GET", url, headers=headers)
   return response．json()
url = create_twitter_url('user',10)
data = process_yaml()
bearer_token = create_bearer_token(data)
response = twitter_auth_and_connect(bearer_token, url)
text_list = [x['text'] for x in response['data']]
cleaned_text = [re．findall(regex, x)[0] for x in text_list]

上面的代碼獲取了“user”句柄的Twitter響應,并將獲得相應句柄的最新10條推文。清除了這些推文以刪除任何表情符號,鏈接等。例如,讓我們看一下一些著名的社交媒體鏈最近發(fā)布的20條推文的情感,以及他們對這些推文的情緒。

那些著名的社交媒體鏈的情感計數(shù)與其他人相比,Facebook似乎度過了一個美好的一周。本文我們使用Twitter API和Transfer構建了一個簡單的情感分類應用程序,你還可以實時進行操作,并進一步擴展此用例,分析任何暴力或悲傷的推特。