三、具體實(shí)現(xiàn)過(guò)程

開始寫代碼！

ChnSentiCorp任務(wù)運(yùn)行的shell腳本是 ERNIE／ernie／run＿classifier．py，該文件定義了分類任務(wù)Fine－tuning 的詳細(xì)過(guò)程，下面我們將通過(guò)如下幾個(gè)步驟進(jìn)行詳細(xì)剖析：

環(huán)境準(zhǔn)備。導(dǎo)入相關(guān)的依賴，解析命令行參數(shù)；

實(shí)例化ERNIE 模型，優(yōu)化器以及Tokenizer， 并設(shè)置超參數(shù)

定義輔助函數(shù)

運(yùn)行訓(xùn)練循環(huán)

1． 環(huán)境準(zhǔn)備

import相關(guān)的依賴，解析命令行參數(shù)。

import syssys．path．a(chǎn)ppend（＇．／ERNIE＇）import numpy as npfrom sklearn．metrics import f1＿scoreimport paddle as Pimport paddle．fluid as Fimport paddle．fluid．layers as Limport paddle．fluid．dygraph as D
from ernie．tokenizing＿ernie import ErnieTokenizerfrom ernie．modeling＿ernie import ErnieModelForSequenceClassification2． 實(shí)例化ERNIE 模型，優(yōu)化器以及Tokenizer， 并設(shè)置超參數(shù)

設(shè)置好所有的超參數(shù)，對(duì)于ERNIE任務(wù)學(xué)習(xí)率推薦取 1e－5／2e－5／5e－5， 根據(jù)顯存大小調(diào)節(jié)BATCH大小， 最大句子長(zhǎng)度不超過(guò)512．

BATCH＝32MAX＿SEQLEN＝300LR＝5e－5EPOCH＝10
D．guard（）．＿＿enter＿＿（） ＃ 為了讓Paddle進(jìn)入動(dòng)態(tài)圖模式，需要添加這一行在最前面
ernie ＝ ErnieModelForSequenceClassification．from＿pretrained（＇ernie－1．0＇， num＿labels＝3）optimizer ＝ F．optimizer．Adam（LR， parameter＿list＝ernie．parameters（））tokenizer ＝ ErnieTokenizer．from＿pretrained（＇ernie－1．0＇）3． 定義輔助函數(shù)

（1）定義函數(shù) make＿data，將文本數(shù)據(jù)讀入內(nèi)存并轉(zhuǎn)換為numpy List存儲(chǔ)。

def make＿data（path）：    data ＝ ［］    for i， l in enumerate（open（path））：        if i ＝＝ 0：            continue        l ＝ l．strip（）．split（＇ ＇）        text， label ＝ l［0］， int（l［1］）        text＿id， ＿ ＝ tokenizer．encode（text） ＃ ErnieTokenizer 會(huì)自動(dòng)添加ERNIE所需要的特殊token，如［CLS］， ［SEP］        text＿id ＝ text＿id［：MAX＿SEQLEN］        text＿id ＝ np．pad（text＿id， ［0， MAX＿SEQLEN－len（text＿id）］， mode＝＇constant＇） ＃ 對(duì)所有句子都補(bǔ)長(zhǎng)至300，這樣會(huì)比較費(fèi)顯存；        label＿id ＝ np．a(chǎn)rray（label＋1）        data．a(chǎn)ppend（（text＿id， label＿id））    return data
train＿data ＝ make＿data（＇．／chnsenticorp／train／part．0＇）test＿data ＝ make＿data（＇．／chnsenticorp／dev／part．0＇）

（2）定義函數(shù)get＿batch＿data，用于獲取BATCH條樣本并按照批處理維度stack到一起。

def get＿batch＿data（data， i）：    d ＝ data［i＊BATCH： （i ＋ 1） ＊ BATCH］    feature， label ＝ zip（＊d）    feature ＝ np．stack（feature）  ＃ 將BATCH行樣本整合在一個(gè)numpy．a(chǎn)rray中    label ＝ np．stack（list（label））    feature ＝ D．to＿variable（feature） ＃ 使用to＿variable將numpy．a(chǎn)rray轉(zhuǎn)換為paddle tensor    label ＝ D．to＿variable（label）    return feature， label4． 運(yùn)行訓(xùn)練循環(huán)

隊(duì)訓(xùn)練數(shù)據(jù)重復(fù)EPOCH遍訓(xùn)練循環(huán)；每次循環(huán)開頭都會(huì)重新shuffle數(shù)據(jù)。在訓(xùn)練過(guò)程中每間隔100步在驗(yàn)證數(shù)據(jù)集上進(jìn)行測(cè)試并匯報(bào)結(jié)果（acc）。

for i in range（EPOCH）：    np．random．shuffle（train＿data） ＃ 每個(gè)epoch都shuffle數(shù)據(jù)以獲得最佳訓(xùn)練效果；    ＃train    for j in range（len（train＿data） ／／ BATCH）：        feature， label ＝ get＿batch＿data（train＿data， j）        loss， ＿ ＝ ernie（feature， labels＝label） ＃ ernie模型的返回值包含（loss， logits）；其中l(wèi)ogits目前暫時(shí)不需要使用        loss．backward（）        optimizer．minimize（loss）        ernie．clear＿gradients（）        if j ％ 10 ＝＝ 0：            print（＇train ％d： loss ％．5f＇ ％ （j， loss．numpy（）））        ＃ evaluate        if j ％ 100 ＝＝ 0：            all＿pred， all＿label ＝ ［］， ［］            with D．base．＿switch＿tracer＿mode＿guard＿（is＿train＝False）： ＃ 在這個(gè)with域內(nèi)ernie不會(huì)進(jìn)行梯度計(jì)算；                ernie．eval（） ＃ 控制模型進(jìn)入eval模式，這將會(huì)關(guān)閉所有的dropout；                for j in range（len（test＿data） ／／ BATCH）：                    feature， label ＝ get＿batch＿data（test＿data， j）                    loss， logits ＝ ernie（feature， labels＝label）                     all＿pred．extend（L．a(chǎn)rgmax（logits， －1）．numpy（））                    all＿label．extend（label．numpy（））                ernie．train（）            f1 ＝ f1＿score（all＿label， all＿pred， average＝＇macro＇）            acc ＝ （np．a(chǎn)rray（all＿label） ＝＝ np．a(chǎn)rray（all＿pred））．a(chǎn)stype（np．float32）．mean（）            print（＇acc ％．5f＇ ％ acc）

訓(xùn)練過(guò)程中單次迭代輸出的日志如下所示：

train 0： loss 0．05833acc 0．91723train 10： loss 0．03602train 20： loss 0．00047train 30： loss 0．02403train 40： loss 0．01642train 50： loss 0．12958train 60： loss 0．04629train 70： loss 0．00942train 80： loss 0．00068train 90： loss 0．05485train 100： loss 0．01527acc 0．92821train 110： loss 0．00927train 120： loss 0．07236train 130： loss 0．01391train 140： loss 0．01612

包含了當(dāng)前 batch 的訓(xùn)練得到的Loss（ave loss）和每個(gè)Epochde 精度（acc）信息。訓(xùn)練完成后用戶可以參考快速運(yùn)行中的方法使用模型體驗(yàn)推理功能。

其它特性

ERNIE 還提供了混合精度訓(xùn)練、模型蒸餾等高級(jí)功能，可以在 README 中獲得這些功能的使用方法。