什么是物體檢測？

與許多計算機視覺認知應用相比，對象檢測是在圖像和視頻中識別和定位對象的常用技術之一。顧名思義——“計算機視覺”，是計算機獲得類似人類視覺以查看和識別物體的能力。目標檢測可以被視為具有一些高級功能的圖像識別。該算法不僅可以識別／識別圖像／視頻中的對象，還可以對它們進行定位。換句話說，算法在圖像或視頻幀中的對象周圍創建了一個邊界框。

物體檢測示例

各種物體檢測算法

以下是一些用于對象檢測的流行：

R－CNN： 基于區域的卷積神經網絡

Fast R－CNN： ：基于區域的快速卷積神經網絡

Faster R－CNN： 更快的基于區域的卷積網絡YOLO： 只看一次

SSD： 單鏡頭探測器每種算法都有自己的優缺點。這些算法如何工作的細節超出了本文的范圍。

卷積神經網絡的架構

曾經晚上放學回家，打開電視看最喜歡的動畫片的美好時光，可能大家都經歷過。相信我們都喜歡看動畫片。那么，如何重溫那些日子呢？

今天，我們將學習如何使用 TensorFlow．js 創建端到端的自定義對象檢測 Web 應用程序。我們將在自定義數據集上訓練模型，并將其作為成熟的 Web 應用程序部署在瀏覽器上。

如果你對構建自己的對象檢測模型感到興奮，還等什么？讓我們深入了解。

本文將創建一個在瀏覽器上實時檢測卡通的模型。隨意選擇你自己的數據集，因為整個過程保持不變。

創建數據集

第一步是收集要檢測的對象的圖像。比如最喜歡的動畫片是機器貓，史酷比，米奇 老鼠，憨豆先生和麥昆。這些卡通形象構成了這個模型的類。為這五個類中的每一個收集了大約 60 張圖像。這是數據集外觀。

記住：如果你給模型喂垃圾，你就會得到垃圾。為了獲得最佳結果，請確保為模型收集足夠的圖像以從中學習特征。

收集到足夠的數據后，讓我們繼續下一步。

標記數據集

要標記數據集中的對象，我們需要一個注釋／標記工具。有很多注釋工具可以做到這一點，例如 LabelImg、Intel OpenVINO CVAT、VGG Image Annotator 等。

雖然這些都是業內最好的注釋工具，但發現 LabelImg 更容易使用。隨意選擇你喜歡的任何注釋工具，或者直接按照本文進行操作。

下面是一個帶注釋的圖像的示例：圍繞感興趣區域（對象）及其標簽名稱的邊界框。

圖片標注

對于每個注釋的圖像，將生成一個相應的 XML 文件，其中包含元數據，例如邊界框的坐標、類名、圖像名稱、圖像路徑等。

訓練模型時需要這些信息。我們稍后會看到那部分。

下面是 XML 注釋文件的外觀示例。

注釋 XML 文件

好的，一旦你正確注釋了所有圖像，按照目錄結構的以下方式將數據集拆分為訓練集和測試集：

數據集的目錄結構

在 Google Drive 上上傳數據集登

錄你的 Google 帳戶并將壓縮的數據集上傳到你的 Google Drive。我們將在模型訓練期間獲取此數據集。確保數據集的上傳沒有因網絡問題而中斷，并且已完全上傳。

Google Drive 上的數據集

在本地機器上克隆以下存儲庫

https：／／github．com／NSTiwari／TensorFlow．js－Custom－Object－Detection

此存儲庫包含一個名為：Custom＿Object＿Detection＿using＿TensorFlow＿js．pynb的 Colab Notebook。

打開 Google Colab 并將此 Colab Notebook上傳到那里。現在，我們將開始實際訓練我們的對象檢測模型。

我們正在使用 Google Colab，因此你無需在本地機器上安裝 TensorFlow 和其他庫，因此我們避免了手動安裝庫的不必要麻煩，如果安裝不當可能會出錯。

配置 Google Colab

在 Google Colab 上上傳筆記本后，檢查運行時類型是否設置為“GPU”。為此，請單擊 Runtime –＞ Change runtime type．

Google Colab 設置

在筆記本設置中，如果硬件加速器設置為＇GPU＇，如下圖，你就可以開始了。

Google Colab 設置

如果以上五個步驟都成功完成，那么就開始真正的游戲 —— 模型訓練。

模型訓練

配置所有必要的訓練參數。

掛載 Google Drive：

訪問你在第 3 步中存儲在 Google Drive 上的數據集。

from google．colab import drive

drive．mount（＇／content／drive＇）

安裝 TensorFlow 對象檢測 API：

安裝和設置 TensorFlow 對象檢測 API、Protobuf 和其他必要的依賴項。

依賴項：

所需的大部分依賴項都預裝在 Google Colab 中。我們需要安裝的唯一附加包是 TensorFlow．js，它用于將我們訓練的模型轉換為與網絡兼容的模型。

協議緩沖區：

TensorFlow 對象檢測 API 依賴于所謂的協議緩沖區（也稱為 protobuf）。Protobuf 是一種描述信息的語言中立方式。這意味著你可以編寫一次 protobuf，然后編譯它以用于其他語言，如 Python、Java 或 C。下面使用的protoc命令正在為 Python 編譯 object＿detection／protos 文件夾中的所有協議緩沖區。

環境：

要使用對象檢測 API，我們需要將它與包含用于訓練和評估幾個廣泛使用的卷積神經網絡 （CNN） 圖像分類模型的代碼的 slim 添加到我們的 PYTHONPATH 中。

測試設置：

運行模型構建器測試以驗證是否一切設置成功。

！python object＿detection／builders／model＿builder＿tf1＿test．py

從 Google Drive 復制數據集文件夾：

獲取保存在 Drive 上的圖像和注釋數據集。

！unzip ／content／drive／MyDrive／TFJS－Custom－Detection －d ／content／

％cd ／content／

％mkdir data

加載 xml＿to＿csv．py 文件：

！wget https：／／raw．githubusercontent．com／NSTiwari／TensorFlow．js－Custom－Object－Detection／master／xml＿to＿csv．py －P ／content／TFJS－Custom－Detection／

將XML注釋轉換為 CSV 文件：

所有 PascalVOC 標簽都轉換為 CSV 文件，用于訓練和測試數據。

％cd ／content／

！python TFJS－Custom－Detection／xml＿to＿csv．py

在數據文件夾中創建 labelmap．pbtxt 文件：考慮以下示例：

創建TFRecord：

下載 generate＿tf＿record．py 文件。

！wget https：／／raw．githubusercontent．com／NSTiwari／TensorFlow．js－Custom－Object－Detection／master／generate＿tf＿records．py －P ／content／

！python generate＿tf＿records．py －l ／content／data／labelmap．pbtxt －o data／train．record －i TFJS－Custom－Detection／images －csv TFJS－Custom－Detection／train＿labels．csv

！python generate＿tf＿records．py －l ／content／data／labelmap．pbtxt －o data／val．record －i TFJS－Custom－Detection／images －csv TFJS－Custom－Detection／val＿labels．csv

導航到models／research目錄：

％cd ／content／models／research

下載基本模型：

從頭開始訓練模型可能需要大量計算時間。相反，我們選擇在預訓練模型上應用遷移學習。當然，遷移學習在很大程度上有助于減少計算和時間。我們將使用的基本模型是非常快的 MobileNet 模型。

模型配置：

在訓練開始之前，我們需要通過指定 labelmap、TFRecord 和 checkpoint 的路徑來配置訓練管道。默認批量大小為 128，這也需要更改，因為它太大而無法由 Colab 處理。

import re

from google．protobuf import text＿format

from object＿detection．utils import config＿util

from object＿detection．utils import label＿map＿util

pipeline＿skeleton ＝ ＇／content／models／research／object＿detection／samples／configs／＇ ＋ CONFIG＿TYPE ＋ ＇．config＇

configs ＝ config＿util．get＿configs＿from＿pipeline＿file（pipeline＿skeleton）

label＿map ＝ label＿map＿util．get＿label＿map＿dict（LABEL＿MAP＿PATH）

num＿classes ＝ len（label＿map．keys（））

meta＿arch ＝ configs［＂model＂］．WhichOneof（＂model＂）

override＿dict ＝ ｛

 ＇model．｛｝．num＿classes＇．format（meta＿arch）： num＿classes，

 ＇train＿config．batch＿size＇： 24，

 ＇train＿input＿path＇： TRAIN＿RECORD＿PATH，

 ＇eval＿input＿path＇： VAL＿RECORD＿PATH，

 ＇train＿config．fine＿tune＿checkpoint＇： os．path．join（CHECKPOINT＿PATH， ＇model．ckpt＇），

 ＇label＿map＿path＇： LABEL＿MAP＿PATH
｝

configs ＝ config＿util．merge＿external＿params＿with＿configs（configs， kwargs＿dict＝override＿dict）

pipeline＿config ＝ config＿util．create＿pipeline＿proto＿from＿configs（configs）

config＿util．save＿pipeline＿config（pipeline＿config， DATA＿PATH）

開始訓練：

運行下面的單元格以開始訓練模型。通過調用model＿main腳本并將以下參數傳遞給它來調用訓練

· 我們創建的pipeline．config 的位置。

· 我們想要保存模型的位置。

· 我們想要訓練模型的步驟數（訓練時間越長，學習的潛力就越大）。

· 評估步驟的數量（或測試模型的頻率）讓我們了解模型的表現。

！rm －rf ＄OUTPUT＿PATH

！python －m object＿detection．model＿main
       －－pipeline＿config＿path＝＄DATA＿PATH／pipeline．config
       －－model＿dir＝＄OUTPUT＿PATH
       －－num＿train＿steps＝＄NUM＿TRAIN＿STEPS
       －－num＿eval＿steps＝100

導出推理圖：

每 500 個訓練步驟后生成檢查點。每個檢查點都是你的模型在該訓練點的快照。

如果由于某種原因訓練因網絡或電源故障而崩潰，那么你可以從最后一個檢查點繼續訓練，而不是從頭開始。

import os

import re

regex ＝ re．compile（r＂model．ckpt－（［0－9］＋）．index＂）

numbers ＝ ［int（regex．search（f）．group（1）） for f in os．listdir（OUTPUT＿PATH） if regex．search（f）］

TRAINED＿CHECKPOINT＿PREFIX ＝ os．path．join（OUTPUT＿PATH， ＇model．ckpt－｛｝＇．format（max（numbers）））

print（f＇Using ｛TRAINED＿CHECKPOINT＿PREFIX｝＇）

！rm －rf ＄EXPORTED＿PATH

！python －m object＿detection．export＿inference＿graph 

 －－pipeline＿config＿path＝＄DATA＿PATH／pipeline．config 

 －－trained＿checkpoint＿prefix＝＄TRAINED＿CHECKPOINT＿PREFIX 

 －－output＿directory＝＄EXPORTED＿PATH

測試模型：

現在，讓我們在一些圖像上測試模型。請記住，該模型僅訓練了 500 步。所以，準確度可能不會那么高。運行下面的單元格來親自測試模型并了解模型的訓練效果。

注意：有時，此命令不運行，可以嘗試重新運行它。此外，嘗試將模型訓練 5，000 步，看看準確性如何變化。

from IPython．display import display， Javascript， Image

from google．colab．output import eval＿js

from base64 import b64decode

import tensorflow as tf

＃ Use javascipt to take a photo．

def take＿photo（filename， quality＝0．8）：

    js ＝ Javascript（＇＇＇

     async function takePhoto（quality） ｛

     const div ＝ document．createElement（＇div＇）；

     const capture ＝ document．createElement（＇button＇）；

     capture．textContent ＝ ＇Capture＇；

     div．appendChild（capture）；

const video ＝ document．createElement（＇video＇）；

     video．style．display ＝ ＇block＇；

     const stream ＝ await navigator．mediaDevices．getUserMedia（｛video： true｝）；

document．body．appendChild（div）；

     div．appendChild（video）；

     video．srcObject ＝ stream；

     await video．play（）；

／／ Resize the output to fit the video element．

     google．colab．output．setIframeHeight（document．documentElement．scrollHeight， true）；

／／ Wait for Capture to be clicked．

     await new Promise（（resolve） ＝＞ capture．onclick ＝ resolve）；

const canvas ＝ document．createElement（＇canvas＇）；

     canvas．width ＝ video．videoWidth；

     canvas．height ＝ video．videoHeight；

     canvas．getContext（＇2d＇）．drawImage（video， 0， 0）；

     stream．getVideoTracks（）［0］．stop（）；

     div．remove（）；

     return canvas．toDataURL（＇image／jpeg＇， quality）；

   ｝

   ＇＇＇）

  display（js）

  data ＝ eval＿js（＇takePhoto（｛｝）＇．format（quality））

  binary ＝ b64decode（data．split（＇，＇）［1］）

  with open（filename， ＇wb＇） as f：

     f．write（binary）

  return filename

try：

 take＿photo（＇／content／photo．jpg＇）

except Exception as err：

 ＃ Errors will be thrown if the user does not have a webcam or if they do not

 ＃ grant the page permission to access it．

 print（str（err））

＃ Use the captured photo to make predictions

％matplotlib inline

import os

import numpy as np

from matplotlib import pyplot as plt

from PIL import Image as PImage

from object＿detection．utils import visualization＿utils as vis＿util

from object＿detection．utils import label＿map＿util

＃ Load the labels

category＿index ＝ label＿map＿util．create＿category＿index＿from＿labelmap（LABEL

MAP＿PATH， use＿display＿name＝True）

＃ Load the model

path＿to＿frozen＿graph ＝ os．path．join（EXPORTED＿PATH， ＇frozen＿inference＿graph．pb＇）

detection＿graph ＝ tf．Graph（）

with detection＿graph．as＿default（）：

 od＿graph＿def ＝ tf．GraphDef（）

 with tf．gfile．GFile（path＿to＿frozen＿graph， ＇rb＇） as fid：

   serialized＿graph ＝ fid．read（）

   od＿graph＿def．ParseFromString（serialized＿graph）

   tf．import＿graph＿def（od＿graph＿def， name＝＇＇）

with detection＿graph．as＿default（）：

 with tf．Session（graph＝detection＿graph） as sess：

   ＃ Definite input and output Tensors for detection＿graph

   image＿tensor ＝ detection＿graph．get＿tensor＿by＿name（＇image＿tensor：0＇）

   ＃ Each box represents a part of the image where a particular object was detected．

   detection＿boxes ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿boxes：0＇）

   ＃ Each score represent how level of confidence for each of the objects．

   ＃ Score is shown on the result image， together with the class label．

   detection＿scores ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿scores：0＇）

   detection＿classes ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿classes：0＇）

   num＿detections ＝ detection＿graph．get＿tensor＿by＿name（＇num＿detections：0＇）

   image ＝ PImage．open（＇／content／photo．jpg＇）

   ＃ the array based representation of the image will be used later in order to prepare the

   ＃ result image with boxes and labels on it．

   （im＿width， im＿height） ＝ image．size

   image＿np ＝ np．array（image．getdata（））．reshape（（im＿height， im＿width， 3））．astype（np．uint8）

   ＃ Expand dimensions since the model expects images to have shape： ［1， None， None， 3］

   image＿np＿expanded ＝ np．expand＿dims（image＿np， axis＝0）

   ＃ Actual detection．

   （boxes， scores， classes， num） ＝ sess．run（

       ［detection＿boxes， detection＿scores， detection＿classes， num＿detections］，

       feed＿dict＝｛image＿tensor： image＿np＿expanded｝）

   ＃ Visualization of the results of a detection．

   vis＿util．visualize＿boxes＿and＿labels＿on＿image＿array（

      image＿np，

       np．squeeze（boxes），

       np．squeeze（classes）．astype（np．int32），

       np．squeeze（scores），

       category＿index，

       use＿normalized＿coordinates＝True，

       line＿thickness＝8）

   plt．figure（figsize＝（12， 8））

   plt．imshow（image＿np）

將模型轉換為 TFJS：

我們導出的模型適用于 Python。但是，要將其部署在 Web 瀏覽器上，我們需要將其轉換為 TensorFlow．js，以便兼容直接在瀏覽器上運行

此外，該模型僅將對象檢測為label＿map．pbtxt． 因此，我們還需要為所有可以映射到 ID 的標簽創建一個 JSON 列表。

下載模型：

現在可以下載 TFJS 模型了。

注意：有時，此命令不會運行或會引發錯誤。請嘗試再次運行它。

你還可以通過右鍵單擊左側邊欄文件檢查器中的 model＿web．zip 文件來下載模型。

from google．colab import files

files．download（＇／content／model＿web．zip＇）

如果你順利到達這里，恭喜你，你已經成功地訓練了模型。

使用 TensorFlow．js 在 Web 應用程序上部署模型。下載 TFJS 模型后，復制TensorFlow．js－Custom－Object－Detection／React＿Web＿App／public目錄中的 model＿web 文件夾 。

現在，運行以下命令：

cd TensorFlow．js－Custom－Object－Detection／React＿Web＿App

npm install

npm start

現在，最后在你的 Web 瀏覽器上打開localhost：3000并親自測試模型。

TF．js 模型的對象檢測輸出

因此，恭喜你使用 TensorFlow 創建了端到端的自定義對象檢測模型，并將其部署在使用 TensorFlow．js 的 Web 應用程序上。

       原文標題 : 使用 TensorFlow.js 在瀏覽器上進行自定義對象檢測