用于對象檢測，對象識別和分割任務(wù)的自動注釋解決方案。

你好，朋友們在這篇博文中，我想分享我們在使用人工智能技術(shù)獨立生成數(shù)據(jù)標(biāo)簽方面的工作

在理解我們的方法之前，讓我們先了解一下什么是外行術(shù)語中的數(shù)據(jù)標(biāo)簽在機器學(xué)習(xí)中，數(shù)據(jù)標(biāo)注只是識別原始數(shù)據(jù)的過程)并添加一個或多個有意義和信息豐富的標(biāo)簽來提供上下文，以便機器學(xué)習(xí)模型可以從中學(xué)習(xí)和推斷大多數(shù)最先進的機器學(xué)習(xí)模型高度依賴于大量標(biāo)記數(shù)據(jù)的可用性，這是監(jiān)督任務(wù)中的重要一步各種用例都需要數(shù)據(jù)標(biāo)簽，包括計算機視覺，自然語言處理和語音識別傳統(tǒng)上，這種枯燥瑣碎的數(shù)據(jù)標(biāo)注過程很大程度上是由人類完成的為了幫助人類最大限度地減少從零開始的瘋狂數(shù)據(jù)標(biāo)記工作和努力，我們提出了一種自動算法解決方案，旨在減少大量的人工工作讓我們來看看這種標(biāo)簽數(shù)據(jù)的實際位置的參考在這里，我將談?wù)動嬎銠C視覺任務(wù)計算機視覺只是復(fù)制了人類視覺的復(fù)雜性和對周圍環(huán)境的理解例如，計算機視覺任務(wù)包括獲取，處理，分析和理解數(shù)字圖像的方法，以及從現(xiàn)實世界中提取高維數(shù)據(jù)以生成決策形式的數(shù)字或符號信息的方法在計算機視覺領(lǐng)域，有許多不同的任務(wù)我就不深入討論它們的細(xì)節(jié)了，比如分類，檢測，分割等等但是，下圖提供了這些任務(wù)的簡明概述和目標(biāo)，并提供了上下文中對象的示例—，香蕉

標(biāo)簽數(shù)據(jù)的上下文要求示例

監(jiān)督模型檢測對象ndash香蕉帶注釋的標(biāo)簽被輸入到模型中，這樣它就可以學(xué)習(xí)香蕉像素的表示，并在上下文中定位它們，然后可以用來推斷看不見的/新的數(shù)據(jù)實例分割任務(wù)的目的是檢測對象，定位這些對象，并提供關(guān)于它們的數(shù)量，大小和形狀的信息我們用這樣一個高級的細(xì)分模型例子——，屏蔽R—cnnrd quo，作為我們框架的核心骨干，我們可以根據(jù)他們的需求和目標(biāo)使用任何其他網(wǎng)絡(luò)架構(gòu)我們堅持使用遮罩R—CNN，因為它可以檢測圖像中的目標(biāo)，并為每個目標(biāo)生成高質(zhì)量的分割遮罩對于我們檢測COVID感染的具體測試用例來說，感染區(qū)域的準(zhǔn)確定位非常重要，因此像素級檢測更適合這種情況

我們的方法

我們的工具流水線如下圖，主要由檢測器跟蹤器，自動標(biāo)簽?zāi)K和輸出機器標(biāo)簽并保存到磁盤的I/O模塊組成。

步驟1:—用于像素級分類的目標(biāo)檢測和跟蹤

自定義弱訓(xùn)練MASK—RCNN模型用于檢測COVID感染，標(biāo)注實例較少(lt，10個樣本)為了標(biāo)記感染區(qū)域，我們使用了VIA(VIA)圖像標(biāo)記工具它是一個簡單而獨立的圖像，音頻和視頻手動注釋軟件VIA在網(wǎng)絡(luò)瀏覽器中運行，無需任何安裝或設(shè)置完整的VIA軟件可以安裝在一個獨立的HTML頁面中，該頁面的大小不到400KB，在大多數(shù)現(xiàn)代網(wǎng)絡(luò)瀏覽器中作為離線應(yīng)用程序運行VIA是一個完全基于HTML，Javascript和CSS(獨立于外部庫)的開源項目VIA由視覺幾何集團(VGG)開發(fā)，并在BSD—2下發(fā)布，這使得它既可用于學(xué)術(shù)項目，也可用于商業(yè)應(yīng)用檢測器用于獲取遮罩，邊界框和定位類別其次，利用中心跟蹤算法對輸入視頻數(shù)據(jù)流上的多個感染區(qū)域進行跟蹤和標(biāo)記以下是我們的MASK—RCNN Covid檢測器的一個片段步驟2:—逐幀標(biāo)記數(shù)據(jù)來自預(yù)先訓(xùn)練的檢測器模型的推斷用于獲得邊界框的位置并創(chuàng)建JSON元數(shù)據(jù)一旦幀被使用掩?！猂CNN分割，相應(yīng)的感興趣區(qū)域(ROI)將被生成此外，生成每個感興趣區(qū)域的掩模，然后對整個圖像幀進行輪廓檢測然后，從等高線中提取(x，y)坐標(biāo)最后，這些形狀，面積和坐標(biāo)屬性被逐幀保存到磁盤上下面是我們自動閱卷算法的一個片段示例—冠狀病毒感染檢測和自動標(biāo)記我們測試了我們的方法，目標(biāo)是為Covid感染區(qū)域生成自動計算機標(biāo)記機器生成標(biāo)簽和手動標(biāo)注標(biāo)簽的結(jié)果如下所示可以看到，自動標(biāo)注引擎生成了質(zhì)量相當(dāng)好的合成標(biāo)簽，可以用來重新訓(xùn)練對象檢測模型，或者生成更多可以用于不同任務(wù)的標(biāo)注數(shù)據(jù)

。

數(shù)據(jù)標(biāo)注是一項非常艱巨的任務(wù)，也是監(jiān)督學(xué)習(xí)通道的關(guān)鍵組成部分之一這是一項需要大量手工工作的任務(wù)然后，我們可以讓大多數(shù)這些普通的，勞動密集型的，耗時的任務(wù)由機器自動驅(qū)動，目的是將大量的人工任務(wù)減到最少我們以直觀的方式關(guān)注這個普遍性的問題，從而緩解標(biāo)簽有限的瓶頸或者需要從頭標(biāo)記大量例子的問題

注:—我們的工具目前正在進行alpha測試目前我們設(shè)計的框架是基于MASK R—CNN和VIA標(biāo)注格式我們還打算擴展我們的原型，以包括不同的最先進的檢測器，如YOLO和相應(yīng)的YOLO兼容的注釋格式此外，我們計劃集成COCO注釋格式值得將所有不同的圖像注釋集成為我們框架的一部分，并為工具提供不同的庫，如Torch，TensorFlow，Caffe等