一、什么是數(shù)據(jù)標注

首先談?wù)勈裁词菙?shù)據(jù)標注。數(shù)據(jù)標注有許多類型，如分類、畫框、注釋、標記等等，我們會在下面詳談。要理解數(shù)據(jù)標注，得先理解AI其實是部分替代人的認知功能。回想一下我們是如何學(xué)習的，例如我們學(xué)習認識蘋果，那么就需要有人拿著一個蘋果到你面前告訴你，這是一個蘋果。然后以后你遇到了蘋果，你才知道這玩意兒叫做“蘋果”。類比機器學(xué)習，我們要教他認識一個蘋果，你直接給它一張?zhí)O果的圖片，它是完全不知道這是個啥玩意的。我們得先有蘋果的圖片，上面標注著“蘋果”兩個字，然后機器通過學(xué)習了大量的圖片中的特征，這時候再給機器任意一張?zhí)O果的圖片，它就能認出來了。這邊可以順帶提一下訓(xùn)練集和測試集的概念。訓(xùn)練集和測試集都是標注過的數(shù)據(jù)，還是以蘋果為例子，假設(shè)我們有1000張標注著“蘋果”的圖片，那么我們可以拿900漲作為訓(xùn)練集，100張作為測試集。機器從900張?zhí)O果的圖片中學(xué)習得到一個模型，然后我們將剩下的100張機器沒有見過的圖片去給它識別，然后我們就能夠得到這個模型的準確率了。想想我們上學(xué)的時候，考試的內(nèi)容總是不會和我們平時的作業(yè)一樣，也只有這樣才能測試出學(xué)習的真正效果，這樣就不難理解為什么要劃分一個測試集了。

我們知道機器學(xué)習分為有監(jiān)督學(xué)習和無監(jiān)督學(xué)習。無監(jiān)督學(xué)習的效果是不可控的，常常是被用來做探索性的實驗。而在實際產(chǎn)品應(yīng)用中，通常使用的是有監(jiān)督學(xué)習。有監(jiān)督的機器學(xué)習就需要有標注的數(shù)據(jù)來作為先驗經(jīng)驗。

在進行數(shù)據(jù)標注之前，我們首先要對數(shù)據(jù)進行清洗，得到符合我們要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括去除無效的數(shù)據(jù)、整理成規(guī)整的格式等等。具體的數(shù)據(jù)要求可以和算法人員確認。

二、常見的幾種數(shù)據(jù)標注類型

1.分類標注：分類標注，就是我們常見的打標簽。一般是從既定的標簽中選擇數(shù)據(jù)對應(yīng)的標簽，是封閉集合。如下圖，一張圖就可以有很多分類/標簽：成人、女、黃種人、長發(fā)等。對于文字，可以標注主語、謂語、賓語，名詞動詞等。