【摘要】:
圖片搜索在目標判斷上有其特殊性,往往依賴圖片所在網頁的文本來推斷圖片內容,也就是所謂的圖片周邊文本。但周邊文本常常無法準確表達圖片內容;同一張圖片被多個網頁引用時,各處描述又不一致;還有大量圖片根本沒有周邊文本。這給圖片搜索演算法提出了相當高的要求。
通過「眾包」方式(如百度眾測平台)組織人工標注,能有效提升圖片搜索的準確率與召回率;同時這些標注數據還可以作為機器學習的訓練樣本,進一步提高模型的判斷水平。但人工標注過程中也有不少難題:
(1)用戶作弊。參與者中,有的是出於興趣,有的是為了平台獎勵。有獎勵的地方就會有人鑽空子,而作弊數據會直接拉低標注結果的可信度。
(2)引導不足。如何讓標注更準確、成本更低、過程更有趣,從而提升整體效率,是另一個需要解決的問題。
本文介紹的,就是一種具備防作弊能力、能對標注信息做細粒度引導,從而不斷提高數據精確度的圖片標注方法。
在這個標注遊戲中,用戶被區分為兩類:
(1)描述者:看到系統展示的一張圖片,用一段文字或幾組關鍵詞描述其內容與特點。
(2)判斷者:系統展示多張圖片(通常4張)和一段描述文字,其中必然包含該描述對應的那張圖,判斷者需要挑出正確的一張。
用戶可以在兩種身份間隨意切換,但系統保證不會出現「自己判斷自己描述的圖片」這種情況。分配時有一套演算法確保:不會把任務分給原描述者,也不會分給與描述者距離過近、可能彼此認識的用戶。

圖1: 圖片標注系統
如圖1,用戶點擊「描述圖片」後,系統會從圖片數據集(URL集合)中隨機抽取100個地址,逐張展示。

圖2:描述圖片(甲殼蟲昆蟲)

圖3:描述圖片(甲殼蟲汽車)

圖4:描述圖片(甲殼蟲樂隊)
這組例子很能說明問題:「甲殼蟲」這個詞可以指向昆蟲、汽車,也可以指向樂隊。單靠周邊文本,機器很難區分,而人工描述能明確補上這層語義。

圖5:判斷圖片
用戶選擇「判斷圖片」時,系統同樣隨機抽取100個已有標注的圖片,每次展示一段標注文字和對應的4張圖(數量可配置)。如圖5,最上方藍色框裡是已有用戶寫下的標注「甲殼蟲汽車」,中間是系統挑選出的4張候選圖,其中包含正確答案(圖中為紅色甲殼蟲汽車)。
用戶判斷完成後,點擊相應圖片,圖片周邊會出現紅色方框標記,再點「繼續判斷」即可提交結果並進入下一組。
為了防止作弊,系統需要重點避免兩類行為:一是描述者判斷自己標注的圖片;二是描述者與判斷者之間串通。
對應的處理方式:
(1)描述者標注時,系統記錄其賬號與IP地址。
(2)挑選判斷者時選擇不同賬號,並對IP做地理位置轉換,優先選擇距離描述者較遠的用戶。
(3)系統記錄每條標注文字的分配歷史,避免重複匹配到相同組合。
把這三層機制疊加起來,協同作弊的成本會被顯著抬高。而隨著標注數據的不斷積累與交叉驗證,描述本身的精度也會持續收斂——這正是這套設計最關鍵的價值所在。