首頁 > 消息 > 亞馬遜發布 Web 視頻分類新框架:1/100 數據量,精度趕超最優模型
2020
04-07

亞馬遜發布 Web 視頻分類新框架:1/100 數據量,精度趕超最優模型

克日,亞遜、智能始創公司 SenseTime 與港中學的鉆研員,配合開辟出了個利 Web 數據的新框架—— OmniSource,該框架正在視頻辨認范疇締造了新記載。

經由過程處理圖象、短視頻和時候未剪輯視頻等數據款式之間的沒有兼容,并采數據均衡等措施,OmniSource 可以開始進的模子更正確地對于視頻進分類,但其使的數據卻少了 100 倍。

OmniSource 事情道理

鉆研員指出,平常搜集練習視頻分類算法所需的數據既高貴費時,由于視頻凡是包羅個或者多個主題的多個鏡頭,是以分類時必需完備旁觀它們,然后動將其剪切成段,再認真添加標注。

OmniSource 的系統布局圖

而 OmniSource 是以集成的式使用各類根源(搜刮引擎,交際媒體)的種種情勢 Web 數據,比如:圖象、剪輯視頻和未剪輯視頻。然后,AI 體系過濾失低質量的數據樣本,并對于那些經過其調集的數據樣本(平均為 70% 至 80%)停止標志,對于每一個樣本舉行轉換以使其適于標事件,同時提高分類模子練習的魯棒性。

正在給定辨認使命后,OmniSource 會獲取一切分類中每一個類名的癥結字,并從上述根源中抓取 Web 數據,并動刪除反復數據。而對付動態圖象,要事后預備這些圖象,用于結合鍛煉時代使,它會經過利挪動攝像機使它們成「偽」視頻。

正在結合鍛煉階段,旦將數據過濾并轉換為與標數據集不異的款式,OmniSource 就會衡量 Web 和口號料庫,然后采跨數據集混淆要領,將此中包羅的示例對于及其標簽于鍛煉。

更少的數據,更高的精度

正在結合鍛煉這個階段,據研討員陳述稱,當用 OmniSource 從頭練習視頻辨認模子時,只管微調結果欠安,但穿插數據夾雜所獲得的后果很好。

而正在測試中,團隊使了三個標數據集:

Kinematics-400,個中包羅 400 個分類,每一個分類包羅 400 個 10 分鐘的視頻;

YouTube-car,個中包羅數千個視頻,展現了 196 種分歧范例的汽;

UCF101,包羅 100 個剪輯片斷和 101 個種別的視頻辨認數據集;

Web 數據集漫衍。 ( a ) - ( c ) 表現了三個 Web 數據集正在過濾前后,各個種別數據漫衍中被可視化。(d)給出了 GG-K400 過濾出的圖象(青色框)和殘剩圖象(藍色框)的樣本。固然樂成過濾出了許多分歧適的數據,但這使得各種別的數據漫衍越發沒有均

關于網站資本,研討職員從 Google 圖象搜刮中網絡了 200 萬張圖象,從 Instagram 網絡了 150 萬圖象和 500,000 個視頻,和從 YouTube 網絡了 17,000 多個視頻。連系標數據集,全部這些都被輸到一些視頻分類模子中。

據陳訴表現,正在沒有舉行練習時,只要 350 萬張圖象和 80 萬分鐘的視頻或許從互聯上爬取而得,效果不迭先前任務的 2%。而正在 Kinetics-400 數據集上,顛末練習的模子則顯現出少 3.0%的精確性提,精度達 83.6%。同時,該框架下從零入手下手練習的最好模子正在 Kinetics-400 數據集上,達到了 80.4%的正確度。

可擴展的視頻辨認技巧

OmniSource 論的作者透露表現,與開始進的手藝相,該框架或許經過更簡略(也更輕盈)的主設想和更的輸量來完成可持平乃至更好的功能。OmniSource 利了特定于事情的數據集,而且數據服從更,與曩昔的法相,它削減了所需的數據量。別的,框架可推到種種視頻使命中,譬喻:視頻辨認和細粒度分類等。

圖根源:Reuters / Thomas Peter

將來,OmniSource 大概還或許應于私和公開場合的寧靜攝像機中?;?,它或許為諸如 Facebook 之類的交際網站,供給視頻考核算法所需的計劃消息與技能。

原文所在:

https://venturebeat.com/2020/04/02/amazon-sensetime-omnisource-framework-web-data-video-recognition/

OmniSource 論文地點:

https://arxiv.org/pdf/2003.13042.pdf

【編纂保舉】

每秒處置懲罰 240 萬幀游戲畫面,AI 練習本錢升高 80%,谷歌開源 RL 并行較量爭論框架

3 月寰球 Web 辦事器考察陳述:Nginx 域名份額首超 Apache

2020 年前端框架的比力

華為全場景 AI 盤算框架 MindSpore 開源!

微軟谷歌亞馬遜云合作封閉新陣線 無需編寫代碼短工夫內建立運用

【義務編纂:張燕妮 TEL:(010)68476606】

點贊 0

假造實際足球司理www.vrsoccer.cn

本文》有 0 條評論

留下一個回復