作者:Will Knight
機器之心編譯 參與:wenhui、原野、亞洲
Twitter 正在研發能自動識別直播視頻內容的技術,在精準視頻推薦上邁進了一步。這是許多公司夢寐以求的技術,看來在這次技術競爭中,Twitter 拔得頭籌。
此時此刻,某人正在直播有趣的事情。多虧了 Twitter 人工智能研發人員開發的這一技術,你很快就能找到這些正在直播的有趣視頻。
因為 Twitter 的 Periscope、Meerkat 和最近的出現的 Facebook Live 這樣的手機 App,直播正在成為當下最流行的事情。然而,直播視頻的內容通常不能很好的被分類或者打上標簽,因為直到開拍的時候人們才能知道直播內容。
Twitter 的人工智能團隊 Cortex,已經開發出了一種即刻識別直播視頻內容的算法。舉例來說,這種算法能夠分辨出來直播片段中主播是在玩吉他,還是在演示電動工具,或是一只貓在觀眾面前張牙舞爪。
「在 Periscope 上,內容是一直變化的,尤其是直播視頻,」Cortex 的技術主管 Clement Farabet 說。他向《麻省理工科技評論》示了該視頻識別技術:屏幕上,Periscope 上的二十四個直播視頻全部被實時標記。
識別直播視頻內容是一種讓人印象深刻的手段。研究人員近些年已經用算法取得了令人矚目的進展,比如識別圖片中的物體。但在直播視頻畫質實時變化的情況下,識別起來就頗具難度了。實時識別同時需要可觀的計算能力。Twitter 及時定制了一臺完全由 GPU(圖形處理器)組成的超級計算機,用以解決視頻分類和傳輸計算結果的問題。這些芯片組在處理深度學習需要的數學計算時非常高效,而這僅僅是龐大計算機系統中的一部分。
「處理靜態視頻已經是個不小的挑戰了,要處理動態視頻則要求更強大的處理能力。」研究個性化內容的匹斯堡大學教授 Peter Brusilovsky 說。
Brusilovsky 說我們亟需更好的過濾視頻方法。「視頻一般不能快速預覽,」他說,「因此,推薦就變得很重要。這是視頻現在缺失的部分。」
推薦視頻通常是向人展示一個跟他/她有相似興趣的人看過的視頻(也就是知名的「協同過濾」collaborative filtering 方法)。這是對真實興趣的粗略估計,但它對直播視頻的內容卻不起作用。
Cortex 團隊擁有創造復雜推薦系統的雄心。基于用戶之前的行為,推薦系統幫助用戶過濾和組織分享在服務平臺上的各種內容。
Cortex 團隊研發的視頻識別技術至今仍未應用在任何 Twitter產品上。但現在正在 Periscope——一個用戶利用智能手機就能視頻直播的 Twitter 應用——上進行測試。該團隊利用深度學習的方法來識別視頻中的活動。深度學習通過大量樣例訓練大型模擬神經網絡,識別輸入的內容。這些樣例由職員觀看視頻、然后添加關鍵詞。打標簽的過程為視頻提供了足夠復雜的語義理解框架。舉例來說,一段視頻中出現的貓將不僅僅被歸類為「貓」,也會被納入「貓科」、「哺乳動物」、「動物」等分類中。這提供了一種探索視頻的精致方法。
視頻直播正在快速成為社交媒介廣闊圖景的重要一部分。
Twitter 在 2015 年 1 月以超出 5,000 萬美元的價格收購了 Periscope,當時這款 App 還未發布。這起收購發生在 Meerkat 火爆之后,Meerkat 是另一個關聯到 Twitter 賬號的視頻直播應用 。而 Facebook 也在 2015 年早期開始運營自家的視頻直播業務。在今年三月初 , 該公司將直播業務放到了每一用戶可見的主頁來凸顯該業務對于公司未來的重要性。
Periscope 目前尚無將此視頻識別技術商業化的計劃,也不打算添加廣告業務。但是,不難想象這種技術將給廣告業務帶何等的變化:算法幫助篩選與當前播放的電影、直播內容相匹配的廣告(這將提高內容受眾對廣告的接受度)。事實上,隨著越來越多的視頻屬于在線播放,這一算法能夠幫助 Twitter 更為高效的根據內容匹配廣告。值得一提的是,該公司獲得了直播數場 NFL 比賽的資格。哈佛大學伯克曼中心副教授、在線媒體和廣告專家 Ben Edelman 認為 Twitter 開發的這一技術在篩選、過濾有版權的視頻內容上和色情、暴力這樣的不想要的內容上非常重要。
同時 Farabet 只對找到人們真正想要觀看的內容抱有興趣。「找到你真正感興趣的內容——與內容的創造者或產生時間無關——是我們真正想擁有的能力。」他說。
本文由機器之心編譯
|