當前位置:   金科網 > 人工智能 > 正文

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放

  如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  金科網(公眾號:金科網) AI 科技評論按:在計算機視覺領域,圖像分類其實是一個最基本的問題,然后一旦遇到極端長尾、開放式的數據集時,即便是最基本的圖像識別任務,也難以很好地實現。伯克利 AI 研究院基于對某段相關的經歷的思考提出了「開放長尾識別」(OLTR)方法,據介紹,該方法可同時處理龐大、稀有、開放類別的視覺識別,是目前視覺識別系統評價中更全面、更真實的一種檢驗標準,它可以被進一步擴展到檢測、分割和強化學習上。這一成果也在伯克利 AI 研究院上進行了發表,金科網 AI 科技評論編譯如下。

  現有的計算機視覺環境 VS 現實世界場景有一天,一位生態學家來找我們。因為他用攝像機拍攝了很多野生動物的照片,希望運用現代計算機視覺技術,基于這些照片的數據庫自動辨識拍到了哪些動物。這聽起來是一個基本的圖像分類問題,所以我們當時很自信,覺得肯定沒問題。然而結果我們卻失敗了。那位生態學家提供的數據庫是極端長尾且開放式的。通常,只要無法得到足夠的訓練數據,我們就會問對方,有沒有可能提供更多的尾部類別數據,而忽略可能在測試數據中出現的一些開集類別。遺憾的是,要解決那位生態學家的問題,我們無法采用收集更多數據的做法。由于這些生態學家可能要花相當長的時間,才會在野外拍到他們計劃拍攝的珍稀動物。為了拍到一些瀕危動物,他們甚至必須等幾年才能拍到一張照片。如此同時,新的動物物種不斷出現,舊的物種同時正在消失。在這樣一個動態變化的系統之內,類別的總數永遠無法固定。而且,從動物保護的意義上說,識別新發現的稀有動物比識別數量還很多的動物更有價值。如果我們只能在數量眾多的類別中很好地識別動物,那我們的方法永遠都不會有什么實用價值。我們嘗試了所有可能采用的方法,能想到的都試過了,比如數據增強、采樣技術、小樣本學習、不平衡分類,但沒有一種現有的方法可能同時處理龐大的類別、稀有的類別和開放的類別(如圖 1)。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法圖1:現有的計算機視覺環境和現實世界的場景差距相當大。自此以后,我們就一直在思考,現有的計算機視覺方法和現實世界的場景存在這么大的差距,最主要的原因是什么?不止是野生動物攝影數據存在這樣的問題,在現實生活中,這種問題一再出現,工業和學界都有。假如卷積神經網絡可以在龐大的 ImageNet 圖像數據集中非常順利地將圖片分門別類,那為什么在開放的世界中卻仍然無法解決圖片分類的問題?在視覺識別領域,幾乎所有的問題都有成功的解決之道,如小樣本學習和開集識別。可似乎沒有人把這些問題當作一個整體來看待。在現實世界的應用中,不論是頭部類別還是尾部類別,分類有時不止面臨單獨一種問題。因此,我們認為,這種理論和實踐的差距可能源于視覺識別設置自身。

  開放長尾識別(Open Long-Tailed Recognition,OLTR)在現有的視覺識別環境中,訓練數據和測試數據在封閉世界(比如 ImageNet 數據集)的設置下都是均衡的。但這種設置并沒有很好地模擬現實世界的場景。例如,生態學家永遠都無法收集到均衡的野生動物數據集,因為動物的分布是不均衡的。同樣地,從道路標示、時裝品牌、面孔、天氣環境,到街道環境等等,各種類型數據集的不均衡開放分布都會干擾人。為了如實地反映這些方面,我們開始正式研究源自自然數據集的「開放長尾識別」(OLTR)。一個實用的系統應該能夠在少數共性的類別和多個稀有類別之中分類,從極少數已知的例子之中總結歸納單獨一個類別的概念,基于某個過去從未見過的類別存在的一個例子,去了解這個類別的獨特性。我們將 OLTR 定義為,從長尾和開放的分布式數據中學習,并且基于一個平衡測試數據集評估分類的準確性,而這個測試數據集要包括在一個連續譜內的頭部、尾部和開集類別(如圖 2)。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  圖2:我們這個開放長尾識別的問題必須從一個開放世界的長尾分布式訓練數據中學習,處理整個譜的不平衡分類、小樣本學習和開集識別。OLTR 并沒有局限于字面上的定義,目前有三個問題和它密切相關,分別是不平衡分類、小樣本學習和開集識別,通常人們都是孤立地看待它們,分別獨立研究。圖 3 概括了它們之間的差異。在評估視覺識別系統方面,新提出的 OLTR 可以成為更廣泛、更現實的檢驗標準。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  圖3:不平衡分類、小樣本學習、開集識別和開放長尾識別(OLTR)之間的差異。注意力 & 記憶的重要性我們提出將圖像映射到一個特征空間,這樣,視覺概念之間可以基于學習到的度量相互關聯,并且這種度量既認可了封閉世界分類又承認了開放世界的新穎性。我們所提出的動態元嵌入層結合了直接圖像特征和關聯的記憶特征,同時,特征范數表示了對已知類別的熟悉程度,如圖所示 4。

  首先,我們通過聚集源自頭部類別和尾部類別的知識獲得了視覺記憶;然后將存儲在內存中的視覺概念當作關聯的記憶特征重新注入,以增強原來的直接特征。我們可以將其理解為利用誘導知識(即記憶特征)來幫助實現直接觀察(即直接特征)。我們進一步學習了一個概念選擇器來控制所要注入的記憶特征的數量和類型。由于頭部類別知識已經獲得了豐富的直接觀察,所以它們只被注入了少量的記憶特征。相反,尾部類別獲得的觀察很少,于是記憶特征里的關聯視覺概念就非常有用。最后,我們通過計算出獲得視覺記憶的可達性,來調整開放類別的可信度。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  圖4:關于文中方法的直觀解釋。我們提出的動態元嵌入層將直接圖像特征和聯想記憶特征結合在一起,用特征范數表示對已知類的熟悉度。全面提升如圖 5 所示,本文方法對所有的多/中/小樣本類別以及開放類別進行了綜合處理,在各方面都取得了實質性的提升。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  圖5:本文方法相對于普通模型的絕對 F1 分數。本文方法在多/中/少量類別以及開放類別上取得了全面進步。學習動態可視化這里,我們通過將頭部的激活神經元可視化,檢查了記憶特征注入的視覺概念,如如圖 6 所示。具體來說,對于每個輸入圖像,我們識別出了它在記憶特征中排名前 3 的遷移神經元。所有神經元都通過整個訓練集上最高的一組激活補丁實現可視化。例如,為了將左上角的圖像劃分為尾部類別「公雞」,我們的方法已經學會了依次遷移表示「鳥頭」、「圓形」和「點狀紋理」的視覺概念。在注入特征后,動態元嵌入層的信息豐富度和識別度變得更高。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

  圖6:記憶特性里排前三的注入視覺概念案例。除了右下的失敗情況(標記紅色),其他 3 個輸入圖像都被普通模型錯誤分類,被我們的模型正確分類。例如,為了對屬于尾部類別「公雞」的左上角圖像進行分類,本文方法學會了分別遷移表示「鳥頭」、「圓形」和「點狀紋理」的視覺概念。重返現實現在讓我們回到真正的叢林,將我們在本文中提出的方法應用到生態學家在第一部分提到的野生動物數據中。幸運的是,我們的新框架在不犧牲豐富類別的情況下,在稀缺類別上獲得了實質性的進步。具體而言,在圖像數量少于 40 的類別上,我們讓結果提升了大約 40%(從 25% 到 66%)。并且,在開放類別檢測上,我們讓結果提高了 15% 以上。

  我們相信,在開放長尾識別環境下開發的計算方法最終可以滿足自然分布數據集的需要。綜上所述,開放式長尾識別(OLTR)是視覺識別系統評價中更全面、更真實的一種檢驗標準,它可以被進一步擴展到檢測、分割和強化學習上。

  致謝:感謝論文《開放世界中的大規模長尾識別》的所有共同作者在撰寫這篇博文中所做的貢獻和討論。本文中所表達的觀點均屬于本文作者。

  此博文基于將在 IEEE 計算機視覺和模式識別會議(CVPR 2019)作口頭陳述的論文,如下:

  《開放世界中的大規模長尾識別》(Large-Scale Long-Tailed Recognition in an Open World)

  作者:Ziwei Liu*, Zhongqi Miao*, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella X. Yu

  Paper:https://arxiv.org/abs/1904.05160

  Project Page:https://liuziwei7.github.io/projects/LongTail.html

  Dataset:https://drive.google.com/drive/folders/1j7Nkfe6ZhzKFXePHdsseeeGI877Xu1yf

  Code & Model:https://github.com/zhmiao/OpenLongTailRecognition-OLTR

  viahttps://bair.berkeley.edu/blog/2019/05/13/oltr/ 金科網 AI 科技評論報道

  金科網原創文章,未經授權禁止轉載。詳情見轉載須知。

如何同時處理龐大、稀有、開放類別的視覺識別?伯克利 AI 研究院提出了開放長尾識別方法

415事件 415事件 IFO abcc交易所 ama事件 bibox bitfinex bitshares bitstamp btcguild btcguild主頁 btcc btcguild btc論壇 chain coin coinbase coinmarket coinmarketcap dc資訊 deepbit ether ethereum filecoin fiscobcos hotstuff huobi huobiwang hyperledger ico比特幣 imtoken kncminer kyle lsk mtgox破產 nervos okcoin okcoin okcoin交易平臺 okex公眾號被封 purpleline purse r3 ripple thundernetwork usdt暴跌 vdf zcash 愛德華·斯諾登 暗黑幣 巴菲特比特幣 巴西比特幣洗錢案 百度區塊鏈白皮書 斑馬社 比特幣8000美元 比特幣價格 比特幣暴漲 比特幣跌破 比特幣風險 比特幣工廠 比特幣匯率 比特幣交易平臺 比特幣交易網 比特幣今日價格 比特幣勒索 比特幣論壇 比特幣騙局 比特幣期貨 比特幣世界 比特幣是什么 比特幣聽證會 比特幣現金 比特幣行情 比特大陸 比特股 比特論壇 比特現金 比原鏈 幣貝 幣創網 幣網 幣盈網 幣眾籌 博納云 蔡欣 超主權貨幣 傳銷組織售暗黑幣 達世幣 復雜美區塊鏈 公信寶 共享財經 狗狗幣 關于防范比特幣風險的通知 韓鋒 韓國vs委內瑞拉 荷蘭皇家殼牌集團 荷蘭式拍賣 賀華成 恒星幣 火幣網 基亞索 極度貪婪 加密貨幣 蔣旭憲 金磊 矩陣元 烤貓 老貓 雷霆網 量化交易 鄰萌寶 孟巖 摩根幣官網 魔獸世界密保卡 旁氏騙局 區塊鏈 區塊鏈知乎 區塊鏈是什么 區塊鏈游戲 區域鏈 全球區塊鏈大會 榮格財經 瑞波幣 瑞波幣交易平臺 塞浦路斯事件 閃電網絡 什么是區塊鏈 史玉柱女兒史靜 首家互聯網法院 數秦科技 溯源鏈 算力吧 特朗普任命幕僚長 填補空白 萬向區塊鏈 王峰十問 王瑞錫 網易王磊 微寬網 維卡幣官網 烏克蘭前總理 西湖龍井資訊平臺 下架幣 小企股 小喵 迅雷在美遭遇訴訟 迅雷資訊 央行比特幣 以太 以太幣 以太坊 以太坊官網 以太坊價格 隱私云 于佳寧 元界 張海寧 賬本 質數幣 中本聰 朱波 朱嘉明 資本實驗室 資產上鏈 1噸tnt的威力 1噸tnt的威力 2016深圳雙創周 2016影響因子 2017新增院士名單公示 2017院士增選名單 2017支付寶掃碼領紅包 21噸tnt 2g物聯網芯片 360ak47 360百度大戰 360ak47 360百度大戰 360大戰百度 360和百度大戰 360黑匣子 360手機ak47 360與百度大戰 5.3寸手機 9505和9500區別 SmartisanOS發布會 bada論壇 build2017大會 csdn泄密 cv狗狗 dubike官網 evad3rs官網 facebook時間線 flappybird記錄 google資訊 gpu是什么 icloud艷照門 inwatch官網 ios7支持機型 iphone5nanosim卡 iphone5宣傳片 iphone5最新消息 iphone6mini iphone7或成愛瘋最終形態 i美股 jwotch腕寶 lbs觀景臺 lily無人機 lytro光場相機 miuiv6發布會直播 mobileye被收購 myo腕帶 nasa最新消息 nest恒溫器 norse黑客大戰 okex公眾號被封 pepper機器人 pornhubcom日本視頻 prynt手機殼 pythonmatplot繪圖 qq火炬 qq天降紅包 smartphone手機 sophone官網 tegra3四核處理器 ttg優惠券 vr愛情動作片在線播放 vr愛情動作片資源 vr左右格式愛情動作片 wifi怎么讀 wp7越獄 阿里巴巴上市視頻直播 阿里巴巴新任ceo 阿里無人超市 艾薇兒艷照事件 愛搞機 愛稀奇網 安卓挖礦蠕蟲 暗黑機器人 奧巴馬僵尸粉 奧迪男 百步淘 百度財報 百度360大戰 百度財報 百度美拍 百度通訊錄 百融 暴風播控云 暴風資訊 貝利珠 便利貼相機 播控云 草榴最新 草榴11 草榴客戶端 草榴色導航 草榴色區 草榴時光 草榴網站 暢呼吸 超光速引擎 車國網 陳小同 陳孝良 池澤彩野花 錘子手機發布會2016 垂直搜索引擎有哪些 春運車票四大陷阱 大旗網 大旗網首頁 大色魚網站 戴珊 地溝油航班首飛行 點滴網絡 點心os 點心rom 電信董事長調任移動 電蟒 丁道師 丁香園用藥助手 獨立調查員 兌吧積分商城 多聽v電臺 發改委罰高通60億 發現應用克隆漏洞 凡宇資訊 飛飛發 風火輪滑板 符德坤 福島電站輻射爆表 福島核電站輻射爆表 高通8064 工業互聯網 宮爆老奶奶bug 共享女友項目被罰 狗眼看世界 谷歌資訊 廣告資訊 桂花網 桂衛華 郭佳 郭子威 國產手機信息網 國外選美辣眼睛 海爾透明電視 韓寒的雜志 航芯一號 毫米波 黑莓a10 虹膜支付 紅米首發新品 紅星操作系統 后pc時代 胡時偉 互聯網最新資訊 華納資訊 華佗智能醫生 黃網 黃修源 徽劍 機器人技術 機器人記者崛起 極飛科技 極幕 極幕vr眼鏡 集群飛行器 計算機圖形學 記憶球 記者700元買同事行蹤 賈躍亭令計劃 監聽門 江蘇快3上宏發玩 街旁app 金蝶微博 金立e7發布會 京東金融更名 京東數據泄露 九又vr 凱文·米特尼克 考拉班車 考拉盒子 科大訊飛教育 科技媒體 科學家探測到引力波 空中巴鐵 酷開vr 酷六網 快按鈕 快播咨詢 快播資訊 快播資訊首頁 快播最新 雷峰 雷鋒 雷鋒電影 雷鋒2012 雷鋒報 雷鋒的 雷鋒的電影 雷鋒的死因 雷鋒的頭像 雷鋒的真相 雷鋒電影 雷鋒介紹 雷浪聲 李開復寫的書 李文棟 李一舟 李一舟微博 李一周 量子態隱形傳輸 林德康 林志穎iphone5 劉成敏 劉明輝 劉韌磊 劉世康 路寶盒子 鹿晗清晗基金陷色情門 羅永浩西門子 美國大選實時 美立知 蒙特卡洛樹搜索 猛犸4瀏覽器 米多娛樂 覓創 明日合伙人 爬行者 潘翔 蘋果ceo年薪 蘋果飛行器 蘋果新ceo 蘋果最新消息 ⑵槳宓縋宰钚倫恃?企業社交網絡 搶購信息 喬治·霍茲 親心小號 邱懿武 曲奇單車 趣店數據疑似外泄 仁寶回應樂視欠款 人工智能圖普科技. 人工智能技術 人工智能建站系統 人工智能圖普科技 人魔網 日志寶 如果云 三星gearvr-vive 山寨iphone5 舌尖上的元素周期表 申威1600 申威1600處理器 深航app劫持微信 深圳車牌 神舟天宮對接成功 沈向洋 視頻壓縮算法 試用目錄 手機氣壓感應器 手機水貨和行貨的區別 手機水貨與行貨的區別 數據丟失 數字化醫療 斯諾登事件最新消息 私家車不允許當專車 宋黎明 孫冰 孫丕恕 索尼honami 探針盒子 唐楊林 特斯拉處破產邊緣 特斯拉進入迪拜 騰訊安全反病毒實驗室 騰訊創業服務平臺 騰訊優圖實驗室 同盾科技 圖片搜索引擎大全 玩客幣騙局 玩客云騙局 汪滔 王漢華 王思聰吐槽ios9 王星 王自如致歉 網紅臉識別大戰 網紅臉識別人機大戰 網易郵箱密碼泄露 網易郵箱泄露 微軟補丁 微軟漏洞 微軟面試題 微軟宣布完成收購 微信5.5 為盲胞讀書 溫州電視臺被黑 溫州廣電被黑 溫州有線電視被黑 文件大師 無人機配件清單 吳俊杰 西湖論劍 夏航 先聲教育 鮮果聯播 小米2013年度發布會 小米4c發布會 小米iot 小米暢聊 小米資訊網 肖恩·范寧 肖力 新浪輕博客 嗅探 虛擬房間 迅雷大數據 迅雷新聞 迅雷資訊 迅雷資訊首頁 亞航客機失聯8大事實 巖田聰 遙控直升機原理 業界新聞 一噸tnt的威力 一數科技 醫療問答平臺 伊莉 移動互聯 易趴網 銀行數據挖掘 印度發104顆衛星 英偉達收購mellanox 硬件資訊 優談寶寶 游戲畫風讓人流鼻血 有鵬出行 俞太尉 俞揚 約翰斯卡利 岳路平 月餅事件 云罐 責令運營商整改 宅客 窄播 張嘉偉 張夢華 張首晟去世 張溪夢 哲也 臻識 臻識科技 織點智能 智慧 智能 智能網站 智適應 智鈾科技 周鴻祎天天向上 周路明 朱坤 抓小三軟件 追氣球的熊孩子 咨詢快播 資訊快播 資訊快播下載 自動駕駛出租車 最新病毒信息 最新色情片 最新艷照 汶川地震6周年 炫輪 睿醫智能醫生 魅藍metal發布會 魅族mx四核評測 chengren游戲 chengren游戲 htc視頻 htc游戲 htc游戲免費下載 h單機游戲下載 vr評測 vr世界 vr體驗館 vr網站 vr下載 vr虛擬現實 vr游戲 vr資訊 vr資源 安卓h游戲 安卓成人游戲 安卓手機成人游戲 奧秘世界 暴風魔鏡4 北京虛擬現實 成年網絡游戲 成仁游戲 成仁游戲單機 成人網頁游戲 成人網游 成人游戲 成人h單機游戲 成人h游戲下載 成人youxi 成人單擊游戲 成人單機版游戲 成人單機小游戲下載 成人單機游戲排行榜 成人單機游戲網 成人單機游戲下載 成人單機游戲下載基地 成人電腦單機游戲 成人電腦游戲 成人網絡游戲 成人網頁 成人網頁小游戲 成人網頁游戲 成人網游下載 成人游戲 成人游戲單機版 成人游戲電腦版 成人游戲機 成人游戲免費下載 成人游戲排行榜 成人游戲下載網站 成人游戲迅雷下載 成人娛樂 成人娛樂中心 成人之家 承認游戲 大朋看看 單機版成人游戲 單機成人小游戲 單機成人游戲 單機成人游戲下載 多哚 風云客 極維客 九又vr 樂客vr 羅技游戲方向盤 色請游戲 體感游戲 外星人alw17er 網頁成人游戲 微軟眼鏡 虛擬現實游戲 虛擬現實中國社區 移動vr 掌網 最新h單機游戲 嗨鏡