Google AI最近推出了名為SANPO的數(shù)據(jù)集，旨在幫助AI模型更好地理解戶外人類主觀場景。這一數(shù)據(jù)集的重要性在于，它不僅包括真實世界的數(shù)據(jù)，還包括合成數(shù)據(jù)，以及豐富的注釋和多屬性特征。這個數(shù)據(jù)集的推出將有助于解決自動駕駛領域之外的人類主觀場景理解的問題。

　　SANPO數(shù)據(jù)集的名稱來源于其功能，包括“場景理解、可訪問性、導航、路徑規(guī)劃和障礙物避免”。它由真實世界數(shù)據(jù)和合成數(shù)據(jù)組成，其中真實世界數(shù)據(jù)包括來自兩個立體攝像頭的視頻，支持多視角方法。這個數(shù)據(jù)集還包括了11.4小時的視頻，以每秒15幀的速度捕獲，并具有密集的注釋。

　　為了保護隱私，Google的研究人員在數(shù)據(jù)采集過程中遵循了當?shù)亍⒊鞘泻椭菁壍姆�律，并在發(fā)送數(shù)據(jù)進行注釋之前，確保刪除了任何個人信息，如人臉和車輛牌照。

　　為了克服捕捉視頻時的不完美，比如運動模糊和人工評分錯誤，研究人員引入了SANPO-Synthetic，這是一個高質(zhì)量的合成數(shù)據(jù)集，旨在與真實世界的條件相匹配。SANPO-Synthetic包括1961個會話，使用虛擬化的Zed相機錄制，頭部和胸部位置均衡分布。

　　SANPO數(shù)據(jù)集的另一個特點是對一部分真實世界數(shù)據(jù)和合成數(shù)據(jù)進行了全景實例掩模的注釋，為每個像素分配了類別和ID。與真實世界數(shù)據(jù)不同，SANPO-Synthetic每幀包含更多實例。此外，SANPO是唯一一個同時具有全景分割和深度圖像數(shù)據(jù)的數(shù)據(jù)集。

　　研究人員使用SANPO數(shù)據(jù)集訓練了兩個最先進的模型，分別用于深度估計和全景分割。他們發(fā)現(xiàn)，這一數(shù)據(jù)集對于密集預測任務來說非常具有挑戰(zhàn)性，而合成數(shù)據(jù)的準確性要高于真實數(shù)據(jù)，這主要是因為真實世界的環(huán)境相對復雜，而合成數(shù)據(jù)的分割注釋更加精確。

　　SANPO數(shù)據(jù)集的推出填補了人類主觀場景理解領域缺乏數(shù)據(jù)集的空白，它包括真實世界和合成數(shù)據(jù)，具有豐富的注釋和多屬性特征，以及全景分割和深度信息的獨特組合。此外，研究人員的隱私承諾使這一數(shù)據(jù)集能夠支持其他研究人員開發(fā)面向視障人士的視覺導航系統(tǒng)，并推動先進的視覺場景理解領域的發(fā)展。