字節(jié)公司最新推出了一個名為UniRef++的圖像分割項目，該項目將現(xiàn)有的即參考圖像分割(RIS)、少鏡頭圖像分割(FSS)、參考視頻對象分割(RVOS)和視頻對象分割(VOS)四種分割方式整合到一個架構(gòu)下進(jìn)行處理，從而能夠自動判斷應(yīng)該使用哪種方式來分割內(nèi)容。

　　這一項目中的UniFusion模塊還可以與SAM模型結(jié)合使用，進(jìn)一步提高圖像分割的效率和精確度。這一項目的推出將為圖像分割領(lǐng)域帶來新的突破，為用戶提供更加便捷和高效的圖像處理解決方案。

　　功能:

　　UniRef++ 的核心部分是 UniFusion 模塊，用于進(jìn)行多路融合，處理與指定參考相關(guān)的不同任務(wù)。這使得語言和注釋掩碼能夠無縫集成，適用于不同的分割任務(wù)。

　　采用統(tǒng)一的 Transformer 架構(gòu)實現(xiàn)實例級分割。這種設(shè)計選擇增強(qiáng)了模型在不同基于參考的對象分割任務(wù)中泛化的能力。

　　UniRef++ 允許在廣泛的基準(zhǔn)上進(jìn)行聯(lián)合訓(xùn)練，消除了任務(wù)特定模型的需要。這導(dǎo)致資源的更有效利用和整體性能的提高。

　　該模型在運(yùn)行時表現(xiàn)出靈活性，能夠通過指定相應(yīng)的參考完成多個任務(wù)。這種適應(yīng)性對于具有不同分割要求的實際應(yīng)用至關(guān)重要。

　　實驗結(jié)果表明，UniRef++ 在引用圖像分割和引用視頻對象分割方面取得了最先進(jìn)的性能。此外，它在少樣本圖像分割和視頻對象分割中與參數(shù)共享網(wǎng)絡(luò)相比表現(xiàn)出競爭力。