2021年5月15日，融云X-Meetup技術(shù)沙龍第三站續(xù)航上海。本場沙龍聚焦“音視頻技術(shù)新方向”，由融云音視頻研發(fā)高級工程師姜春雨、時光機器人創(chuàng)始人兼CEO徐晶、融云IM研發(fā)中心高級工程師劉佳、學而思網(wǎng)校架構(gòu)師李亞龍，和資深音視頻技術(shù)專家栗偉，五位技術(shù)大咖出任演講嘉賓，他們以時下熱門應用場景為視角，從技術(shù)實踐出發(fā)，與開發(fā)者們交流分享了關于音視頻技術(shù)的新觀察。

　　iOS 上的音頻開發(fā)

　　今年，由于Clubhouse和Tiya的示范效應，語聊房產(chǎn)品大火，音頻的開發(fā)技術(shù)備受開發(fā)者的關注。來自融云的音視頻研發(fā)高級工程師姜春雨,多年專注于移動端和音視頻領域的技術(shù)研發(fā)，他分享了《iOS 音頻設備開發(fā) - Core Audio》的主題內(nèi)容。

　　融云音視頻研發(fā)高級工程師姜春雨發(fā)表演講

　　姜春雨認為：移動端音頻處理的難點在于聲音美化、變聲、實時高音質(zhì)和場景玩法多樣化。單從iOS設備來說，要突破這些難點，離不開iOS所提供的Audio Unit，它是一項強大靈活的音頻處理技術(shù)，支持混合、均衡、格式轉(zhuǎn)換和實時輸入/輸出，用于錄制、播放、離線渲染和實時對話。

　　融云SDK以Audio Unit為基礎，構(gòu)建了長音效、短音效等多個功能模塊，最終在音頻設備上完成混音輸出。在場景化實踐中，姜春雨以音樂語聊房和百人超大會議室兩個典型場景為例，分享了融云SDK的技術(shù)開發(fā)優(yōu)化方案。比如，音樂語聊房注重高音質(zhì)、美聲變聲，以舒適噪音為好，開發(fā)者要根據(jù)這些需求進行算法調(diào)優(yōu);而超大會議室的優(yōu)化則要求做到服務端智能發(fā)流、多人聲音同時出現(xiàn)可以智能選擇會議發(fā)言人的聲音。

　　姜春雨總結(jié)道：Audio Unit是一個強大的音頻處理框架，音頻處理要基于Audio Unit框架構(gòu)建內(nèi)容，并且要在音頻處理內(nèi)容上不斷打磨優(yōu)化。未來，融云音視頻SDK還將不斷基于不同場景需要開發(fā)新的功能，持續(xù)優(yōu)化音頻產(chǎn)品，為開發(fā)者提供更好的解決方案。

　　構(gòu)建低延遲高可靠的信令系統(tǒng)

　　融云作為互聯(lián)網(wǎng)通信云賽道的領先廠商，2020年在業(yè)界率先提出“IM+RTC+PUSH”的整體通信解決方案。融云RTC喚起用戶的通道就是依賴于IM的SDK信令，因此，本次融云的IM研發(fā)中心高級工程師劉佳，分享了《構(gòu)建低延遲高可靠信令系統(tǒng)的探索與實踐》，幫助開發(fā)者更好地了解融云IM如何協(xié)同RTC，提供高可靠的通信能力。

　　融云IM研發(fā)中心高級工程師劉佳

　　劉佳介紹，高可靠音視頻信令系統(tǒng)的構(gòu)建在IM信令系統(tǒng)設計時，首先要進行服務分層，包括接入層、內(nèi)部服務和數(shù)據(jù)存儲的分層。而拆分原則要根據(jù)業(yè)務差異和服務對象的不同，拆分為API和 CMP，整體做到可監(jiān)控、可維護。其次，是要搭建完整的監(jiān)控體系，通過可視化的圖表，監(jiān)看網(wǎng)絡的性能情況，及時處理系統(tǒng)瓶頸。

　　對于低延遲信令系統(tǒng)的實現(xiàn)，劉佳分享道，融云不僅利用全球加速網(wǎng)絡,降低網(wǎng)絡延遲，還基于融云自有通訊協(xié)議降低數(shù)據(jù)傳輸量，利用緩存機制,提高了服務的業(yè)務處理速度。并且，劉佳以緩存設計為例，說明通過一致性hash提高緩存命中率、高效利用CPU的處理能力、實施異步存儲等，也都是實現(xiàn)低延遲系統(tǒng)設計的要旨。

　　基于這些設計要點，劉佳展示了海量并發(fā)用戶場景下的語聊房系統(tǒng)架構(gòu)，為開發(fā)者提供了干貨解決方案。同時，他還總結(jié)出融云現(xiàn)有的音視頻整體服務架構(gòu)的三大優(yōu)勢：第一，信令服務與媒體服務解藕,兩個服務之間也不需要狀態(tài)同步;第二，媒體服務專注通信,信令服務專注能力;第三，部署簡單,方便進行全球部署媒體服務。

　　直播系統(tǒng)架構(gòu)設計 滿足用戶對實時性的需求

　　本場沙龍中，音視頻直播場景也是一個重點話題。深耕互聯(lián)網(wǎng)音視頻12年，在直播領域積累了豐富實戰(zhàn)經(jīng)驗的拾光機器人公司創(chuàng)始人兼 CEO徐晶，通過他的《互聯(lián)網(wǎng)直播快速實戰(zhàn)》，分享了基于直播答題場景的架構(gòu)設計，尤其是幾個關鍵技術(shù)點和應對策略，以及如何保證直播中的視頻和音頻質(zhì)量，都做出了詳細的講解。

　　沙龍中，專注于在線教育的學而思網(wǎng)校架構(gòu)師李亞龍，還針對教育低延時大班的直播場景，為開發(fā)者帶來了關于《在線教育直播系統(tǒng)架構(gòu)升級》的分享。他著重從網(wǎng)校視頻技術(shù)的發(fā)展、網(wǎng)校大班直播系統(tǒng)、網(wǎng)校公益直播課、低延遲直播探索這四個方面的設計要點，進行了分析講解。對于專注在線教育的開發(fā)者而言，具有普遍的示范意義。

　　此外，資深音視頻技術(shù)專家的栗偉，發(fā)表了《使用WebRTC構(gòu)建實時在線課堂》的演講。栗偉曾任職于中科院計算所、CC視頻，任職期間利用WebRTC技術(shù)開發(fā)了直播、在線課堂、視頻會議等商業(yè)產(chǎn)品，并發(fā)用戶數(shù)達到500萬。他還曾主筆撰寫了 《WebRTC技術(shù)詳解：從0到1構(gòu)建多人視頻會議系統(tǒng)》，在該領域有多年實踐經(jīng)驗，對WebRTC有非常深入的研究，他的實踐分享也讓開發(fā)者們獲益匪淺。

　　結(jié)語

　　在本次沙龍中，五位講師的分享，其共性特點在于：他們都基于當下所關注熱門場景展開話題。由此可見，應用場景才是“探討音視頻技術(shù)新方向”的基礎，而越熱門的場景往往越是代表著這個領域的發(fā)展?jié)摿Ω�大，因此也就越需要通過新技術(shù)、新產(chǎn)品加以承載。

　　隨著5G的進一步落地，網(wǎng)絡帶寬、網(wǎng)絡質(zhì)量的不斷優(yōu)化，音視頻通信無論在使用量級上，還是使用場景上，都會出現(xiàn)更多可能。對于開發(fā)者而言，只有及早儲備，盡可能多地掌握新技術(shù)，關注新方向，才能贏在當下，贏在未來。