新聞資訊
了解金山云最新資訊
2020-10-31 00:00:00
根據(jù)Cisco VNI數(shù)據(jù)，預計到2022年，全球CDN流量規(guī)模將達到252EB/m，其中，互聯(lián)網(wǎng)視頻流量占比呈逐年上升趨勢。在視頻行業(yè)高速發(fā)展的過程中，帶寬、網(wǎng)絡得以豐富，視頻的高清體驗不斷提升，分辨率從1k、4k到8k，甚至到超高清。從生物學角度，滿足人眼真正的沉浸式需要50k分辨率。高清視頻的發(fā)展使得用戶對視頻/圖像質(zhì)量的要求永無止境，其真實體驗感受評測難度也相應增加，如何全面客觀評價視頻畫質(zhì)的質(zhì)量是否得到提升?
“針對以上難題，金山云發(fā)布圖像視頻感知評價指標Kingsoft Cloud Perceptual Assessment(KPA)，希望以此助力行業(yè)實現(xiàn)‘讓視頻更高清’的目標?！苯鹕皆聘呒壯邪l(fā)總監(jiān)樊鴻飛在近日的LiveVideoStackCon 2020北京(音視頻技術大會)上表示。
比VMAF應用范圍更廣
當下，主觀質(zhì)量評價和客觀質(zhì)量評價是行業(yè)內(nèi)兩大類圖像視頻質(zhì)量評價方法，其中客觀質(zhì)量評價分為全參考評價指標、半?yún)⒖荚u價指標和無參考評價指標。據(jù)樊鴻飛介紹，目前，能夠達到商用級的評價指標非常少，學術界的評價指標主要都是針對有非常明確邊界條件約束的場景。商用級的全參考評價指標目前除了PSNR和SSIM之外，就是Netflix在2016年發(fā)布的VMAF了，VMAF是第一個開源的商用評價指標，也是高清視頻領域的并經(jīng)之路。無參考評價指標主要有BRISQUE、NIQE和VSFA，金山云KPA選擇了無參考這個賽道。
KPA與VMAF的區(qū)別在于，一方面VMAF是全參考的畫質(zhì)視頻指標，而KPA是一組無參考的畫質(zhì)視頻指標，KPA可以應用在全參考來計算DMOS，同時KPA除了通用的整體質(zhì)量評價外，還包括子維度質(zhì)量、局部質(zhì)量等細分評價指標，應用范圍更廣泛;另一方面，VMAF針對高清PGC視頻有比較強的能力，針對UGC沒有進行特殊優(yōu)化，而KPA主要針對UGC視頻。
金山云KPA主要希望用客觀指標來衡量人眼的主觀感受。“然而在畫質(zhì)評測行業(yè)，用客觀指標來衡量主觀質(zhì)量一直以來都是一個世界難題。由于設備分辨率、觀測距離、屏幕大小的區(qū)別等，觀看同一段視頻的主觀質(zhì)量體驗會存在差距。此外，除了整體分數(shù)以外，還有各個子維度的分數(shù)，比如色彩、亮度、清晰度、畸變等。另外還涉及到網(wǎng)絡卡頓問題、VR視頻......，問題非常復雜。因此，金山云KPA并不是用一個算法來解決所有的事情，目前發(fā)布的KPA主要針對于UGC視頻，對于播放場景的映射也是針對于常用場景，同時我們也在探索包括子維度評價、局部評價、評價映射等主觀評價的各細分業(yè)務場景指標?！狈欙w表示。
在UGC場景排名問鼎
針對現(xiàn)有評價指標算法，尤其是無參考評價算法精度較低的問題，金山云KPA主要從兩個方向進行了重點研究和優(yōu)化：一個是數(shù)據(jù)篩選，另一個是模型攻防。
在數(shù)據(jù)層面，通過收集各種場景下UGC及PGC視頻，并保證至少50以上的專業(yè)評測人員對每個視頻進行主觀評測，從源頭上避免數(shù)據(jù)主觀評測波動和精度問題。同時，對收集到的數(shù)據(jù)，從內(nèi)容、場景、質(zhì)量等多個維度進行平衡篩選，在確保數(shù)據(jù)規(guī)模遠超業(yè)界開源數(shù)據(jù)的基礎上，提升數(shù)據(jù)的多樣性。在模型層面，通過攻防設計、協(xié)同學習、困難樣本挖掘等方法，提升模型的魯棒性和精度，在UGC場景中SROCC和gMAD分數(shù)均優(yōu)于業(yè)界知名的有參考算法VMAF。
金山云KPA可以有效應用于編碼及AI方向，避免或減少畫質(zhì)損失，提升視頻或圖像主觀質(zhì)量。在編碼方向，通過KPA對視頻進行場景級、幀級等全局質(zhì)量預測分析，塊級局部質(zhì)量預測分析，結合JND模型作為其最小可察覺主觀失真衡量，并由此自動決策出編碼所需要的CRF、QP等參數(shù)，能更好地匹配人類視覺主觀系統(tǒng)，消除視覺感知冗余，在保證主觀質(zhì)量相同的情況下降低碼率或者在相同碼率下提升主觀質(zhì)量;在AI增強方向，通過將KPA的全局/局部/子維度評價作為不同側(cè)重點的loss或者判別器加入到模型訓練中，指導模型朝更好的畫質(zhì)方向進行優(yōu)化，進一步提升主觀畫質(zhì)。
“在近幾年對AI的研究中發(fā)現(xiàn)，這項技術可在眾多領域廣泛應用，且能大幅度提升各領域的原有性能。在畫質(zhì)評測相關的任務中，AI也幫助我們大幅度提升了SROCC和PLCC等指標。未來，我們的重點研究方向包括：1.進一步提升KPA泛化性，完善對各分辨率視頻映射能力;2.提升視頻編碼中JND、RDO等模塊算法主觀質(zhì)量;3.利用KPA進行更好的超分辨率、去噪等AI算法研發(fā);4.針對相機拍攝所需要的偏色、暗場、畸變等維度研究評價指標。一方面，我們希望KPA能夠拋磚引玉，吸引更多學術界的學者來關注企業(yè)應用中真正的訴求;另一方面，希望KPA能夠幫助視頻行業(yè)進一步提升視頻質(zhì)量，推進視頻高清應用的發(fā)展?！狈欙w在演講最后表示。