How to Choose a 视频质量 Metric
Learn more about video quality metrics testing at the next 流媒体西部!
Read the complete transcript of this video:
我使用或推荐的工具:我使用了莫斯科国立大学的视频质量比较工具. I use the SSIMplus VOD monitor 非常频繁的, 和 I use the Hybrik (now Dolby) media analyzer very, 非常频繁的. 杜比有一个很棒的媒体分析工具但它是云编码工具, 和 you can't just access the media analysis functions. You have to use the cloud encoder. 由于他们按月收费，所以他们有一种不同的收费方案. Not a lot of people can't use that. Unless you're using their system for encoding, you can't get to the media analyzer, 和 I'm not going to spend a lot of time on that. 这对我来说很好，因为如果我需要在一夜之间处理100个或1000个文件, I can just upload them into the cloud.
我可以让我的, 我的AWS账户启动了100台机器，我可以在很短的时间内处理这些文件. 如果我试着在我的工作台上完成，我可能在四五天内就能完成. 但是，除非你是HybriK的客户，否则你无法访问这些内容. 所以我们要花时间学习的工具是VQMT和SSIMplus VOD监视器.
使用VQMT工具, 我加载源文件——在这里拖放——然后我可以加载一两个编码文件. 我们在这里展示的是受限VBR和恒定比特率编码之间的区别. So I drag the source file here, the first process file here, that's constrained VBR, the second process file here, that's constant 位 rate. 然后 I choose the metric. In this case I'm using VMAF. 然后 I press start, 和 then it produces a results visualization.
这真的很关键. We'll look at how I go through the analysis in a moment.
但这告诉我的是文件持续时间内的每帧VMAF分数. And because I've got two files up here, the constrained VBR is in red, the constant 位 rate is in green. 我注意到在这个绿色的文件中有很多向下的尖峰. So even though the scores are relatively similar, 我可以看看这个图表，看到CBR文件中有一些问题区域，可能代表客户可能会注意到的视觉质量差异.
The top graph shows the entire files. The bottom chart shows a highlighted region. So if I drag my mouse over this, 它会显示下面的这个区域，这样我就可以把我想要的帧归零. 然后，一旦我调零，我点击这个，我可以看到实际的帧. 所以我从一个纯粹的数字变成了一种能力，“嘿，这里有一个真正的区别."
This is a beta version of version 12, which is just out. 他们在这个版本中添加的-对于那些拥有这个产品但还没有见过最新版本的人-是当你在这个模式下看它时看到帧的实际VMAF分数的能力. 这告诉我CBR文件的VMAF评级是47而约束VBR文件的VMAF评级是69. So basically that tells me that, even though the average value is about the same, CBR文件中有一些严重的问题会降低观众的满意度.
这是CSV文件. You can get your output in either CSV or JSON. That's the source file. Those are the two files we saw analyzed. And this is kind of interesting. VMAF平均得分, 我们看到CBR更高——谐波平均值考虑到CBR分数的较低可变性. We're seeing the VBR score is higher, 这对于莫斯科国立大学的工具来说是新的:他们添加了谐波平均值来反映有很多问题区域的文件. 然后 you can see the minimum value. 这很好，因为这是我们刚刚看到的丑陋帧的数学表示——最大值，然后是这两个文件的位置, 和 then the st和ard deviation, 这也是很有价值的，因为标准差越高, the higher the variability in the quality. 你可以在这里看到VBR文件的标准差是7, CBR文件, so there's a lot more quality variability in that file. 就文件中可能存在多少问题区域而言，这是另一个有用的衡量标准. 方差数是标准差的平方.
What do I like about the Moscow State tool? 它是负担得起的. It's GUI 和 comm和 line. 非常直观. You can see the results very easily. It h和les most major algorithms except for SSIMplus. And you could read my review of the, of the technology at 位.ly / VQMT_review.
On the con side, it can only compare files of like frame rate. 如果我有一个60帧每秒的源文件和一个30帧每秒的输出文件, I can't get a quality rating for that file. You can do that with SSIMplus. It's one of its key advantages.
然后, 从我的角度来看，关于Hybrik的另一件事——除了处理大量文件之外——是它允许我下载一个CSV文件，我可以将其填充到电子表格中, 完成了. With the Moscow State University tool. If I analyze a hundred files, 我需要打开100个CSV文件，然后复制粘贴结果. 我不够聪明，不知道如何使用JSON来自动化这种输入, but if you're using CSV, it takes a long time to get the data in.
So here's the SSIMwave VOD Monitor. 它是基于SSIMplus算法的，它是由发明了SSIM算法的同一个人发明的. So it's an advancement on that. 我们看到，它对视频的评级与人类的感知相一致. It's got multiple device ratings. 它可以比较不同的分辨率和不同的帧率，如果你对这个产品感兴趣，可以在流媒体西部找到. SSIMplus VOD Monitor的另一个功能是它可以计算我们几分钟前学过的BD-Rate函数. With the Moscow State University tool, if I want to compute BD-Rate, I have to create these CSV files, 输入Excel, apply the macro with the SSIMplus VOD Monitor.
They've got a comparison mode. In this case, we're looking at the difference between HEVC 和 H.264. So we've got two encoding ladders. 这是H.264编码阶梯. 这是HEVC encoding ladder. 我们看到，在数据速率频谱的每一点上，HEVC的蓝线更高. This number here tells us that if you use the HEVC ladder, 你将平均节省大约45%——在数据速率降低45%的情况下，同样的质量.
你所要做的就是选择你想要分析的文件，然后你可以很快地生成这些数字. 如果你要做大量的编解码器分析或编码器分析，这是一个非常好的功能.
I talked about Hybrik a couple of times already. You can get some of these numbers through open source tools. You can compute VMAF with a FFmpeg 和 VMAF master. There's two 文章 on my website (位.ly / VMaster 和 位.ly / ff_vmaf_win)，给你所需的代码，并告诉你如何去做. 使用开源工具的问题是你只能得到数字. You don't get the ability to look at the files beneath the numbers. And I find that very, very critical.
相关文章
Per Hultin讨论了如何应对不断增长的内容量和在线视频流日益增长的碳足迹所带来的挑战.
2021年9月27日
峰值信噪比不能很好地预测主观视频质量. So why are PSNR comparisons used in almost all codec comparisons?
25 Sep 2020
在COVID-19时代, the right approach can check both boxes, 以及根据当前带宽需求做出的决策可以为OTT服务带来长期的业务优势
4月15日2020
Companies 和 Suppliers Mentioned