导读

　　本文从抖音集团内部画质优化方案的孵化历程着笔，主要分享了画质优化对于业务的价值、主要应用场景和内部产品的一些典型实践案例。通过分享业务视角遇到的一些问题和我们的解决思路，希望能抛砖引玉，为遇到类似困扰的伙伴们提供有价值的参考。

　　为何我们要不断优化画质体验？

　　在内容丰富、质量不断提升的数字娱乐时代，用户拥有更多的选择权，而优质的画质体验是平台赢得用户青睐的关键之一。高质量画质是区分产品优劣、提高市场竞争力的利器，提供优质的画质体验是内容和服务提供商不可或缺的使命。

　　我们通过线上业务大量实验发现，图片画质优劣对点击率、停留时长等消费类指标有正相关影响，间接影响用户收益指标。例如，低质图像会极大影响创作者的创作热情和终端用户的浏览体验，进而降低用户活跃度及粘性。因此，针对不同图片画质水平进行定向优化，保障用户的画质体验是非常有必要性的。　

　　以图文业务场景为例，我们通过分析画质与用户平均观看时长的关系，得到如下所示关系图。可以看出，中高画质可以为业务带来持续的看播收益。　　

　　画质增强方案孵化历程

　　我们曾面临哪些挑战？

　　在初期建设和迭代优化画质增强能力过程中，我们主要面临以下两方面的挑战：

　　1. 内容来源多样，低质成因复杂

　　我们在对接业务诉求后发现，待优化的图片内容覆盖的生产主体多样，且内容种类丰富，而不同类型的内容为获得更好的增强效果均需要对模型进行一定程度的定向调优。

　　例如，从内容生产主体划分，包括PGC、UGC、OGC等多种类型内容；从内容种类来看，主要包括时政新闻、游戏、动漫、美食、生活、娱乐、动物、植物等。

　　同时，不同内容生产主体生产的内容，画质差异较大，且低质成因复杂，给后续优化策略的选择带来了不小的挑战。

　　例如，UGC内容通常由于拍摄设备不佳、环境光线限制、制作技术不足、多次转码压缩等原因，导致上传内容存在模糊、噪声、分辨率低、欠曝/过曝、色彩暗淡等画质问题；而老旧照片由于拍摄年代较久，可能存在分辨率不足、模糊失真、颜色褪色、划痕损伤和色温等问题，从而导致图像不清晰，影响图像的可视性和美观性。　

　　2. 面对多样的业务场景与需求，如何选择合适的处理方案和策略

　　不同算法的适用场景不同，需要根据业务需求，综合考虑模型的实时性需求和可部署性、灵活性，选择更合适的算法方案。例如，传统信号处理方法、机器学习方法或深度学习方法等。

　　数据是算法模型训练的基础。针对低质增强，不同业务场景的低质内容其低质成因复杂且不同，需要分析、设计合理的退化链路来拟合业务数据的降质过程。

　　低质内容可能存在由于压缩、失焦、上下采样、环境光线不足等原因导致的噪声、块效应、边缘毛刺、锯齿等画质问题。如不能综合考虑这些降质影响，算法模型在业务数据上将很难获得较好的泛化能力。

　　在实践中，根据具体任务和模型的情况，选择适当的数据退化策略是提高模型性能和泛化能力的关键一步。如果数据的退化策略需要与模型的学习能力不匹配，可能导致模型在训练过程中难以学到有效的特征或泛化能力受限，从而影响模型在实际应用中的性能。

　　选择合理的深度学习算法模型和训练策略是深度学习方案获得高性能的关键。

　　在选择深度学习模型时需要考虑任务的特点、数据的质量和数量，以及计算资源的限制，仔细权衡成本、覆盖率以及画质收益。对于简单任务，简化的模型可能更合适，而对于复杂任务，可以考虑更深、更复杂的模型。

　　训练深度学习模型尤其是生成式模型，需要把握好训练策略，例如学习率策略、正则化技术、损失函数及权重配比，才能避免出现过拟合或欠拟合、增强效果不足、生成伪影或虚假纹理等图像问题。并且需要选择合适的评估指标对模型进行评估，确保满足业务需求。

　　我们如何提升画质体验？

　　在建立画质增强能力的初期，为了针对性解决画质问题，我们主要孵化了图像超分辨率、图像降噪、低质增强等单点能力：　　

　　在上述能力稳定运行后，我们发现，随着业务体量增大，内容体裁愈加多元化，遇到的画质问题往往比较综合，使用单点增强能力，很难一步到位实现优化目标；且并不是每张图片都有必要经过复杂处理，如果只是机械化地配置多个单点能力，反而会增加处理成本与加载耗时。

　　基于上述遇到的问题，火山引擎veImageX产品联合多媒体实验室算法团队，结合多个业务线上验证的优秀实践，自研推出 【综合增强解决方案】。 该方案融合图像超分、色彩增强、低质增强、图像降噪、去模糊、人像增强、文字增强、自适应锐化等多个原子能力，集成到统一的画质增强处理链路中，同时引入自适应增强处理体系，即针对不同的图片特征，动态自适应优化，有的放矢地解决业务的画质问题。

　　同时，为了解决部分难以被综合增强模型解决的画质问题，我们同时推出了 【图像自适应增强解决方案】。该方案开放了人像增强、低质增强、去模糊、图像超分、下采样等多个原子能力供用户选择，支持用户自定义调整处理顺序和设置处理策略，充分满足部分业务个性化的调优需求。

　　两套方案的具体说明如下：　　

　　抖音画质增强方案有哪些优势？

　　1. 适用范围广泛

　　高质量且规模庞大的训练数据集，覆盖PGC、UGC、OGC等多种内容场景，同时可根据不同场景的画质问题进行自适应画质增强，适用范围广泛（特别针对UGC场景）。

　　算法模型历经亿级DAU产品持续打磨优化，泛化能力强。

　　2. 处理性能稳定可靠

　　画质增强能力已接入抖音集团内部多个业务场景，提供常态化服务。日均支撑上亿次调用处理，在保证效果的基础上，处理性能稳定可靠、有保障。

　　3. 多业务线上验证收益显著

　　历经抖音、头条、番茄小说等数十个大体量业务线上验证，增强效果稳定可靠，并可在提升图片主观质量的同时最大限度降低图片码率（即缩小文件体积）。

　　经过多项A/B实验和反转实验验证，画质增强能有效支持业务优化线上画质体验，并带来用户消费指标提升，收益显著。

　　4. 算法能力业内领先

　　画质增强解决方案和涉及的算法模型已申请多项专利。例如，一种局部内容自适应锐化方案、一种保持动漫风格的超分方案、一种消除伪像的自适应超分方案、一种图像感知下采样方案等。

　　在第2023届CVPR Workshop下属的NTIRE大赛中，火山引擎-多媒体实验室在【双目超分双三次插值保真赛道】和【360°全景图像超分赛道】斩获双料冠军（详细介绍：https://mp.weixin.qq.com/s/YHRVlrmVRpFzXc7za57UCw）；在 2022 AIM 大赛中，荣获【压缩图像超分赛道】亚军（详细介绍：https://codalab.lisn.upsaclay.fr/competitions/5076）。

　　画质增强主要应用在哪些场景？

　　生产端：保障优质内容供给，助力用户增长

　　业务团队可利用veImageX提供的画质增强能力，帮助创作者“一键优化”原始素材的画质质量，以更低门槛创作出更多优质内容。

　　此举既可以极大提升创作者的创作热情和用户黏性，又帮助平台保障了优质内容的源源不断供给。而大量丰富的优质内容可助力平台持续吸引更多用户进行消费，有效支撑了用户增长。

　　消费端：整体提升画质水平，促进消费转化

　　在封面图（Feed流、推荐、搜索等）、图文详情页等社区社交场景，业务团队可在图片内容被消费时自适应进行画质增强处理，既可以有效缓解因图像压缩、二次编辑、用户加载使用的不同机型等因素产生的画质折损问题，保障平台整体用户体验；又可以提升推荐、搜索点击转化效果，进而带来点击率、人均阅读/消费时长、用户留存等业务指标正向提升。

　　在电商等强依赖图片内容消费转化的场景，通过提升商品图、评论晒单图画质，可有效促进用户点击和购买转化，为商家和平台带来收入提升。

　　典型案例实践分享

　　目前，由火山引擎veImageX提供的画质增强能力已服务于抖音短视频、今日头条、西瓜视频、番茄小说、懂车帝等数十条业务线，在提升用户的画质体验方面发挥着重要作用。接下来，我们选取了几个典型案例为大家简要分享我们的实践经验。

　　抖音短视频

　　1. 需求背景

　　抖音图集功能上线初期，因图文内容质量良莠不齐导致部分画质体验不佳，业务团队不定期收到用户线上反馈。为了保障用户在抖音短视频内的整体浏览体验，进而快速达到行业领先水平，业务团队设立专项进行问题解决。

　　2. 实践方案

　　业务团队首先使用画质评估工具和多种评测手段对线上图片画质进行了离线摸底分析，并和业内主流应用进行了对比，发现图片画质相较行业领先水平存在一定差距，故使用veImageX提供的【自适应增强模型】，针对性进行画质提升的同时尽可能节省码率。

　　3. 整体收益

　　优化后，图片平均文件大小和加载耗时虽略有增加，但人均图文vv、人均图文完播vv、人均图文播放时长等消费指标均显著正向。

　　今日头条

　　1. 需求背景

　　头条内多个频道主要以双列展示为主，而双列流频道展现形式又以封面图为主。综合线上实验结果和实践经验发现，封面图的画质质量不仅会影响用户浏览体验，也会影响点击转化率和用户留存等业务指标。

　　业务团队通过线上评测发现，在封面问题中，图片模糊影响面最大，如何降低模糊封面占比成为一项亟待解决的问题。

　　2. 实践方案

　　业务团队首先使用画质评估工具对线上封面图画质抽样摸底，对“优质”、“弱模糊”、“模糊”标准进行了明确定义，借助veImageX提供的画质增强能力，针对性调整优化策略并结合人工抽样评估离线测评增强效果。选择效果符合预期的画质增强策略开启线上A/B实验，根据实验结果，线上推全最优组合策略。

　　3. 整体收益

　　业务团队通过对多频道模糊封面图进行优化，人工评估封面优质率提升约2倍，封面图低质率降低了约42.2%，模糊封面图占比降低了约60.6%，人均阅读数、停留时长、点击转化率等业务指标均正向提升。（数据来自业务A/B实验）

　　番茄小说

　　1. 需求背景

　　相比于网文，漫画的书封更加精美，信息量也更多，因此在产品形态上，番茄小说频道采用了大屏的展现形式。然而，在漫画功能上线后，业务团队发现，有部分漫画的原始书封比较模糊，严重影响用户浏览体验。如下图所示：　　

　　为了提升这部分图片的画质，业务团队想到了通过画质评估筛查低质图片，使用画质增强能力搭建自动化处理流程，针对性处理低质图片，得到高清图，以提升整体观感。

　　2. 实践方案

　　业务团队使用veImageX画质评估工具，针对出版物（如小说封面、插图、电子书书封、有声播放器封面等） 和漫画（漫画封面、横图等） 等场景进行离线画质测评，对不同分辨率图片进行画质摸底。根据对低质原因的分析和增强算法对主观画质提升的收益大小综合评估，明确差异化的处理方案。最终业务团队选择搭建自动化处理流程，根据评估结果对不同画质等级的图片进行如自适应增强、超分等优化处理，针对性提升用户的画质浏览体验。

　　低质图片优化前后对比如下：　　

　　3. 整体收益

　　番茄小说团队借助veImageX画质评估和画质增强能力，有的放矢的提升画质，有效提升了用户画质体验和点击率、人均阅读/消费时长、留存等用户消费指标。　　

　　幸福里VR

　　1. 需求背景

　　幸福里房产VR能力在建设初期，因素材供给来源多样且渠道纷杂，质量良莠不齐，频繁收到线上用户反馈。为了保障用户在线看房体验，并缩小和行业领先水平的差距，业务团队成立专项定位画质问题并针对性地进行画质优化。

　　2. 实践方案

　　通过对线上样本数据进行离线画质摸底并综合算法专家建议，业务团队最终选定清晰度（VQScore）、噪声（Noise）、亮度（Brightness）、过曝光（Overexporsure） 等四项指标作为全景图量化评估指标。评估发现精装 、 简装 、毛坯等三种装修类型存在显著画质差异，关键差异与环境光线、灯光照明等因素有较高关联，业务团队借助veImageX 提供的VR画质增强能力并针对性进行迭代优化，显著提升了VR看房效果。

　　3. 整体收益

　　业务团队通过画质评估工具，定位具体的画质问题，针对性进行迭代优化以缩小和行业领先水平的差距；同时借助veImageX 提供的VR画质增强能力，显著提升全景图画质，阶段性实现用户0客诉，弥补了前端采集设备质量参差等问题。

　　写在最后

　　本文简要介绍了抖音集团内部对画质优化的业务思考、孵化历程、应用场景和部分实践经验。由于篇幅所限，本文对探索历程、具体实现等细节内容有所省略，但仍希望能给业内同仁们一点启发或者参考借鉴。