背景
新冠肺炎的疫情是一把双刃剑。一方面阻碍了人们的出行，线下经济受到很大影响，但却大大加速了直播带货的商业模式。淘宝直播是该集团带货直播的主打产品。无论是制作端扩播的门店和专家，还是分发端为用户推荐的质量最好的直播内容，都需要直播间的实时理解能力。通过该能力，可以为运营提供主播评分和评价体系，为推荐算法提供丰富的特征优化推荐效果。
▐什么是实时内容理解内容理解算法一般指图片和视频的分类识别，ASR，OCR等。这些算法可以处理批量离线任务，比如分析一段监控视频，处理一部分抓取的视频，这些任务不需要及时返回结果，而另一些则需要快速返回处理结果，比如人脸识别门禁。实时内容理解对后台服务的时效性和稳定性要求很高。直播时间跨度长，可能会连续几个小时。要稳定高效地理解直播内容，需要算法的推理时间足够快，资源利用率尽可能高，并且与服务器配合良好。
▐利用内容理解优化直播推荐效率直播的质量受几个方面的影响:1。画面是否高清低延迟；2直播内容是否吸引人是用户感兴趣的类型；3现场发货的场景，要看卖的商品质量好不好，价格低不低。第一个问题可以通过淘宝自主研发的视频编解码技术解决，第三个问题需要在商品库中对比，根据用户反馈了解。实时内容理解算法主要解决第二个问题，通过识别主播多个维度的信息来判断其吸引力。
了解内容后，还要考虑如何与推荐算法结合。目前推荐算法还是基于用户的行为特征，用户的行为对曝光度足够的内容还是很有信心的。例如，Tik Tok的一些热门内容是大多数人真正感兴趣的。而在曝光不足的内容中，用户行为很少，需要根据内容本身的特点进行推荐。比如Youtube上有大量用户新上传的视频，新视频的曝光率相对较低。Google使用视频标记算法计算视频标签，将带有有趣标签的视频推荐给用户做新内容冷启动。对于直播来说，每一个场景都可以理解为一个新的视频，在视频过程中进行推荐，更需要理解内容。
推荐算法分为召回、排序、重排等阶段。如果将内容理解的特征放入回忆中，那么在排序模型中要考虑特征覆盖和与其他特征的集成。这个会比较复杂，有时候内容理解的特征是准确的，但是和用户行为特征放在一起可能收获不多。但是放在重排阶段比较灵活，可以把内容理解结果换成一定的权重来调整排序顺序，或者做一些过滤。
直播实时内容理解的算法框架
淘宝直播每天有上万次直播，直播时长可能是几个小时甚至十几个小时。不同直播的曝光量差异很大，先从头部主播的实时分析说起。直播的两大关键要素是主播和商品。目前只关注对主播的理解。首先从活体人脸检测、语音分类、颜值这些对业务和运营反馈很重要的特征入手。
首先，我们设置了一个实时的metaq消息监控服务。直播间的状态变化很复杂，比如有时候会出现断档，有时候主播会临时离开，有时候宝宝包会加货，同一个直播间的消息可能会被不同的机器收到。前期我们花了很多时间在直播消息的处理上。因为一个直播的流地址是固定的，所以为了简化这些逻辑，我们只在直播间处理广播和广播关闭消息。
在统计头部这些直播的pvr(曝光覆盖率)时，我们发现头部上千场直播可能占了很高的曝光覆盖率，于是我们从直播推荐团队的曝光日志中计算出前一天的头部主播。整个直播的曝光日志有公域和私域。我们统一只计算公共域的流量数据，然后落入odps表。
拿到直播url后，我们先尝试flv格式的直播流，解码器不断解码然后提取帧输入到下游模型。这种工艺解码机的利用率不是很高，所以我们的帧提取频率不是很密集，10-20秒提取一帧，直播间可能会暂停/切断。因此，我们使用hls格式来输入ts中的下游解码服务。与前一种流式方法相比，并发处理能力提高了一倍以上。
锚属性特征
主播相关的特征有很多，比如人脸、语音等稳定特征，还有表情、动作等实时特征。为了最大化ROI，方便推荐算法的使用，我们跟运营和推荐算法的同学们总结了以下几个方面的人物属性，并通过算法逐步识别出这些属性标签。无论是作为运营活动、分析工具，还是帮助推荐算法训练更好的模型，这些锚点标签都有很大的价值。
常用的角色属性分为视觉和声音两个维度。我们和VIP团队一起建立了一个多模态属性识别框架，如下图所示。从直播流中采样视频帧和声音数据，然后分别输入到声音识别模块和视觉识别模块。目前，声音模块主要包括男/女声，没有语音分类模型和asr识别模型，视觉模块包括人脸检测与跟踪、人脸属性识别、图像质量分析模块。其他特征可以从单个模型的输出中导出。比如可以用asr结果计算语速特征，结合视觉性别和声音性别判断结果来筛选跨性别主播。
以下是我们在属性识别方面的一些成就:
▐人脸属性与人脸检测识别算法相比，属性识别算法，如性别、颜值、年龄、表情识别，在一般场景下的识别准确率都不是很高。一方面是数据集少，另一方面是属性特征主观，化妆美妆工具会明显干扰这些属性。在属性特征中，颜值属性对用户体验的影响最大，所以颜值属性重点在颜值上做了一些尝试。
因为面值是主观的，所以我们尝试众包服务对数据进行标注，但是不同标注的结果还是有很大差别。最后算法同学亲自筛选了一遍。先用两类模型判断颜值，然后把算法选出的高颜值主播给运营生，然后运营会把它分为高、中高、中低、低颜值类型做实验。算法端使用分类模型softmax后的分类作为面值分数。
考虑到比较两张图片的面值更高，这个任务可能更简单，所以我们尝试了成对排序的方案，在面值高低明显的数据上，结果与分类模型的结果相同。在中等面值的数据上，排序任务没有很好的解决，所以排序模型的结果和分类没有大的区别。
以下是高值:
比较其他公司面值的API结果:
调用百度，鄙视的颜值API接口。在我们的测试集上，PR曲线和ROC曲线的对比结果如下:
人脸识别通常有两种方式，一种是通过分类模型，每个人属于一个类别。这种方案效果很好，但是如果新角色需要重新训练模型，灵活性不是很高。另一种方案是计算人脸特征，保存待识别字符的特征，使用时用相同的模型计算人脸特征，然后检索目标字符。由于直播服务中主播的移动性较大，我们使用检索方案进行人脸识别。人脸识别我们使用ArcFace模型计算特征，然后使用聚类和重新排序来识别人脸身份。
音频特征
很多直播间没有主播，只有解说，比如卖珠宝的。所以音频功能是直播间实时了解不可或缺的一部分。目前已接入PAI平台的EasyASR算法，与PAI团队合作构建了男/女语音、有无语音、背景音乐特征，Acc指数在90%以上，支持空镜头识别和跨性别识别服务。
商务着陆
直播实时内容理解主要服务于推荐算法。相比于内容直接制作素材或者审核服务给出的分类标注结果，推荐服务在推荐过程中加入实时的内容理解结果更加复杂。目前有两种使用特性的方法。一种是在模型训练中加入特征，另一种是在推理过程中加入实时特征评分。这种方式需要长时间积累特征。目前排名算法训练需要两个多月才能登录，费用昂贵。另一种使用方法是将特征融合到权重分数中，并根据排名结果增加或减少权重来影响结果。下面描述内容理解算法在不同应用场景中的使用。
排序算法
从手淘首页的淘宝直播卡来看，是直播频道页面。该页面主要显示直播间的封面图，同时会显示一个直播间的实时画面。在这种场景下，推荐算法主要关注ctr和直播停留时间指标。在这个页面上，用户主要根据封面图判断是否点击，部分直播画面会在wifi环境下播放。如上所述，在模型训练中加入特征的方案需要积累较长的时间日志，所以我们采用增减权重的方法进行实验。
由于频道页面主要展示封面图，我们猜测有高颜值面孔的封面图会更吸引人，所以我们尝试对高颜值主播进行加权，但本次实验使用的高颜值主播是经过运营筛选的主播id，直播中很多人和封面图中的人不一样，一个直播间可能有很多主播，不同时段的主播颜值也不一样。实施结果显示，高价值主播的ctr并没有增加，全桶指标也没有正面变化。我们就直接计算封面图中的面值，继续实验。
通道尝试的第二个实验是空镜头抑制。直播时间往往很长，经常有一些空镜头(没有主播解说)。运营同学做过经验分析，其中空出手占了很大比重，而空出手的特点是两类问题，非常适合调整权重，所以我们先尝试空出手分析服务。
空镜头可以从画面和声音两个维度来判断。因为频道页面没有声音，所以我们可以根据有没有脸来判断直播间是不是a 空镜头，有些行业其实是不需要露脸的，所以我们只选择女装、服装等主播会露脸的行业。因为频道页面很多直播只有封面图片，所以我们在实验结果中分析的这些直播的ctr和用户时长指标都有1%-1.2%的提升。
从频道页面点进去就是上下的场景。用户看到的是直播间的内容，有声音。所以更适合实时的内容理解算法，比如空镜头抑制。结合人脸检测和asr的结果，可以判断一段时间内直播间是有人脸还是有声音，结合cv和音频特征，输出当前直播间是否空拍摄。
(空镜头盒)
实验开始时，基准桶和基准桶的指标基本相同。因为我们只覆盖了头部主播，所以需要统计一下服务分析直播这部分的效率。发现在高空镜像率的短时长直播中，用户在实验桶上的平均时长显著增加。然后进一步分析发现流媒体服务机OOM挂机，导致直播分析持续时间短。在修复了项目中的一些bug后，分析所覆盖的部分直播中用户的平均时长和pv都有了明显的提升，全桶指数也因为体验优化而有所提升，平均时长、pv和整体pv都提升了2%以上。
消极治理
跨性别主播
直播内容丰富多彩，主播们用各种手段吸引眼球。软色情是最常见的一种，其中最近几个月发现了跨性别主播。跨性别主播是指一些男主播通过变性或化妆变化，为女性从事直播活动。直播内容以变性人为亮点吸引点击，存在较大的舆论隐患。为了识别跨性别主播，我们利用跨性别主播屏幕性别为女性，声音性别为男性的特征来排查淘宝主播。相关模型的准确性:
明星助理现场直播
明星转播和助理转播
随着直播送外卖这种形式的兴起，一些明星也加入了淘宝直播开始送外卖生涯。运营同学从2021年1月1日开始分析明星公域流量使用情况，发现明星公域整体uv成交值超过MCN机构平均值。然而，用户的停留时间低于MCN的平均水平。进一步统计显示，明星助手直播期间，所有公共领域转化数据均低于MCN市场，垫底。这说明原来明星直播改成助理直播后，整体转型受到的影响最严重。很多用户看到直播间的明星封面图进入直播间。如果他们发现明星不是在直播，他们会觉得被骗了。所以为了鼓励明星直播，同时提高公共领域流量转化率，我们做了明星直播间实时识别，辅助流量管控。
联合淘宝直播推荐团队，调整明星直播间在首猜信息流、频道页面、上下场景的力量，让明星账号感受到明星直播和助理直播的不同，并做出改变。实验中我们还发现，明星直播间pv曝光降低后，ctr和人均时长都有一定程度的提高。
小结直播间的实时内容理解需要搭建强大的计算平台。目前，我们的服务使用EAS、TPP、VIP、IGraph、MetaQ、ODPS等平台。调试工程环节比较麻烦，消耗大量机器资源。为了增加模型处理能力，会有新的算法部署到RTP平台，新的平台还在建设中，需要同时建设和使用。理解内容算法如何与推荐算法相结合也很重要。短视频或图像可以离线处理，算法可以保留结果。但直播内容是实时处理的，需要和推荐算法深度绑定。最后的感受是一定要对业务场景有透彻的了解，不同场景下有效的特性是不一样的。
原文:https://www.tuicool.com/articles/bqmMj2m
作者:淘科技
