尽管体育行业不断改善观众在家观看比赛的体验，但仍有一些问题尚未解决。足球迷面临的一个问题就是，直播时摄影师会意外地出现在对方的镜头中。这些情况不仅会分散观众对比赛关键时刻的注意力，还可能因观众不满而导致广播公司的收入损失。
为了解决这个问题，考纳斯理工大学(KTU)的研究人员开发了一种端到端系统，通过消除因摄像机角度重叠造成的视觉干扰来增强观看体验。
“我们的新发明是一种适用于检测视频作员的算法，”该创新的创造者之一、KTU教授RytisMaskeliūnas说。
研究团队的另一名成员SerhiiPostupaiev强调指出，由于现场体育报道的复杂性以及体育场周围有大量摄像机，摄影师出现在画面中是足球转播中经常出现的问题。
Postupaiev解释说：“在著名的锦标赛中，摄像机点的数量可以从9个开始，而且许多重叠的视图都会导致视觉分散问题。这些问题严重限制了摄像团队，因为他们必须不断拍摄比赛，同时避免互相抓拍，这可能会导致某些比赛时刻的背景丢失，或使广播缺乏动态和沉浸感。”
消除视觉干扰
为了解决这个问题并在直播期间删除不需要的物体，KTU科学家设计并实施了一个端到端系统。
YOLOv8模型是其功能之一，它是一种以速度和准确性著称的最先进的物体检测系统。YOLOv8的全称是“YouOnlyLookOnce”(你只需看一次)，它可以一次性检测并分类图像中的物体，非常适合足球直播等实时事件。
“它的工作原理是将图像划分为网格，并预测每个网格单元的边界框、类别概率和分割多边形。这使它能够识别和分割摄影师，”最近从KTU毕业并获得计算机科学人工智能硕士学位的SerhiiPostupaiev说道。
为了训练YOLOv8模型以准确检测和分割足球比赛期间的摄影师，必须创建一个数据集。
Postupaiev补充道：“我创建这个数据集是为了包含各种摄影师，他们有不同的身材、形状和设备类型，并在各种条件下和比赛的不同阶段拍摄。现在，YOLOv8使用这个数据集来识别摄影师在视频帧中的位置。”
正如发明者所解释的那样，这个过程是为实际移除作符奠定基础所必需的。为此，我们使用了视频修复技术。
足球场内的战略摄像机位置和重叠视角(虚线)。图片来源：考纳斯理工大学
Postupaiev表示：“深度学习中的修复一词是指重建图像和视频中丢失或损坏部分的过程。具体来说，在这种情况下，它用于从足球视频广播中删除摄影师。”
人工智能(AI)和基于计算机视觉的技术会分析视频帧，以检测摄影师等不想要的物体，并用相关背景细节填充被删除的区域。修改后的帧随后会流回给观众，确保更加身临其境和专业的广播。
Maskeliūnas补充说，在电视服务器上，这种算法可以在直播之前处理录制的图像，与实际拍摄的瞬间有几秒钟的延迟，但这仍然算是一种直播。他相信，随着设备的改进，人工智能将完美填补这一时间空白。
将焦点从简单捕捉动作转移
有了这项新技术，在家观看足球比赛将得到显著改善。其中之一就是更流畅的观看体验。
“转播将更加精致和专业，不会因为摄影师出现在不该出现的地方而造成干扰。这一改进将减少因镜头分散而错过比赛重要时刻的情况，”凭借该项目获得硕士学位的Postupaiev强调道。
Postupaiev表示，该领域的进一步研究可能会开启体育广播的新时代，将重点从简单地捕捉动作转移到创造完全沉浸式和不间断的观看体验。
他说：“通过实施摄影师修复技术，广播公司可以探索创新的摄像机角度、视角和效果，以全新而令人兴奋的方式让游戏栩栩如生。”
此外，摄影师修复的功能可以扩展到现场直播之外，以增强赛前和赛后分析、离线精彩片段处理和档案镜头的修复。
一名KTU毕业生补充道：“这甚至可以为经典比赛的旧录音注入新的活力。”
这项发明并不局限于足球，它还可以应用于其他面临类似转播挑战的运动。五人制足球和篮球等需要沉浸式转播的动态运动也可以从这项技术中受益。
“这又是现代人工智能应用所能做到的事情的又一例证。我们经常听说医疗应用，但在这里，我们采用以消费者为导向的方法来编辑我们不喜欢的图像。在未来，这种技术将能够删除广告或用其他广告替换广告，从而以人眼无法察觉的精度不断更新内容，”KTU信息学院教授Maskeliūnas表示。
论文《YOLOv8在足球视频转播中的实时摄像机作符分割》发表在AI杂志上。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！