抽搐。有些人认为这是一个由游戏玩家和善良的电子竞技爱好者组成的有趣的在线社区。对于其他人来说，这是潜在有毒内容和仇恨言论的危险流。
在不断发展的数字通信领域，Twitch和YouTubeLive等直播平台上消息的实时性给内容审核带来了独特的挑战。目前，缺乏有效的直播内容审核工具，因为现有模型是在Facebook或Twitter等非实时社交媒体平台上进行训练的。
来自南加州大学维特比信息科学研究所(ISI)的研究助理Dong-HoLee和首席科学家JayPujara着手改变这一状况。他们开发了一种创新方法，可以将直播平台上的审核模型的性能提高35%。
保持同步
Pujara说：“如果我在Twitter或Reddit上发布内容，可能会有人在几小时或几天后回复。但如果我们看Twitch，那是一个非常不同的环境。人们每秒都在发送消息。”
这一切都取决于时机。Twitter、Facebook和Reddit是异步的——用户发布他们的想法，但回复不是立即的。另一方面，Twitch、YouTubeLive和其他直播平台是同步的，这相当于进行实时对话。
在异步平台上的对话中，思想通常被分组为允许对话上下文的线程结构。用户没有时间限制，因此他们可以做出更经过深思熟虑的回应来发表评论。而在同步平台上，思想是实时、连续地呈现的，没有结构来指示上下文。快节奏的性质鼓励快速响应和多个简短评论。
首创的方法
看到研究中的这一差距，Lee和Pujara进行了第一个NLP研究，以检测直播聊天中的规范违规行为。
“违反规范”是指在线平台上的用户违反既定规则或可接受行为准则的情况。Pujara解释说：“通常，当您加入[直播]时，会发布一套规则，并且有版主试图找出人们是否违反了这些规则。您是否在骚扰某人?您是否试图换个话题?你在发垃圾邮件吗?”
作者团队，包括ISI博士。学生JustinCho和WoojeongJin以及南加州大学维特比ThomasLord计算机科学系的研究副教授JonathanMay使用了Twitch上4,583条违反规范评论的数据集，这些评论由人工频道版主主持。
“他们收集了每个Twitch主播的聊天规则，召开了迭代会议来对违反规范的类型进行分类，并管理注释者对各种直播会话进行标记，以分析Twitch中的规范违规行为，”Lee继续说道，“这涉及到一项重大的共同努力各行业合作伙伴和学术机构之间首次研究直播聊天中的违规行为。”
Pujara说：“我们这样做的一个有趣的事情是，为了获得数据的标签，我们进行了众包。我们让人给它贴上标签，然后这些人基本上会得到三个层次的细节。所以，我们给他们逐渐获得更多信息，以便能够评估正在发生的事情。”
提供了哪些详细信息?该团队设计了一个流程，可以确定围绕审核评论的不同背景级别的影响。例如，聊天历史记录是否有影响——评论者在审核内容之前的最后一条消息，还是审核评论期间更广泛的聊天?发表评论时视频中发生了什么?是否存在与特定于评论的内容相关的任何外部知识(即频道内的特定表情符号或俚语)。
语境至关重要
事实证明，在主持直播时，背景很重要。
Pujara解释说：“您可以通过使用不同数量的信息来提高审核质量。因此，如果您正在为Twitch设计自动审核系统，您确实需要考虑什么是正确的上下文来解释人们的身份说。”
该团队使用这些信息，确定了最能帮助人类主持人的信息背景，并训练模型通过利用这些背景信息来识别违反规范的行为。他们的结果表明，上下文信息可以将模型审核性能提高35%。
Pujara和Lee的论文《AnalyzingNormViolationsinLive-StreamChat》可在arXiv预印本服务器上获取，并将在2023年自然语言处理经验方法会议(EMNLP23)上发表，该会议将于12月6日在新加坡举行。2023年10月。
Lee说：“我很高兴能够参加EMNLP并展示我们的研究。此外，我还渴望展示另外两篇论文——使用上下文学习进行无知识的时间知识图预测和使大型语言模型更好的数据创建者——我和杰伊一起工作过的。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！