利用人工智能和机器学习进行内容审核

推特
推特
LinkedIn
分享
脸谱网
fb-share-icon

机器学习如何优化内容审核

互联网拥有超过45亿用户,并且每天都在生成数十亿的图片、视频、消息、帖子和其他类型的内容。这些内容必须以某种方式加以监管,因为大多数互联网用户希望访问他们最喜欢的社交媒体平台或在线零售商,并获得安全、积极的体验。内容审核是一种解决方案:它删除任何明确的、滥用的、虚假的、欺诈的、有害的或对商业不友好的数据。

公司传统上依赖人们来满足内容审核的需求,但随着使用量和内容的增长,这种方法不再具有成本效益或效率。相反,企业正在投资于机器学习(ML)策略,以创建自动调节内容的算法。

由人工智能(AI)驱动的内容审核使在线企业能够更快地扩展,并以一种对用户更一致的方式优化其内容审核。它并没有消除对人类版主的需要(human-in-the-loop),他们仍然可以提供准确的地面真相监测,并处理更加上下文相关、微妙的内容关注。但它确实减少了版主需要审查的内容数量,这是一个积极的方面:不必要地接触有害内容对心理健康有不利影响。把这个艰巨的任务留给机器,会给公司、员工和用户带来好处。

内容审核的真实应用程序

公司将基于ml的内容审核用于各种数字媒体用例,从视频游戏到聊天机器人和聊天室。不过,最常见的两种应用程序是社交媒体和在线零售。

社交媒体

社交媒体存在内容问题。仅Facebook就拥有超过20亿的用户,他们平均每天观看1亿小时的视频,上传超过3.5亿张照片。雇佣足够多的人来手动审查这些流量产生的内容数量将是非常昂贵和耗时的。人工智能可以通过自动检查文本、用户名、图像和视频中的仇恨言论、网络欺凌、露脸或有害内容、假新闻和垃圾邮件来减轻这种负担。然后,该算法可以删除不符合公司条款和条件的内容或用户。bob外围怎么样

在线零售

内容审核不仅仅局限于社交平台。在线零售商也使用内容审核工具只为消费者展示高质量的、对商业友好的内容。例如,一个酒店预订网站可能会利用人工智能扫描所有酒店房间的图像,并删除任何违反网站规定的图像(例如,照片中不能看到任何人)。零售商还利用ML技术的组合来实现业务所需的定制。

内容适度如何运作?

基于ml的审核系统的内容队列和升级规则因公司而异,但通常会在第一步、第二步或两者都包括人工智能审核:bob外围怎么样

  1. Pre-moderation。人工智能在发布前审核用户内容。分类为无害的内容会被用户看到。被认为有很大可能有害的内容取消了对商业不友好的做法。如果AI模型对其预测的信心很低,它将标明人类审查的内容。
  2. Post-moderation。用户报告有害内容,其中AI或人类随后的评论。如果AI进行审查,它将遵循步骤1中描述的相同工作流程,自动删除确定为有害的任何内容。

根据不同类型的媒体,人工智能使用各种ML技术来进行内容预测。

文本

  • 自然语言处理:要理解人类的语言,计算机依赖于NLP。他们可能会使用关键字过滤等技术来识别不宜删除的语言。
  • 情绪分析:在互联网上,语境很重要,情绪分析可以帮助计算机识别语调,比如讽刺或愤怒。
  • 知识库:计算机可以依赖已知信息的数据库,以便对哪些文章可能是假新闻或识别普通诈骗的预测。

图像和视频

  • 对象检测:图像分析可以识别出不符合平台标准的图像和视频中的目标对象,比如裸体。
  • 场景的理解:计算机正在学习理解场景中所发生的情况,从而做出更准确的决策。

所有数据类型

无论数据类型如何,公司都可以使用用户信誉技术来确定他们可以信任的内容。计算机将有发布垃圾邮件或明确内容历史的用户分类为“不受信任的”用户,并对他们未来发布的任何内容进行更严格的审查。声誉技术还能打击假新闻:电脑更有可能将不可靠新闻来源的内容标记为假新闻。

幸运的是,内容审核会不断产生新的内容bob体育手机下载。如果计算机将内容发送给人类审查员,人类将标记这些内容是否有害,然后输入内容带安全标签的数据时回到算法提高未来的准确性。

克服内容审核的挑战

克服内容审核的挑战

内容审核给人工智能模型带来了许多挑战。大量的内容需要在不牺牲准确性的情况下快速创建模型。开发精确模型的问题在于数据。面向数字平台的公共内容数据集数量有限,因为大部分数据都被收集这些数据的公司作为财产保留下来。bob外围怎么样

还有语言的问题。互联网是全球性的,这意味着你的内容审核AI必须识别数十种不同的语言,以及使用这些语言的文化的社会背景。语言会随着时间的推移而变化,因此定期使用新数据更新模型是至关重要的。

关于定义也有不一致的地方。网络欺凌是什么意思?裸体雕像被认为是艺术,还是很露骨?为了在审核过程中维护用户的信任,在平台中保持这些定义的一致性是很重要的。用户具有创造性,不断改进他们的方法,以找到适当的漏洞。为了应对这种情况,你必须不断地重新训练你的模型,以剔除最新的骗局或假新闻等问题。

最后,要注意内容审核中的偏见。当涉及到语言或使用者特征时,就有可能存在歧视。使你的训练数据多样化,并教你的模型理bob体育手机下载解上下文将是至关重要的减少偏见

通过所有这些挑战,它似乎可以不可逾越,可以生产有效的内容适度平台。但成功是可能的:许多组织转向第三方供应商提供足够的培训数据,以及一群全球个人(讲述各种语言)来标记它。bob体育手机下载第三方合作伙伴还可以在支持ML的内容泛温工具中带来所需的专业知识,以提供可扩展,高效的模型。

Appen内容审核专家Justin Adam的见解

在Appen,我们依靠我们的专家团队帮助您建立先进的模型,实现成功的内容审核,提供高质量的客户体验并提高业务ROI。Justin Adam是一名程序经理,负责监督几个与内容审核相关的项目,他是我们团队的领先专家之一,在使用机器学习实现和改进内容审核时,他确保了客户的成功。Justin关于成功的内容审核项目的三大观点包括:

  • 作为现实世界的更新策略:每一个内容审核决策都应遵循已定义的政策;然而,这也要求政策必须迅速演变,以消除出现的任何差距、灰色地带或边缘情况,特别是敏感话题。监测特定市场的内容趋势,确定政策差距,提供建议,并部署政策变化,以确保交付的数据将基于与最新、最全面的政策指导相一致的版主的决定。
  • 管理人口统计偏见:内容审核是最有效的、可靠的和值得信赖的,当审核员的池是代表被审核市场的一般人口。重要的是要定义所需的人口统计数据,并处理多样性来源的所有方面,这样输入模型的数据就不会受到人口统计偏见的影响。
  • 制定质量管理战略和专家资源来支持:在今天的政治气候下,内容审核决策容易受到审查。有效地识别、纠正,以及最重要的是防止错误需要一个全面的策略。我们经常根据客户的具体需求,推荐并帮助实施适当的战略,包括开发一个完整的受过培训的政策主题专家团队,建立质量控制评审层次,以及量身定制的质量分析和报告。

什么安抚可以为你做些什么

拥有超过20年的帮助公司建立和推出AI模型的经验,我们很自豪能够为您的内容适度需求提供全面的数据分类管道。我们专有的质量控制技术提供高精度和精度,以我们的专业知识为指导平台特性帮助您实现快速交付和可伸缩性。

了解更多关于专业知识以及我们如何帮助您满足特定的内容审核需求。

使用世界级培训数据部署AI的网站bob体育手机下载
语言