在最近的一篇论文中优化众包会话话语的设计和成本，Appen数据科学家菲比刘她的团队努力确定用于培训聊天系统等训练的经济有效的众群策略。
由于越来越多的行业正在采用聊天机器人技术来提供客户服务和其他关键功能，因此出现了尽可能快速和经济实惠地培训这些系统的需求。我们很自豪地宣布，刘的论文已经被即将到来的学术会议接受KDD研讨会的数据收集，管理，和标签挖掘和学习！！
这篇论文是关于什么的?
众所周知，众包可以产生高频率的噪声和低质量的数据。而“黄金答案”等技术有助于过滤某些类型的噪声数据收集任务，由于其开放性的性质，这些技术难以与话语集合一起使用，这导致必须丢弃的大量数据。这意味着获得高质量的话语数据通常需要仔细的设计和众群任务的多次迭代，这可能导致成本的显着增加。在她的论文中，刘考虑了众多使用的众多工作流程的几种变化，用于众群话语集合，并试图确定它们如何影响数据质量。密切研究了两种节省成本的策略：使用双层付款方案激励人群工人并使用输入话语数据的自动验证。项目一开始就出了三个定义问题：
- 与预先支付员工工资相比，使用双层支付方式的话语质量提高了多少?
- 由于大多数成本在于人类验证，与使用无自动验证相比，数据质量如何使用自动验证改善？
- 是否有一种策略可以用作数据收集的停止标准而不会影响模型性能？
双层付款方式是否提供更好的结果？
刘的团队进行了一项实验，以评估预先支付与提供两层支付是否会提高话语数据质量。对于单层的方法，他们预先支付了总成本。在两层的情况下，他们先支付三分之一的费用，然后在成功确认话语后支付剩下的费用。
自动验证可以实现人类的准确性吗？
该团队调查了在数据收集阶段可以防止无效的话语，从而减轻人类验证的成本。为此，他们创建了一个自动文本验证器（或智能验证器），该验证器可防止工人提交Gibberish和非目标语言话语。该验证器估计基于该话语的字符转换的角色来生成一个话语的可能性。当概率很低时，话语标记为凝血性。
结果：个人和合并策略
对于带有智能验证器的两层支付方法，团队期望员工会受到支付结构的激励，自然地希望表现良好，与没有自动验证的两层方法相比，结果是相似的话语质量。
然而，使用自动验证的两层语言质量的提高让他们推测，在智能验证器阻止他们提交内容后，一些最初不注意的员工意识到他们需要更注意。
在成本方面，使用智能验证器不会为单层支付条件带来额外成本。在两层支付条件下，成本有一个小的增加，因为从数据收集阶段产生的更有效的话语增加了对人群工作人员的支付。有趣的是，有智能验证器的一层支付条件和没有智能验证器的两层支付条件下的话语质量相差很大。从成本效益的角度来看，这些结果表明，组织应该认真考虑人为验证是否值得为他们的特定应用付出成本。
快速外卖：智能验证在某种程度上接近人类性能，这将是可以承受略微降低准确性的项目的合适成本减少策略。
自适应数据收集策略是否会退还？
鉴于相同数量的培训数据，由于措辞变化的数量的差异，bob体育手机下载不同的意图可能达到不同的覆盖范围。这会促使团队想知道是否有利于使用覆盖范围，以便为每个意图自适应地终止数据收集。这一想法是，而不是众所周心的常规做法是针对特定应用程序的意图（“固定策略”的符合数量的话语示例），而是可以在该意图的覆盖范围超过阈值时停止收集数据（“自适应策略“）。
Quick Takeaway：出于本案研究的目的，刘的团队发现，与固定策略相比，使用自适应策略的成本高度更高。
结论
bob体育手机下载培训数据是构建机器学习模型的关键，并找到通过众包收集培训数据的最具成本效益的方式仍然是一个开放的问题。刘的调查结果表明，使用智能验证器可以显着提高数据质量，没有成本的增加。虽然发现人类验证比智能验证器稍微有效，但它也增加了成本。本文还证明，使用覆盖度量可以是一种成本有效的方法，可以在保持所需的模型性能的同时自适应地终止数据收集过程。
最后的外卖？刘的团队为未来的数据从业者提供了明确的指导，用于使用自动语言系统：可以降低成本而不会牺牲数据质量。
-
在Appen，我们帮助机器学习和人工智能领域的领导者将他们的程序从概念验证扩展到生产。联系我们要学习更多的知识。
