“我应该什么时候使用众包，什么时候应该使用策划人群？”这是任何对人员配备感兴趣的问题人类注释任务应该问，但许多人不知道他们甚至不知道众包数据有两种不同的选择。因此，让我们开始定义选项。假设您需要人类注释，例如搜索相关性评估，有两种方式可以收集必要的人类工作的工作：1。众包，任务在大量人群中可用，没有任何培训或管理，超出了一组非常有限的任务指令，并且可能是一个简单的筛查测试;或者2.根据质量指南，选择较小组以准确完成任务的策划人群。
众包的力量在其数字。你可以快速完成很多，因为许多手都会做出轻松的工作。十万人可以做一百多万人。成本较少，因为众包通常只支付每项任务的几分钱。大多数人群成员都不试图谋生 - 他们只是在努力在业余时间制作一些额外的雄鹿队。众群中通常涉及的人数很少，因为人群照顾自己。你把任务放在那里，如果它足够有趣并且足够支付，那么人群将完成。
随着这些优势的一些限制：首先，质量控制极为有限。如果没有这个，您必须依赖清晰的指令，自动理解检查，以及高重叠以获取您可以信任的数据。重叠很重要，因为人群中总会有噪音，所以你可能会支付至少五名人群成员来审查每个结果。人群的一些成员将尝试游戏系统，使用机器人对他们进行工作，因此您需要在高重叠的顶部进行筛选测试。
第二个限制是您对任务完成的缺乏控制。人群能够快速完成了很多，但如果需要，它只会让您的任务快速完成。这意味着如果您的任务比闪亮的新任务更困难或更少令人兴奋，另一个团队正在提供，那么您将不得不激励人群，以更高的支付来完成您的任务。人群没有承诺对您而且可能无法截止日期。此外，如果您正在寻找较小的市场中的数据，那么您的运气众包在美国巨大巨大，但同样的情况并没有全球真实。
另一方面，策划人群是关于质量的。使用此解决方案，您可以有一组专门的人，如果没有专门的任务，那么到类似的任务。策划人群的人成为搜索相关性评估，社交媒体评估或他们工作的任何类型的人类注释任务的专家。这不仅仅是对他们积累的经验进行计数，以确保质量的累积经验，虽然这种经历表现了很大的作用。质量的关键是持续检查和平衡。
策划人群的成员被持有质量指标，获得质量反馈，如果他们不提供所需的质量，则从任务中删除。这意味着您可以使用很少的重叠，为每次判断支付一到三次而不是五次或更多次，因为您可以信任每个人提供的数据。策划人群提供商还监控生产力和吞吐量，确保人群满足每周，每日和每小时承诺，以便您需要您需要的数据。如果您选择了一个很好的供应商，那么经理也将是一个宝贵的资源，利用多年的经验与您合作，在根据您的需求构建任务和指南。
随着这种更高水平的质量和生产力管理来源。策划人群的成本超过众包，因为这项工作通常是主要收入来源。您还支付了您在众包中没有的质量监督。但是，请记住，较低的重叠弥补了这些成本，因为您不需要多次为每个收集的数据点支付。
除了财务成本外，策划人群还需要更多的承诺，以换取您获得的更大承诺。当您始终如一地为他们提供工作时，它们会最开心的，并将其技能最清晰。也就是说，如果您对人类注释需要的自然潮流和流量需要更大的灵活性，还有替代方案，例如与运行类似任务的其他团队共享灵活的策策人群。
那么你什么时候应该使用众包，什么时候应该使用策划人群？
众群非常适合可以在两三个句子中充分解释的简单任务。如果您有严格的截止日期，并且人群没有足够性感，您将迅速完成速度，但准备好提高薪酬率。
另一方面，如果您有更复杂的任务，特别是如果它是一个长期或正在进行的任务，专用人员可以随着时间的推移建立专业知识，那么策划人群就适合您。无论哪种方式，确保您完全了解您的选项，以便您可以为您的业务提供最佳选择。
