七年前，我的第一份工作是在“土耳其机械”上完成的。我立刻看到了人群的力量，但这个过程非常困难，所以我创建了CrowdFlower(现在是Appen)，为像我这样的人提供更好的体验和更准确的结果。从那时起，我自己创造了数千个工作岗位，并关注着客户构建的无数微任务。许多人得到了很好的结果，并充分发挥了人群的潜力。但通常情况下，当我在我们的平台上寻找一份工作时，我能马上看出结果不会比我多年前运行的第一个项目好多少。
好消息是，用户所犯的大多数错误都可以通过遵循一些直观的规则来避免。我整理了一份清单，列出了我的建议，帮助大家成功完成任务。我还从众包的一些同事那里得到了一些明智的建议包括Sid Viswanathan，他完全通过微任务创建了CardMunch公司，bob外围怎么样并把它卖给了LinkedIn; Omar Alonso，微软研究员，他写了很多关于众包最佳实践的文章;Praveen Paritosh，谷歌众包领域的思想领袖。如果你有更多的建议，请告诉我。
这里有12个必要的步骤，你需要充分利用你的众包工作:
1)问问自己:我的工作真的有可能吗?
我很惊讶有那么多人忽略了这一步。想想你是否为一个从未谋面的人提供了足够的信息来完成任务。
是什么让一份工作成为可能?如果您正在收集信息，它必须是在线可用的，而不是在登录后。如果你让某人找10张建筑物的照片，那就必须有一座建筑物，而且必须有照片可用。如果你从电子表格上传与工作相关的信息，所有的字段都应该填写。这不是脑科学，在你开始你的工作之前，停下来认真地想清楚那些可能会让一个对你的项目一无所知的人无法完成你想要完成的任务的问题。
2)问问你的朋友:我的工作真的有可能吗?
找到一个没有看过你工作的人，把它展示给他或她，看看他们是如何做的，这总是好的。这将解决我们看到的90%的基本问题。我们提供了一个预览和内部界面，以便于Appen的工作设计人员轻松做到这一点。
3)问问别人:我的工作真的有可能吗?
对你的工作进行反馈。Appen有一群长期的贡献者，我们用他们来测试新类型的工作并获得反馈。这可以让真正从事你的工作的人回顾你的指示和设置，确保他们能够理解你试图完成的目标。结果可能非常具有启发性。
4)及时反馈
当我创办CrowdFlower时，我并不知道向贡献者提供实时反馈有多重要。例如，在地址验证作业中，通过添加一个简单的地址验证器，如果贡献者的输入明显无效，就会发出警告，我们可以看到大量的质量改进。
金本位数据(Gold Standard Data)是另一种提供即时反馈的好方法。黄金单位是带有已知答案的预先标记的单位，将在你的工作中定期插入。然后使用黄金单元来测试和跟踪贡献者的性能。戈尔德确保只有在你的工作中展示出能力的贡献者才被允许提交判断。
在众包的早期，我们很难将Gold隐藏在工作中，以便贡献者能够实时看到他们工作中的错误。现在Appen提供了直观的工具，使创建Gold的过程变得简单。虽然确实有些工作，比如论文写作，可能需要多步骤验证过程，而不是传统的Gold，但我们已经看到了很好的结果，即使是你可能认为与Gold不兼容的任务。只要有一点创造力，像翻译、搜索相关性和调查这样的工作就真的能从隐藏的黄金中获益。这是一个全新的博客主题。
5)确保你的黄金有效。
我们发现，没有什么比做好工作却得到错误的反馈更让员工沮丧的了。因此，如果您正在使用Gold(这是应该的)，请定期检查哪些Gold贡献者出错了，并看看您可以从他们的错误中吸取什么教训。这可能就像重新措辞一个问题，或者找到黄金的两个答案是有意义的，你可以很容易地修复它。
6)制作一个漂亮的界面
您不必成为用户体验(UX)专家来制作一个合理的好看的任务。我们已经将我们的平台与bootstrap集成在一起，并设计了一种完整的语言，我们称之为自定义标记语言(CML)，来帮助你安排漂亮的工作。对于更复杂的任务，这一点尤为重要。通常，最好的结果来自于寻找相似的工作并复制它们的界面。
7)限制对贡献者的访问
将您的人群缩小到Appen的可信贡献者，并在Appen平台上添加技能测试可以显著提高结果。想一下谁可能在你的具体任务中做得最好。例如，如果您正在运行德文任务，请考虑限制对德文IP地址的访问。你会很高兴你这么做了。
8)从小处着手
如果您正在运行一个包含大量数据的大型作业，那么就从一个有限的数据集开始，查看结果，并在运行其余数据之前迭代您的作业设置。这应该是显而易见的，但很容易让人变得懒惰，并认为自己做了正确的事情。Appen为您提供了从一小部分数据开始的选项，从而简化了这一操作。
9)考虑规模
Sid Viswanathan的一些至理名言:确保你有足够的规模来证明众包的合理性。人们经常对我说，我有500个任务，每个任务大约需要2分钟。在很多情况下，我的反应是只雇几个人，然后草草了事，因为这可能会让你更快地完成工作。所以我想问你几个问题:(1)这是一次性的事情，还是你预计会有经常性的工作?(2)获得结果是否具有时效性?使用人群并没有明确的最低门槛，然而，我向许多人建议，如果设计人群工作是一次性的，工作量不大，那么设计人群工作就可以节省时间。根据复杂性，从头开始设计一份优秀的众包工作是非常耗时的，所以你必须权衡什么才是最合理的。
10)决定你想做多少工作
众包需要工作，所以决定你自己想投入多少时间。
Praveen Paritosh换了一种说法，“最初的阶段是检查可行性，构建和完善界面和任务;最重要的是，提炼黄金(合成人群通常比黄金更好，这完全破坏了反馈过程!)所以，我对新手的建议是，了解这些前期成本，以及工具和专业知识方面的投入。大多数工作都花在让任务可靠地运行上，之后，你可能就可以放手了。”
你做的工作越多，你得到的反馈越多，你的结果就会越好，但这个过程可能需要时间。根据工作的规模和成本，在某种程度上，牺牲一些工作中的低效来完成工作可能会更好。
奥马尔·阿隆索还有两条建议:
11)征求意见
“留一个空白的评论框——你会对收到的回复感到惊讶的。”
12)让员工开心
“永远让你的员工开心。您将运行更多的任务。不要惹恼帮助你的人。”
关于如何从包括Appen在内的各种平台供应商那里获得好的结果，现在已经有数百篇研究论文。不管你选择的是哪条路，上面提到的这些简单的步骤都会帮助你的工作取得成功。
