在外部网站上运行 MTurk HIT

Question

我正在实施一个网站，招募的MTurk工人将在该网站执行任务。我计划使用 MTurk 任务招聘工人，我会使用它将他们重定向到外部网站进行实际工作。我有以下关于这个计划的问题。

1. 这种运行 HIT 的方法是否存在任何可预见的问题？如果是这样，我们如何减轻它们？

2. 我应该如何在我的外部站点上实施身份验证过程？例如，我如何确保访问网站执行特定任务的人确实是之前在MTurk上为该特定任务招募的同一群人？

3. 当工人完成任务时，我应该如何根据他们的表现将付款程序与MTurk集成？例如，假设工人在我的外部网站上完成任务后欠 3 美元，我是否可以告诉 MTurk 以编程方式向他/她支付这笔款项？

外部站点将使用Python构建，如果这些细节很重要。

任何

基于您使用MTurk的经验和见解的建议和意见将不胜感激！

Answer 1

我正在为我的一个类似项目考虑这个问题。我自己也做过工人实验。这是我的计划，希望对您有用。（我还没有实现它。它基于我作为工人参加的学术 HIT。这里是：

A. 创建一个模板，其语言如下：

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B. 为您的机械土耳其人数据文件创建一些随机令牌：

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

（从你的应用生成这些令牌;它需要交叉引用它们。

三.你的应用从 URL 中提取令牌，查找任务，并执行它需要执行的任何操作。我个人并不担心人们偶然发现 URL，因为它是一次性使用的令牌。

D.用户在外部网站上完成任务后，外部应用会提供确认代码。确认代码应该是随机且不透明的。只有您的应用程序才能知道任何特定代码是否对应于正确或不正确的答案。事实上，如果你愿意，正确性甚至可能无法实时确定 - 它可能是跨多个提交进行聚合和/或比较的结果。

E. 编写一些代码以编程方式进行交互。获取 MTurk 结果中提供的令牌和确认代码，并确保它们与您的外部应用程序匹配。如果不匹配，请拒绝 HIT。如果它们匹配，请检查外部应用中的正确性并批准或拒绝。您可以考虑奖金支付结构。

因此，要回答您的特定问题：

我

1. 预计我描述的方法不会有问题。也就是说，机械土耳其人既是一门艺术，也是一门科学。也许更多的艺术。写好的问题并适当地支付Turkers是你必须结合常识，市场研究和实验来弄清楚的事情。

2. 见上文（C）。令牌设计为只能使用一次。使用足够长的令牌，冲突的可能性变得非常低。

3. 见上文（E）。Mechanical Turk 开发人员指南是一个很好的起点。

请分享您的结果。或者让Turkers向StackOverflow发送数百张明信片。:)

笔记：

• 我目前正在探索资格测试。我怀疑它们可能非常有用。

• 我想在我的外部应用程序中获取 Turker 的工人 ID，但我还没有弄清楚这部分。我正在阅读它;例如：通过分配 ID 获取工作线程 ID

• 我正在考虑使用API中的外部问题功能："...您可以使用"外部"问题在自己的网站上托管问题。...带有外部问题的 HIT 会在工作人员的 Web 浏览器中的框架中显示您网站上的网页。您的网页显示一个表单，供工作人员填写和提交。工作人员使用您的表单提交结果，您的表单将结果提交回 Mechanical Turk。 使用您的网站显示表单使您的网站可以控制问题的显示方式以及如何收集答案。

Answer 2

您可能还会发现PsiTurk很有用："PsiTurk是一个开放平台，用于在亚马逊的Mechanical Turk上进行自定义行为实验。它旨在提供运行实验所需的大多数后端机制。它使用 AMT 的外部问题 HIT 类型，这意味着您可以使用任何网站收集数据。只要你能把你的实验变成一个网站，你就可以用PsiTurk运行它！