约翰霍普金斯大学利用AI研究蜘蛛结网中的行为神经学
01/14/2022
通过澳鹏Appen数据标注平台，约翰霍普金斯大学研究人员得以快速准确地标注模型训练数据、追踪蜘蛛的活动、了解蜘蛛潜在的行为动机。
“标注员通过澳鹏平台（当时名为“Figure Eight”）只需几周时间就能完成普通人一年花费1500+小时或更长时间才能完成的工作。” 约翰霍普金斯大学生物学助理教授Andrew Gordus
项目介绍 行为神经学研究人员一直在研究蜘蛛的结网行为，以量化蜘蛛的行为，探索蜘蛛在结网的各个阶段是如何进行预测的。其中的一个研究重点是，了解蜘蛛如何在较长的时间里组织其行为、建立一个精确有序的结构。 研究动物行为的典型挑战是，您无法询问动物的潜在的动机。但是，在构筑过程中，动物会留下与其行为动机相关的记录。这一点结网的蜘蛛表现得尤为明显，其建立的结构非常容易量化，这就使得约翰霍普金斯大学教授Andrew Gordus及其团队有机会将蜘蛛的行为和这个记录联系起来，以确定蜘蛛正常行为的基线标准。 Gordus和一组研究人员一起，安装了带有人工智能技术的夜视摄像机，跟踪并记录蜘蛛结网时八条腿的每一个动作。借助人工智能，研究人员可以追踪并记录蜘蛛每条腿的动作，从而了解蜘蛛使用怎样的模式结出如此精妙复杂的蛛网。挑战 在绘制蜘蛛结网的动作轨迹时，研究人员遇到若干挑战。第一个挑战是如何在黑暗环境下记录蜘蛛的行为。为克服这个挑战，研究人员使用了红外夜视摄像机。 第二个挑战是如何准确高效地追踪蜘蛛的每个行为。研究人员可以逐帧跟踪和记录蜘蛛每条腿的动作，但这需要耗费大量时间。 第三个挑战是如何训练计算机视觉模型，使之适用于预期的应用场景。研究人员发现，他们需要准确标注数万帧视频，才能使模型能够标注蜘蛛视频。
“即使用视频记录蜘蛛的行为，也要跟踪许多蜘蛛很长时间内每条腿的动作。人工标注每一帧中蜘蛛的腿部动作，工作量实在太大了。于是，我们训练机器视觉软件来检测每一帧的蜘蛛姿势，从而记录下蜘蛛结网期间每条腿的动作。” -Abel Corver，专业作者，约翰霍普金斯大学Solomon H. Snyder神经学系毕业生，结网和神经生理学研究方向
解决方案 研究人员决定使用机器学习算法和人工智能，而不是通过人工来追踪蜘蛛每条腿的动作。在了解了几家能够快速分析大型数据集并生成训练数据的公司后，研究团队认为澳鹏的（当时的CrowdFlower）网站最有吸引力，并且澳鹏介绍的案例也最切合他们的目标。他们训练机器视觉软件来检测蜘蛛的姿势，并记录蜘蛛结网过程中每条腿的动作。 在这项研究中，研究人员花费了多个夜晚来研究六只毛绒绒的黄斑园蛛。研究过程中，科学家必须记录蜘蛛的数百万个腿部动作。 为了分析蜘蛛的动作，研究人员从一段录像中随机抽取了10万帧，跟踪蜘蛛身体的26个点，并使用澳鹏数据标注平台来标注数据集。接着，研究人员挑选了1万个高质量的标注数据来训练模型。由于澳鹏的标注质量很高，虽然1万张图片只是全部图片的一小部分，但这些对训练模型来说已经绰绰有余了。 约翰霍普金斯大学的研究人员使用澳鹏平台的高质量训练数据评估了两个CNN（卷积神经网络）跟踪框架，即LEAP和DeepLabCut。
“澳鹏的客户至上原则和技术支持团队发挥了很大的作用。澳鹏几乎会立即回复邮件。我们也会经常召开会议，确保项目的顺利推进。至于澳鹏哪一次帮助我们最多，我无法举出具体的例子，因为澳鹏非常满足我们的需求，杜绝了问题的产生。” -研究专家Nick Wilkerson
成效 根据研究论文，两种算法在训练样本方面的性能相似（LEAP和DeepLabCut的平均像素误差分别为8.2和7.6，≥25像素的误差分别为4.5%和3.3%）。请点击此处 ，阅读这篇研究论文，详细了解研究人员采用的研究方法。 最终，借助学习软件，研究团队发现蜘蛛结网时会遵循一种常规的行为模式。基于这个结论，研究人员可以根据蜘蛛腿的位置，预测蜘蛛结网的阶段。虽然各个蜘蛛网最终会稍有不同，但都遵循一种常规模式。
“在行为神经科学领域，当涉及量化动物行为时，这些肢体跟踪算法已经成为真正的颠覆性技术，但真正的挑战是您得先针对某些行为来训练这些算法，比如蜘蛛8条腿的动作，这是一个非常棘手的问题。澳鹏提供的服务确实促进了算法训练，推动研究向前发展。由此，未来的研究能够量化更复杂的行为。 -约翰霍普金斯大学行为生物学家Andrew Gordus 一开始，大家担心标注员难以准确解释图片，而约翰霍普金斯大学团队在这项任务中表现卓越，他们为此感到非常高兴。在评估标注员以及确保标注员的最终结果中只包括高质量的标注这两个方面，澳鹏数据标注平台均表现优异。 基于这些信息，研究人员可以更好地理解蜘蛛及其大脑的工作方式。由于蜘蛛结网时遵循相同的行为模式，科学家相信，结网模式是在蜘蛛大脑中进行编码的。 只有少数动物能够建造出如此复杂精妙的结构，而蜘蛛就是其中之一。与织巢鸟、河豚等动物一样，蜘蛛也是筑巢型动物高级俱乐部的成员。 这个实验并不是蜘蛛结网研究的终点。约翰霍普金斯大学的研究人员希望继续深入研究蜘蛛结网的过程，进一步认识蜘蛛的大脑运作。 未来，在机器学习和高质量训练数据的支持下，将重点研究蜘蛛在服用改变思维的药物后会如何结网。这将有助于科学家了解蜘蛛大脑哪些部分参与了结网，以及当蜘蛛行为受到药物影响时，蜘蛛网结构会发生怎样的变化。希望这些研究可以作为参照，帮助我们认识不同药物对人类大脑的影响。
