什么是培训数据?bob体育手机下载

2020年4月14日

机器学习算法从数据中学习。他们发现关系，发展理解，做决定，并从他们得到的训练数据评估他们的信心。bob体育手机下载训练数据越好，模型的表现就越好。bob体育手机下载

事实上，你的质量和数量机器学习bob体育手机下载与算法本身一样，训练数据对数据项目的成功也有很大的影响。

首先，重要的是要对术语“数据集”有一个共同的理解。数据集的定义是它既有行又有列，每一行包含一个观察结果。这个观察可以是图像、音频剪辑、文本或视频。现在，即使您已经存储了大量结构良好的数据在你的数据集，它可能不会以一种实际上作为模型训练数据集的方式被标记。bob体育手机下载例如，自动驾驶汽车不仅需要道路图片，还需要有标签的图像，其中每辆车、行人、街道标志等都有注释。情感分析项目需要能够帮助算法理解某人何时在使用俚语或讽刺的标签。聊天机器人需要实体提取和仔细的语法分析，而不仅仅是原始的语言。

换句话说，您希望用于培训的数据通常需要充实或标记。另外，你可能需要收集更多的数据来增强你的算法。很有可能，你存储的数据还不能用来训练机器学习算法。

确定你需要多少训练数据bob体育手机下载

在决定你需要多少机器学习训练数据时，有很多因素在起作用。bob体育手机下载首先也是最重要的是准确性有多重要。假设你在创建一个情感分析算法。你的问题很复杂，没错，但这不是生死攸关的问题。一个准确率达到85或90%的情感算法足以满足大多数人的需求，而这里的假阳性或假阴性不会对任何事情产生实质性的改变。现在，是癌症检测模型还是自动驾驶汽车算法?那是另一回事了。一个可能忽略重要指标的癌症检测模型实际上是一个生死攸关的问题。

当然，更复杂的用例通常比更简单的用例需要更多的数据。一个只寻找识别食物的计算机视觉相对于一个试图识别物体的计算机视觉通常需要更少的训练数据作为经验法则。bob体育手机下载您希望您的模型能够识别的类越多，它需要的示例就越多。

请注意，并没有太多的高质量数据。更好的训练数据bob体育手机下载，以及更多的训练数据，将改善你的模型。当然，添加更多数据的边际收益可能太少，所以您需要关注这一点和您的数据预算。您需要为成功设置阈值，但是要知道，通过仔细的迭代，您可以使用更多更好的数据来超越阈值。

准备你的培训资料bob体育手机下载

现实是，大多数数据凌乱或不完整。拍照以例如。到机器，图像只是一系列像素。有些可能是绿色的，有些可能是棕色的，但是一台机器不知道这是一棵树，直到它有一个与它相关的标签，本质上讲，这里的像素是一棵树。如果机器看到一棵树的标记图像，则可以开始了解未标记图像中的类似像素分组也构成树。

那么，如何准备训练数据，使其具有模型成功所需bob体育手机下载的特征和标签呢?最好的办法是让人在循环中。或者，更准确地说，是在循环中的人类。理想情况下，您将利用一组不同的注释者(在某些情况下，您可能需要领域专家)，他们可以准确而有效地为您的数据进行标记。人类也可以查看输出——比如，一个模型预测一张图像是否真的是狗——并验证或纠正输出(例如，“是，这是一只狗”或“不是，这是一只猫”)。这被称为地面真实监测，是迭代人在循环过程的一部分。

您的培训数据标签越准确，您的模型将越好。bob体育手机下载找到一个数据合作伙伴可以提供注释工具和访问人群工人的数据合作伙伴可以有所帮助，以便通常耗时的数据标记过程。

测试和评估您的培训数据bob体育手机下载

通常，当您构建一个模型时，您将标记数据集分割为训练集和测试集(尽管有时，您的测试集可能没有标记)。当然，您可以在前者上训练算法，并在后者上验证其性能。当验证集没有提供您想要的结果时会发生什么?你需要更新你的体重，删除或添加标签，尝试不同的方法，并重新训练你的模型。

当你这样做的时候，以同样的方式分割你的数据集是非常重要的。这是为什么呢?这是评估成功的最好方法。你将能够看到它改进的标签和决策，以及哪里是失败的。对于相同的算法，不同的训练集可能导致显著不同的结果，所以当你测试不同的模型时，你需要使用相同的训练数据来真正了解你是否在提高。bob体育手机下载

您的培训数bob体育手机下载据不会有相同的每种类别，您希望识别。使用一个简单的例子：如果您的计算机视觉算法看到10,000个狗实例，只有5只猫，可能会难以识别猫。在这里要记住的重要事项是您在现实世界中的模型的成功意味着什么。如果您的分类器只是试图识别狗，那么它的猫识别性能可能不是交易破坏者。但是，您将想要评估在生产中所需的标签上的型号成功。

如果您没有足够的信息达到所需的准确度，会发生什么？可能是，您需要更多的培训数据。bob体育手机下载由于大规模商业实践，建造了几千行内置的模型通常不足以成功。

bob体育手机下载训练数据的常见问题

下面是几个在机器学习中训练数据时经常被问到的问题:bob体育手机下载

什么是培训数据?bob体育手机下载

神经网络和其他人工智能计划需要初始的一组数据，称为训练数据集，以充当进一步应用和利用的基线。bob体育手机下载这数据集是该计划不断增长的信息库的基础。T对训练bob体育手机下载数据集进行准确标记后，模型才能对其进行处理和学习。

我如何注释我的训练数据集?bob体育手机下载

有几个选项可用于注释您的训练集。你可以选择依靠你的组织内部成员，雇佣承包商，或与第三方数据提供者合作，可以提供访问一群工人的目的。您选择的方法将取决于您可用的资源和您的解决方案所属的用例。

什么是测试集?

您需要训练和测试数据来构建ML算法。一旦模型在训练集上培训，它通常会在测试集上进行评估。通常，这些集合从相同的整个数据集中获取，尽管应标记或丰富培训集以增加算法的置信度和准确性。

如何将数据集划分为测试集和训练集

一般来说，培训数据或多bob体育手机下载或少是随机分割的，同时确保捕获您预先知道的重要类。例如，如果您试图创建一个可以读取来自各种商店的收据图像的模型，您将希望避免使用来自单一特许经营的图像来训练算法。这将使您的模型更加健壮，并有助于防止过拟合。

我如何确保我的训练数据没有偏见?bob体育手机下载

这是一个重要的问题，因为公司正在努力使人工智能对每个人都更有道德和有效。偏见可以在AI构建过程的许多阶段中引入，所以你应该在每一步中减少它。当您收集您的培训数据时，请确保您的数据代表了bob体育手机下载所有用例和最终用户。你需要确保有一群不同的人来标记你的数据和监测模型的表现，以减少在这个阶段产生偏见的机会。最后，将偏见作为关键绩效指标的一个可衡量因素。