AutoML是什么?

推特
推特
LinkedIn
分享
脸谱网
fb-share-icon

解释自动机器学习的用途和方法

随着组织寻求在更多样化的用例中使用机器学习,前后数据处理和优化的数量呈指数级增长。很难雇佣足够多的人来完成与高级机器学习模型相关的所有任务,这使得机器学习自动化工具成为未来人工智能的关键组成部分——这导致了自动化机器学习(AutoML),这是一个快速增长的工具AIOps工具包。

AutoML是一种将人工智能(AI)应用于问题的端到端周期自动化的方法。数据科学家通常负责构建ML模型,以及随之而来的所有复杂任务:数据预处理、特征工程、模型选择、超参数优化和模型后处理。AutoML框架自动完成这些步骤(或者至少是其中的一部分),这样没有数据科学专业知识的人也可以构建成功的ML模型。

ML流程自动化的能力为资源有限的公司全面投资人工智能打开了令人兴奋的机遇之门。虽然在ML管道的全自动化方面仍有很多进展,但各公司正在构建有前景的工具,以进一步在这一领域进行开发。

为什么使用AutoML工具?

如果我们检查当前构建机器学习模型的过程,它通常需要高技能的技术专家、长期的开发过程、大量的资金和大量的迭代。推动AutoML发展的因素有以下四个:

跨越技能鸿沟

当涉及到人工智能和机器学习的技术专长时,技能差距依然存在。公司很难找到拥有领域知识和技能来构建模型的候选人,而这一限制限制了进展。有了AutoML,非专家也可以使用机器学习。公司不需要为高度专业化的职位招聘,这增加了创新的加速,最终,ML的采用。

缩短上市时间

在一个发展迅速的领域,更快的上市时间提供了显著的竞争优势。机器学习管道的自动化方面减少了人类构建模型所需的时间。这也使得以前从未部署过人工智能的公司更容易进入这一领域,并产bob外围怎么样生成功的解决方案。

生成成本节约

从头开始构建ML模型不仅需要大量的时间,而且需要大量的资金。数据科学家和其他ML专家的工资很高,这是可以理解的。AutoML工具比投资于从头开始构建模型所需的技能和精力要便宜得多。

产生更好的模型

AutoML遍历模型和超参数的速度比手动更快。在一段时间内,更多的迭代通常会导致更高性能模型的选择。AutoML提高了决策过程的效率,加速了模型的研究。

数据科学家也在努力为deep找到高性能的架构神经网络.AutoML将(自动)搜索和评估架构——一个被称为神经架构搜索的过程——以加速ML解决方案的开发。bob平台app下载

AutoML方法

当谈到机器学习时,有不同的方式来定义自动化。专家们现在将AutoML分类为级别(就像他们与自主车辆):

  • 0级:没有自动化。数据科学家从零开始编写算法。
  • 1级:使用高级api。
  • 2级:自动超参数调整和模型选择。
  • 3级:自动特征工程、特征选择和数据扩充。
  • 4级:自动领域和特定问题的特征工程,数据增强和数据集成。
  • 5级:完全自动化。没有输入或指导要求解决ML问题。

通常情况下,实现AutoML的公司处于级别1到2之间,尽管目前市场上有适合级别3的解决方案。bob平台app下载在这些自动化级别中,有几个AutoML方法值得强调:

模型选择和集成

AutoML可以遍历在相同输入数据上训练的不同算法,以选择性能最好的模型。该软件还可以进行集成,即将多个模型组合成一个以获得更好的结果,通常通过混合和叠加等技术来实现。

Hyperparameter优化(HPO)

所有的机器学习算法都有参数,或者模型中每个变量或特征的权重。一个参数来自于训练过程,而超参数是一个用于控制学习过程的可调值。超参数优化(Hyperparameter optimization, HPO)是指通过调整超参数来提高模型性能。AutoML工具可以自动评估各种超参数,以确定产生最高性能模型的集合。

工程特性

在AutoML中,特征工程比模型选择和HPO更不常见,尽管由于其提高模型预测性的能力而获得了关注。它是从现有的输入构建新的输入特性(或解释变量)。它会影响模型性能,因为它突出显示了模型在进行预测时需要知道和理解的相关元素。

数据科学家必须一次手动添加一个特性,但有了AutoML工具,这个过程可以自动完成。这些工具从给定的输入集中提取相关和有意义的特性,并测试不同的特性组合,以生成性能最高的模型。

AutoML的未来

什么是AutoML

在达到完全自动化的5级解决方案之前,该行业还有很长的路要走。尽管如此,主要的组织已经在较低的层次上对AutoML进行了投资,通常将他们的努力集中在模型选择和HPO上。特性工程的进步很可能是该领域创新的下一个阶段。

随着自动化需求的增长和工具的改进,随着构建机器学习变得更容易接近和更少的资源密集型,机器学习的采用也将同样增加。

来自Appen数据科学家Shambhavi Srivastava的AutoML见解

在Appen,我们作为一个团队致力于机器学习模型的制作。我和我的数据科学家、机器学习工程师和DevOps同事一起工作,构建并封装最先进的(SOTA)模型。

生产任何机器学习模型都涉及多个步骤:

  1. 从业务的角度理解问题
  2. 数据准备(收集、清理、分析)
  3. 建筑模型
  4. 评估性能
  5. 将模型容器化并部署到生产中
  6. 观察模型在生产中的客户端数据上的性能。

上面的每一个步骤对于项目的成功都是同样重要的。数据科学家可以使用AutoML来帮助增加他们成功的机会。AutoML通过自动化工作流和显著提高各种总体假设和单个模型属性的测试速度,增强了数据科学家的工作。

在我们的日常生活中,数据科学家决定并实现那些最适合给定业务用例的机器学习算法。然而,这项任务可能很乏味,而且容易出现人为错误和偏见。AutoML可以通过不断评估ML模型的性能,直到满足最优参数,从而使团队能够运行广泛的ML模型,从而实现自动化和简化过程。这些AutoML功能可以加速机器学习模型的生产,并通过推出精度更高的模型来提高项目的投资回报率。

模型选择中最具挑战性的部分是寻找未知。这就是AutoML在科学家中声名狼藉的原因。AutoML的核心创新是超参数搜索和寻找最佳匹配。

你能做什么

Appen数据注释平台最受欢迎注释工具都是由机器学习驱动的。您可以在我们的平台上创建将数据注释与模型结合起来的作业,以帮助培训、测试和调优您的AutoML项目。了解更多有关Appen数据标注平台,或联系我们今天,与某人讨论您的AutoML需求。

用于部署具有世界级培训数据的人工智能的网站bob体育手机下载
语言