要成功推出AI,准备缩放

推特
鸣叫
linkedin
分享
Facebook
fb-share-icon

以下是从真实世界AI调整的。

当我在IBM的沃森部门工作时,由于伸缩性问题,我的团队的第一个演示很快就变成了一场灾难。

我们正在创建一个可视识别应用程序编程接口(API)。我们的第一个演示是一个简单的网站,允许用户拖放图像,按一个按钮,并呈现描述图像中的内容的标签列表。

该网站旨在作为一个小型销售工具,以显示API可以做些什么。我们在星期三推出了演示,并将链接发送给一些感兴趣的销售人员。

到目前为止,我的手机开始炸毁。不知何故,我们的小型演示已经进入了Reddit的首页。突然,我们的网页由实习生建造,每分钟都收到成千上万的游客,而不是我们想象的少数人。

我们没有设置规模,因此系统试图自动扩展以处理额外的流量 - 并且没有特别好处理。这句话揭示了支持系统架构中的一些潜在的错误,该模拟建立在顶部,最终使我们在美国南部的整个IBM数据中心延续约20分钟。

幸运的是,IBM有很多备份程序到位,所以我们没有最终对任何人做任何实际的伤害,但体验仍然教过我一个有价值的课程:在建立AI时,你绝对需要准备规模。

你希望不会面对这样的意想不到的缩放,但即便如此,任何飞行员AI模型的目的都不只是为了创造一个成功的飞行员并停止那里。长期目标是在生产中实施AI解决方案,这意味着您必须考虑到缩放。

未雨绸缪

推出AI准备规模

在您构建您的AI飞行员时,您必须不断提前计划。您所做的每一个决定都必须不仅适用于飞行员,而且对于未来的模型,您将在生产范围内实施。

尽量清楚地了解你的生产痛点。这些可以影响您在生产中使用的框架,库或语言;如何以及在哪里部署模型;以及您需要监控它的方式。意识到生产痛点可以帮助您避免做出禁止扩大的选择。

一家主要的电子商务公司踏上了自然语言处理(bob外围怎么样NLP)项目,在他们的Chatbot日志中进行情感分析。他们的目标是与具有负面经历的客户个人进行跟进。要开始,他们将在Python(数据科学家通常使用的编程语言)进行原型,其中包含了一系列NLP库。

But when it came time to deploy the model to production, they discovered they’d have to port the entire model to Scala (a programming language used by software engineers to build highly scalable software) so that it could run in the Java environment they had available.

对于你在飞行员中做出的每一个决定,问:我也能在生产规模上做到这一点吗?我是否能够将其整合到生产环境中?If your pilot takes shortcuts by relying on some unique feature of the smaller scope that would be cost-prohibitive at scale, or needs data that doesn’t exist for the entire production scope, or simply isn’t technically possible, then your project will fail even if your pilot succeeds.

考虑缩放的成本

希望,如果你已经计划进展了,那么你必须做出扩展的就是花更多的资源。但是,缩放的成本可能比您所期望的更多。人们常常认为,一旦建造了一个模型,它将在生产中扩展,只有边际成本增加。通常,这些人感到失望。

AI解bob平台app下载决方案不像SaaS(软件作为服务)业务,那里资源消耗仅随着新客户所延伸的略微增加。必须连续向AI模型提供新数据,以便工作和适应现实世界的不可避免的变化。根据您解决的问题,您的模型可能需要经常被培训,也可能需要为每个新客户提供数据。它甚至可能是可能的,虽然不常见,但您的AI成本将与使用线路更接近。

即使您的飞行员没有高成本,它仍然应该帮助您预测您的生产成本将是什么。这可以让您有效地预算,并且还可以最大限度地提高您的平台花费的效率,或者谷歌或谷歌或alzure - 如果您购买全年的GPU,它们比按需分配它们的价格更便宜。如果正确的结构,试点进程将让您利用这些节省。

最终,如果做得好,费用应该值得。想一想;如果没有AI模型,您必须手动扩展所有业务操作,以执行您自动化的相同事物。因此,即使是额外的投资,只要您在构建飞行员时牢记缩放成本,AI解决方案就会更便宜,并且会让您手动执行任务的比较更好。

期待枢纽

无论您如何努力保持飞行员,符合您对生产系统的期望,它将永远不同。有时你可以预测什么是不同的,有时你不能。至少,生产规模更大,数据不同;这两者都将以意外的方式重大改变您的结果。

因此,尽可能提前计划,避免在考虑缩放成本的同时禁止缩放的决定,也可以准备好在你去的时候枢转。

有关缩放AI解决方案的更多建议,您可以找到真实世界AIbob平台app下载亚马逊

Alyssa Rochwerger是一名客户驱动的产品领导者,致力于建立解决真实人类难题的产品。她喜欢将产品带到市场对客户产生积极影响的市场。她的初创企业和大型企业都经过验证,她在从概念到大型投资额的概念上缩放产品的经验。她为机器学习组织举办了众多产品领导力。她担任图8(Appen收购的产品的VP),AI和Appen数据的VP,以及IBM Watson的产品总监。她最近离开了空间来追求她使用技术来改善医疗保健的梦想。目前,她担任加利福尼亚蓝盾的产品总监,在那里她幸福地被大量的数据包围,许多难题,而且只有机会积极影响。她很高兴能够追求提供高质量,经济实惠的医疗保健的使命,这是值得家人和朋友的优质。Alyssa出生并在加利福尼亚州旧金山出生并筹集,并举办了来自三位一体学院的美国学习的BA。当她不盯着数据和技术时,可以找到徒步旅行,烹饪和用餐餐厅的徒步旅行,烹饪和用餐。

威尔逊彭于2018年11月加入Appen,担任首席技术官,负责公司的产品和技术。bob外围怎么样威尔逊拥有超过19年的软件工程和数据科学经验。在加入Appen之前,Wilson是中国携程的首席数据官,该公司是世界第二大在线旅游社公司,在那里他领导了数据工程师,分析师,数据产品经理和科学家,以提高用户体验并提高运营效率bob外围怎么样成功。在此之前,他是加利福尼亚州eBay工程高级总监,并在各个领域提供了领导,包括数据服务和解决方案,搜索科学,营销技术和计费系统。bob平台app下载他在eBay之前作为IBM的建筑师,为各种客户建立技术解决方案。bob平台app下载威尔逊在中国的浙江大学获得了硕士和学士学位。

使用世界级培训数据部署AI的网站bob体育手机下载