与刘菲一起简单介绍NLP
你有没有和聊天机器人互动过？或者向Siri、Alexa或您汽车的信息娱乐系统等虚拟助理请求什么？在线翻译怎么样？我们中的大多数人以前都与这些类型的人工智能（AI）进行过互动，从来没有停下来思考过我们可以轻松地传达我们的需求并得到适当的响应。但是，让我们停下来思考一下人类语言的复杂性，机器能与我们交流难道不是一个奇迹吗？
这都要归功于自然语言处理。但是什么是自然语言处理（NLP）？自然语言处理是一种用来教计算机如何理解并以类似人类的方式产生适当反应的技术。通过NLP，机器可以学习阅读、破译和解释人类的书面和口头语言，并创建以类似人类的方式描述、总结或解释输入（结构化数据）的叙述。NLP是许多人工智能解决方案背后的驱动力，您可以定期与之交互，并实现人与机器之间的理解。bob平台app下载
今天，由于数据访问方面的巨大改进和计算能力的提高，NLP正变得越来越流行。
为什么自然语言处理是困难的
NLP可能具有挑战性。但是为什么自然语言处理很困难呢？一台计算机的母语，在其基本水平上，只是数百万个1和0的集合，一个是和否的二进制组合。计算机的思维方式与人类不同——它们的思维方式具有逻辑性。当你对一台人工智能驱动的计算机说话时，该计算机必须以某种方式理解和解释所说的内容，计算出适当的响应，并将该响应转换为人类（或自然）语言，所有这些都只需几毫秒。很难想象这一壮举所需的处理能力水平，计算机一直在这样做。
自然语言的复杂性也不应该被低估。人类用无数种方式表达自己。世界上有数百种语言和方言，每种语言都有自己的语法规则和俚语，无论这种语言是书面的还是口头的，这些规则和俚语都可能有所不同。每个人的写作和说话方式也各不相同。例如，有些人说话时口齿不清，或者用缩写写作。要让计算机理解所有这些偏差，它必须以前遇到过。它必须对类似的数据进行训练。另一个挑战是，训练语料库应该在预期应用程序的相同领域。例如，在医疗环境中收集的对话与在客户支持领域收集的对话不同，使数据收集所有这些都更具挑战性，因为从正确的领域收集数据是困难的，但也是必要的。
这些因素都造成了NLP实施的困难。您必须能够访问大量的自然语言数据，这样计算机才能进行广泛的交互。服务于这些交互并弥合1和0与自然语言之间差距的计算能力至关重要。自然语言处理直到最近才成为机器学习的一个重要部分，这也就不足为奇了。
NLP技巧
NLP将语言分解为较短的部分，以了解这些部分之间的关系以及它们如何连接以创造意义。这两个语言成分是句法（句子中单词的排列方式，使其具有语法意义）和语义（文本传达的意义）。每个类别中都有核心NLP技术：
语法分析
以下是计算机用于分析语法的几种标准方法：
- 分割:把一个句子分成更小的部分。
- 引理化：将一个单词缩小到它的基部，并将相似的词组合在一起。
- 词性标注：识别每个单词的词性。
- 词干化:去掉词缀和后缀以获得词根。
请注意，这些只是许多语法分析方法的选择。
语义分析
以下是机器用来分析意义的两种常用方法：
- 命名实体识别:识别预设组(如人、地点)并进行分类。
- 词义消歧：根据上下文赋予单词意义。
机器可以使用上述技术的组合来从给定的文本中派生语法和语义。
自然语言处理能做什么？
NLP有很多用例。它通过使机器能够执行本来由人类完成的重复性任务，帮助扩展与语言相关的任务。许多行业使用NLP，包括:
- 社交媒体分析：NLP可以跟踪关于品牌、产品或特定话题的情绪，并确定客户如何做出选择。它还可以通过检测政治偏见过滤假新闻。
- 文本到语音应用程序：文本转换语音应用程序以更多方式提供信息，以实现更大的包容性，并为呼叫中心、视频游戏和语言教育领域创造更丰富的互动体验。
- 个人助理和聊天机器人:NLP使人工智能能够与人们就日常问题和事务进行交流，从而使人类能够进行更高层次的战略工作。
- 搜索查询。NLP在电子商务中特别有用，它可以帮助识别关键的搜索词，从而推动更相关的搜索结果。
- 语言翻译：NLP用于跨各种语言和方言进行翻译。
- 信息提取：例如，在用于病历的医疗保健中，通过NLP进行数据提取对于快速提取关键信息至关重要。
虽然这个列表并非详尽无遗，但它说明了自然语言处理领域已经取得的令人难以置信的进展。NLP的变革力量将继续影响我们与技术的互动。毫无疑问，随着我们进一步弥合人机通信之间的鸿沟，我们将在这一领域看到更多突破。
来自Appen NLP专家的见解-Phoebe Liu
在Appen，我们依靠我们的专家团队来帮助您利用NLP构建模型，从而实现高质量的客户体验。菲比刘,我们的一个高级数据科学家,也是一个演讲者的O ' reilly和知识发现(KDD)会议,出现在BBC和半岛电视台的纪录片系列工作的机器人,和最佳图片奖得主在2018年机器人电影节,作品以确保客户NLP模型是成功执行的动作。菲比对自然语言处理的三大见解包括:
1.最成功的项目始于理解业务问题和需求。这有助于定义您应该如何收集数据，谁应该为您的培训语料库注释，并确定数据收集过程中是否需要领域专家或语言学家。对问题和NLP在解决方案中的作用采用清晰、明确的定义。
2.通过用户测试确保用户满意度。对于自动语音识别，用不同口音和不同说话方式的发言者进行测试。对于聊天机器人和语音人工智能中的NLU，测试那些像与另一个人聊天一样自然互动的用户。在真实环境中进行的用户测试越多，用户与NLP系统之间的交互就会越顺畅。
3.ML模型并不是魔法-当NLP不能产生100%准确的结果时，设计“后备”方法。NLP仍然是一个不断发展的领域，需要领域专业知识和良好的培训语料库来正确实施。确保有一个备份计划并管理NLP输出(请思考human-in-the-loop)，以应付NLP不足的关键时刻。
阿彭能为你做些什么
在Appen，我们的自然语言处理专业知识跨越了20多年，在此期间，我们获得了成功NLP项目的最佳公式方面的先进资源和专业知识。多亏了我们团队的支持还有像菲比这样的专家Appen数据注释平台，以及我们的团队，我们为您提供所需的高质量培训数据，以大规模部署世界一流的模型。无论您的NLbob体育手机下载P需要什么，我们随时准备帮助您部署和维护AI和ML项目。
