AI 日报

Cohere 教程:如何使用 Coheres 的新多语言模型更有效地回答有关您的业务的问题

  • By aihubon
  • Nov 13, 2023 - 2 min read



Cohere 教程:如何使用 Coheres 的新多语言模型更有效地回答有关您的业务的问题

如果您有业务,您会从客户那里收到很多问题。此外,来自不同国家的人会用他们的母语提问。这会导致重复的问题和大量的客户支持工作。如果您可以先将这些问题聚类,然后用一个回复来回答它们,那不是很棒吗?生成式 AI 可以为你做这件事,而这正是 Coheres 的新多语言模型所做的。在本教程中,我们将向您展示如何使用嵌入更有效地回答有关您的业务的问题。

作为本教程的示例,我们假设我们拥有一家酒店,我们想要回答客户的问题。问题以各种不同的语言出现,我们希望用一个单一的英语答案来回答它们。我们将使用 Coheres 的新多语言模型对问题进行聚类,以查看哪些问题相似。Coheres 新模型是业界首个支持 100 多种语言的多语言文本理解模型,性能比现有开源模型高出 3 倍。

这只是 Coheres 新的多语言模型的一个用例。例如,您可以将它用于这三个用例(当然还有更多):

多语言语义搜索:为了提高搜索结果的质量,无论搜索查询或源内容中使用何种语言,Cohere 的多语言模型都可以产生快速、准确的结果。汇总客户反馈:可以部署 Cohere 的多语言模型来组织跨数百种语言的客户反馈,从而简化国际运营的主要挑战。跨语言零样本内容审核:识别在线全球社区中的有害内容具有挑战性。通过使用几个英语示例训练 Cohere 的多语言模型,它可以检测 100 多种语言的有害内容。

在我们开始我们的酒店示例之前,让我们快速了解一下 Coheres 的新多语言模型是如何工作的。Coheres 的多语言文本理解模型使用一种称为语义向量空间映射的技术将具有相似含义的文本放在很接近的位置,这使得一系列有价值的多语言设置的用例。例如,可以在搜索过程中将查询映射到该向量空间以查找附近的相关文档,这通常会产生比关键字搜索更好的搜索结果。然而,为了训练这些模型,需要大量的训练数据,而这些数据历来大多以英文提供。之前的工作曾尝试使用机器翻译将这些数据映射到其他语言,但这种方法并没有捕捉到不同国家语言使用背后的细微差别。相比之下,这个新模型在包含数百种语言的近 14 亿个问题/答案对的数据集上进行了训练,这些问题是说这些语言的人提出的实际问题,可以捕捉到特定语言和特定国家/地区的细微差别。想了解更多?查看来自 Cohere 的文章。

让我们开始吧。对于我们的酒店问题示例,我们将使用以下问题:

hello, do you also deliver food?do you have a poolproposez-vous une borne de recharge pour ma voiture électrique hallo, liefern sie auch essen?haben sie einen poolBonjour, livrez-vous également de la nourriture ?Avez-vous une piscine ?bis wann gibt es frühstück?is there a theater nearby?Bieten Sie eine Ladestation für mein Elektroauto an?do you offer a charging station for my electric car?你们为我的电动车提供充电站吗?y a-t-il un théâtre à proximité?附近有剧院吗?早餐供应到几点?Jusqu'à quelle heure le petit-déjeuner est-il servi ?until what time is breakfast served?

您可以看到问题使用不同的语言。英语、德语、法语和中文。仔细检查后,您会发现有些问题非常相似。总共可以确定 5 个主题集群:

美食泳池充电站剧院早餐

让我们使用 Coheres 的新多语言模型自动执行此聚类过程。我们建议使用 playground 来测试模型并感受一下。你可以在这里找到游乐场。

让我们像这样将我们的问题添加到“文本”字段中:

Cohere 教程:如何使用 Coheres 的新多语言模型更有效地回答有关您的业务的问题

在右侧您可以设置参数。将模型更改为“multilingual-22-12”并截断为“无”。然后单击“计算”。您会看到该模型已将问题聚类为 5 个聚类。

Cohere 教程:如何使用 Coheres 的新多语言模型更有效地回答有关您的业务的问题

现在您可以看到该模型已将问题聚类为 5 个聚类。彼此靠近的点是相似的。现在您可以用一个答案来回答问题。

但是让我们从 Coheres Playground 转到我们自己的代码。您可以使用“导出代码”按钮导出当前示例。选择您要使用的编程语言。我们将使用 Python。

import cohere co = cohere.Client('{apiKey}') response = co.embed(   model='multilingual-22-12',   texts=["hallo, liefern sie auch essen?",     "hello, do you also deliver food?",     "do you have a pool",     "haben sie einen pool",     "Bonjour, livrez-vous également de la nourriture ?",     "Avez-vous une piscine ?",     "bis wann gibt es frühstück?",     "is there a theater nearby?",     "Bieten Sie eine Ladestation für mein Elektroauto an?",     "do you offer a charging station for my electric car?",    "proposez-vous une borne de recharge pour ma voiture électrique ?",     "你们为我的电动车提供充电站吗?",     "y a-t-il un théâtre à proximité?",     "附近有剧院吗?",     "早餐供应到几点?",     "Jusqu'à quelle heure le petit-déjeuner est-il servi ?",    "until what time is breakfast served?"  ]) print('Embeddings: {}'.format(response.embeddings)) 

从这里您可以继续将嵌入用于您自己的用例。

加入我们的 AI 黑客马拉松来测试您的知识,并在我们的导师的帮助下构建基于 AI 的工具来改变世界!在链接 https://www.aihubpro.cn/circle 下查看即将发布的内容

谢谢你!如果您喜欢本教程,您可以在我们的教程页面上找到更多信息并继续阅读 – AI未来百科 ; 探索AI的边界与未来! 懂您的AI未来站