如何衡量聊天机器人的表现?这里有 7 大指标

原标题:如何衡量聊天机器人的表现?这里有 7 大指标

编者按:不同的产品重点关注的指标是各不相同的。聊天机器人产品现在正是火的时候,针对这样的产品,我们究竟应该通过哪些指标来衡量它的表现呢?在本文中,人工智能技术公司Inbenta的创始人兼CEO Jordi Torras总结了衡量聊天机器人表现时常用的7大指标。

研究人员预测,到2020年,我们与聊天机器人交谈的时间将超过我们与自己的配偶交谈的时间。很显然,那些应用聊天机器人的公司的选择是对的。然而,公司现在很难确定他们的聊天机器人的表现是不是合格的。尽管市场上有很多高效的聊天机器人,但也有很多无法满足消费者需求的聊天机器人。那么你如何衡量你的聊天机器人的表现呢?

越来越多的公司开始在客户服务工作中使用聊天机器人,预计到2020年,将有80%的公司都将采用聊天机器人,但是很多公司都面临着如何衡量聊天机器人的表现和有效性这一难题。

Google的聊天机器人分析平台最近向所有人开放了,但企业仍有必要开发和理解他们自己的聊天机器人成功指标,这样才能有效地利用这个平台。为你公司的聊天机器人定义最佳的KPI主要依赖于公司的业务目标以及你希望聊天机器人发挥什么样的功能。

这里有7个衡量聊天机器人的表现的指标,你可以根据这些指标来找到你自己公司聊天机器人中存在的改进机会。

(1)营收增长

任何潜在投资者想要了解的第一个问题是:公司是否能赚钱。因此,衡量一个聊天机器人价值的最好指标就是看它能带来的经济效益。

衡量聊天机器人对营收的影响的方式有很多,其中最好的方式就是根据聊天机器人的目的来衡量。另一个有趣的地方在于,你的聊天机器人可以对许多领域产生连锁反应。

例如,你可以对比一下,和维护一个24/7的客户服务团队的成本相比,你的客户服务聊天机器人为公司节省了多少资金,根据这个数据来衡量聊天机器人给公司营收增长做出的贡献。但是你需要把聊天机器人对客户服务的影响考虑进去。如果自助服务率较高,而且客户满意度较高,这就会带来更多回头客和更高的在线销售额,从而影响营收的增长。

(2)自助服务率

如果在不需要任何认为干预的情况下,用户就能从聊天机器人那里获得任何需要的帮助,这是最理想的状态。

如果你的聊天机器人的目标是更改用户的密码,你将根据机器人在无需人为干预的情况下完成这个任务的占比情况来衡量聊天机器人的表现。

自助服务率与营收增长中的成本节约这一块是紧密相关的,换句话说,你的聊天机器人帮你节约了多少钱?

(3)满意率

除了调研那些使用聊天机器人服务的用户外,还有什么更好的方法来衡量用户对聊天机器人服务的满意度吗?

你的聊天机器人可以通过问NPS(净推荐值)问题的方式来帮你确定用户满意率: “如果让你在0-10之间来打分,你愿意将聊天及爱人推荐给朋友/同事的程度是几分?” 作为一个核心增长指标,NPS值为你了解用户对聊天机器人服务的满意率提供了一个至关重要的基础。

(4)激活率

在这个指标上,需要重温一下AARRR模型( Acquisition-用户获取、Activation-用户激活、Retention-用户留存、Revenue-营收、Refer-自传播)重要性,以及它在衡量公司业务成功方面的重要性。

聊天机器人的激活率是指:当用户用一个与你的商业目标相关的问答或答案来回应聊天机器人的初始消息。

举个例子,如果一个聊天机器人的目的是为用户提供天气预报信息,这时,当用户输入一个地点,然后聊天机器人为用户提供一个这个地方的天气预报时,这就是一次用户激活。

这个KPI的作用是什么?如果因为某种原因,当聊天机器人第一次向用户发出信息时,用户没有对这个信息做出任何回应,聊天机器人的开发者就能够对机器人进行调整,让其有让人更满意的表现。

(5)混乱触发器

您不仅应该考虑用户的反应,还要考虑到在遇到困难任务和请求时,聊天机器人的行为。

即使是拥有最强大的自然语言处理功能的机器人也无法理解用户所说的一切信息。这些在理解上出现的错误是衡量你是否需要改进你的聊天机器人的匹配功能的一个有用指标。

要记住,有三种不同的触发器,每一种触发器都会触发它自己特有类型的回应。

首先是聊天机器人面临的第一个简单触发器是:当聊天机器人无法理解一段话的时候。面对这种情况,聊天机器人像下面这样回复就够了:“对不起,我不理解你刚刚说的话,你能以一种不同的方式重新提问吗?”

第二个触发器是:当用户发送的一系列信息都不在你的聊天机器人的解答范围之内的时候。如果出现这种情况,在用户尝试发了几次这种信息后,你可以通过编程让你的聊天机器人给用户发送一个解释这个机器人具体功能和服务内容的消息。

第三种触发器是:聊天机器人在与用户互动之后,聊天机器人让用户联系人工客服人员。所有这些都能让你更好地了解你的聊天机器人的表现情况。

(6)留存率

针对这个指标,你也应该根据具体的应用场景,来关注不同的留存率指标。每个会话的生命周期与聊天机器人的留存周期,都因人而异。

如果你的聊天机器人提供每日更新的内容,则需要关注1至3天的留存率。 如果你的机器人帮助用户下订单,则希望他们保持参与度,至少直到产品签收为止。

(7)聊天机器人中的人工智能的强大程度

你的聊天机器人中的人工智能有多强大?你可以根据聊天机器人正确理解用户问题的占比来衡量这个指标。

你的聊天机器人能做到自我学习吗?内置机器学习的聊天机器人可以通过比较一段时间内在无需人工干预的情况下自助服务率方面的改进情况来衡量进展。

具有强大机器学习能力的聊天机器人能够持续进行自我差距的分析,以突出潜在的改进领域。

千禧一代对聊天机器人的需求是显而易见的。消费者需要的是简单而有效的客户服务,但并不是每个聊天机器人都能在不经过几次调整的情况下就能满足客户的这一需求。在这个竞争日益激烈的聊天机器人市场中,本文所说的这7大指标可以让你的聊天机器人领先别人一步。

原文链接:https://venturebeat.com/2017/11/19/7-metrics-for-measuring-chatbot-success/

编译组出品。编辑:郝鹏程。返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
推荐阅读