基于该标准评测集我们会去评价系统的好坏，并且每次做新模型迭代时都会使用标准评测集去评价新模型，只有新模型达到某个指标才可以上线 。
（2）基于用户反馈的评价
人工评价能够评价智能客服系统的准确率，但是答案是否合理，能否为用户解决问题，需要用户去反馈评价，整个智能客服系统的最终目标是帮助用户解决问题 。
我们会在产品上设计智能客服和在线客服的评价功能，例如会让用户评价智能客服的每个答案或者某次会话，在和人工客服聊天完毕会发送评价卡片给用户去评价满意度，如下图所示 。
最终我们会统计参评比例、满意度等指标，这些指标能够真正反应智能客服系统的好坏 。实际中往往用户参评比例低，我们会使用各种方法去刺激用户评价 。
三、智能客服遇到的那些问题 1. 做通用智能客服系统还是垂直行业智能客服系统 智能客服系统的都是2B的，通用型智能客服系统意味着市场更大，用户更多 。而垂直领域的客服系统用户就少的多了 。
以保险行业为例，全国保险公司一共一百多家 。而且做垂直领域的智能客服系统，AI团队必须充分理解行业 。了解业务需求，了解业务流程还需要跨部门沟通 。
做垂直领域的智能客服系统，往往会陷入一两个大项目，不断满足用户的个性化需求上 。最终系统很“定制”，同时市场也很小 。做几个项目之后就会碰到透明的天花板 。
然而做通用型智能客服系统最然市场很大，但是和做垂直领域的智能客服系统的团队相比，没有了优势，技术优势现阶段各家差距不大，小公司可以给用户定制化，但是通用化系统不可以，最终变成市场很大，但是被一个个一句突起的做垂直领域的智能客服系统小公司蚕食了 。
那怎么办呢？
互联网刚开始的时候，门户网站率先突起，能够服务大多数人的需求，接下来，微信公号可以订阅，每个人的阅读内容都不一样了，这就是一种定制版的资讯平台 。从用户角度来说，定制化是演进方向，最终通用型客服会被垂直行业智能客服所取代 。
2. 做SAAS服务还是私有化部署 传统行业银行、保险、证券、房地产等大企业往往有很强的客服需求，对引入智能客服系统的意愿很强，但同时其对自身数据安全性的要求也很高，因此只会同意本地化部署的解决方案 。
这类大客户做本地化部署解决方案，就只能采用项目制的商业模式，做一个项目收一次费用 。好处是一个项目就能收到几十至上百万元的收入，创业初期就能有盈利；坏处是私有化部署客户需要定制化需求比较多，会占用大量人力成本而且难以规模化复制，长久来看增长空间有限 。
推荐阅读
- 国内人工智能企业有哪些，人工智能7大应用领域一览
- 不能只看到发展事业的好处 创业同样也可能有不好的一面
- 哪个牌子手机性价比最高 哪个品牌的智能手机好
- 中国银行客服电话是多少
- 淘宝老年人专属客服在哪？有用吗？
- 溪口镇茶叶生产困境与发展对策
- 什么叫抱团发展 抱团发展的意思
- 创维酷开电视怎么投屏 创维酷开电视投屏的教程
- 文明6开局怎么发展快 游戏文明6开局怎么发展快
- 面试银行客服岗位会遇到那些问题 如何回答面试官的问题