懂方言能识别情绪的新一代12345热线是如何炼成的？

“路灯不亮，晚上遛弯的老人和晚归的上班族都得摸黑，非常不安全。”生活在山西省大同市的张阿姨是个热心人，当她发现小区附近的路灯不亮时，第一时间就拨打了大同市12345市民服务热线。 很快，就有专人对该路段的路灯运行情况展开排查，维修好了短路的灯头。

当张阿姨后来得知，与她对话并解决问题的大同12345热线话务员居然是智能语音接待机器人(行情300024,诊股)时，她非常惊讶：“万万没想到，我说大同话机器人居然能听懂！而且我当时很着急，机器人态度很好，还安慰我说不要着急。”

智能语音接待机器人不仅能听懂方言，精准理解人的意图，还具备同理心，能在对话中根据人当时的情绪进行安抚，这听上去像科幻电影中的一幕，却真实发生在生活中。大同市政府借助京东智能人机交互平台言犀的技术能力打造的新一代智能政务热线，正服务着许多跟张阿姨一样的大同市民。在大同12345智能升级的过程中，京东科技智能客服产品团队将人工智能和大数据等前沿技术与大同12345热线的场景紧密结合，不仅极大地提升了热线的运营效率，日均有效诉求提高33.6%，还能进行方言和情绪的识别，使每一个普通市民都能享受到最优质的智能客服体验，打造了智能客服行业“极致用户体验”的标杆。

不一般的方言小能手

政务热线是人民呼声的“倾听者”。在协助各地12345政务便民服务热线智能化升级的过程中，智能政务热线的价值不仅仅在于节约成本、提高效率，市民的体验同样是最核心的价值。这也是此次大同12345热线智能化升级时，方言识别技术落地的根本原因。

以大同为例，与一线城市不同，讲方言是很普遍的现象。很多老年人不会在智能手机上进行复杂操作，拨打12345热线就成了他们遇到问题最常用的求助手段。在大同12345热线的接办过程中，经常遇到老年人表达诉求不清晰的情况，而大同口音在声调、语法方面有较明显的地方特征，又进一步增加了理解难度。

为了让每个市民都能享受到优质服务，京东科技智能客服产品团队投入了很多精力，专门开发了一个口音适配的模型和算法，使得京东智能政务热线能够用最少的代价、最快速的方式对大同本地的口音进行识别；另外还做了语音识别和语义理解的联合建模，使得有些在语音识别当中犯的错误会通过语义理解纠正过来，保证最终系统能正确理解语义，理解当地市民的话。同时，随着数据的积累，语音识别和意图理解功能还会自我迭代与优化。目前京东智能政务热线已能够准确识别四川和重庆、陕西、山西等地的方言，正在逐步实现对全国其他地区的方言覆盖。

识别7种情绪，机器有了人情味

在人们的印象中，与机器人的对话总是冰冷的。但是大同12345热线拥有的“共情”能力，使市民在交流的过程中感受到了更多的关怀和温暖。基于对真实服务场景的深刻洞察，京东科技智能客服产品团队很早就意识到，情感在人机交互中的核心作用，并在业内最早提出“智能情感客服”的理念。在真人对谈的过程中实际上包含着情感的理解和情绪的变化，对话双方要完成的不仅仅是理解和生成对话，更需要理解对方的情绪变化。在政务场景下，市民在与话务员沟通的过程中，不仅关心自己的问题是否能得到解决，同时也关心话务员说话的语气和情绪，是不是能体会和关心自身利益。这对于AI的模型就有了更高的需求。京东科技智能客服产品团队通过训练让AI 学习人在生气、失望、愤怒、焦虑等情绪下的说话方式，并根据七种不同的情绪做了精细粒度情绪识别模型，能够对每一种情绪的高中低浓度进行更细致的检测，最后形成整个情绪检测矩阵，从而更好地感知用户的情绪。

现如今，大同12345热线的智能语音接待机器人在与市民交流时，当在市民的声调和语气中检测到特别的情感变化，会根据检测结果有针对性地回复一些安慰的话，通过同理心让市民的交互感受更好。当机器人拥有了“人情味”，市民拨打12345热线时，即使知道是与智能语音接待机器人对话也不会太介意，快速响应带来的良好体验也获得了进一步提升。

在场景中千锤百炼，技术才能真正创造价值

智能人机交互技术从实验室到最后创造出商业价值和社会效益，要结合应用场景在实践中不断积累经验，持续迭代。“核心产品如智能客服，通过打磨使得技术、场景和产品能够真正产生紧密融合，才有可能真正产生AI落地的价值。从某种程度上讲，我觉得技术要跟现实生活当中的真实场景结合，就是以价值为导向而不是以纯技术为导向。”京东集团副总裁、京东科技集团智能客服产品部负责人、京东人工智能研究院常务副院长、IEEE /CAAI Fellow何晓冬博士在接受记者采访时曾表示。

以电商起家的京东，智能客服本身就是其零售业务最核心的环节之一，每天都有数百万人联系京东的客服，交流、咨询、寻求解决各种各样的问题。早在2013年，京东智能客服便已在京东零售投入使用，以强大的研发力量为支持，背靠京东零售数十亿次计的产品应用和可靠性验证，京东智能客服产品已经历了8年千锤百炼的技术打磨和京东6.18、11.11等高压实战场景的考验。在2020年京东11.11期间，京东智能情感客服累计服务6552万次，同比提升181%；京小智在京东11.11当日服务破547万人次，累计提供咨询与导购服务8432万人次，同比提升200.02%。如此大规模的交互场景，“可以认为每一个消费者都是一个图灵测试裁判员”，这使得京东有足够的底气，培养出真正能够产生价值的人机交互对话系统。

随着各行各业数智化转型的深入，智能人机交互技术在降本增效、提升用户体验方面将发挥越来越重大的作用。在政务场景下，新一代12345热线将借助科技的力量支撑数字政府的建设，为市民带来获得感、幸福感和安全感。