【环球网科技综合报道】8月20日消息，据媒体爆料，阿里钉钉推出了一款具备“多模态交互”技术的智能办公硬件新品M2S。据悉，钉钉M2S深度运用了达摩院多项AI技术，实现“多模态交互”技术的产品化，突破了智能设备有“眼”只能看，有“耳”只能听，多感官各自独立无协同交互的技术难题。

　　记者随后从钉钉智能硬件团队获悉，M2S是钉钉面向企业用户推出的智能无人前台产品，基于多模态交互，设备具备能听、能说、会认人，甚至会思考的能力，智能化满足访客接待、员工考勤、自动算薪等企业场景化需求。据悉，包括M2S在内，钉钉即将在未来组织大会上发布系列智能硬件新品，进一步升级钉钉的“软硬一体”智能移动办公生态。

　　全球首次运用“多模态交互”的智能办公硬件

　　搭载多模态交互技术的M2S智能无人前台，能轻松做到“视人而语”，根据来人身份主动提供不同的服务，更接近人跟人之间的沟通方式。

　　何为多模态交互？所谓“模态”，通俗来讲即“感官”，多模态交互即是指为机器融合多种感官，让机器具备视、听、说等能力。即通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。

　　事实上，从多模态交互技术的概念被提出至今，即便人工智能技术的发展逐步多样化，但真正意义上将多模态交互技术实现产品化的却至今未有。达摩院机器智能技术语音实验室研究员付强(花名：先声)介绍，钉钉智能无人前台M2S是全球首个在小型智能设备上运用多模态交互技术，且工程优化成熟的产品。

　　目前业界主流的语音交互产品，都需要通过“唤醒词+语音指令”的方式进行交互。而钉钉智能无人前台M2S能够通过图像算法准确检测到人靠近机器的距离，同时结合钉钉的组织关系，自动判断身份然后主动发起交互，无需唤醒词即可唤醒设备，这也更适用于企业办公场景下的人机交互。

　　在技术上，M2S基于图像识别的人脸检测和运动轨迹判断，通过云端处理引擎，将音视频信息充分融合在一起，再结合基于麦克风阵列的声源定位和语音分离算法，即使多人同时在设备前，M2S也能轻松分辨交互用户机器倾听、理解来人语义的能力进一步提升。在信号处理层面的另一亮点是应用了基于深度学习的回声消除算法，可以有效应对消费级电子设备上的非线性声学效应。·

　　在语义理解上，钉钉智能无人前台使用了包括最新的结合知识的神经网络模型，如Knowledge-BERT等，来检测说话人的行为意图，同时也在数据层面采用了多种增强、企业个性化纠错以及实时热词更新技术等，保证模型的泛化性能。

　　钉钉组织能力让“多模态交互”找到用武之地

　　目前主流的AI产品在实际工作时，各模态之间还是独立运作，即虽然这些产品都有眼、有耳，但眼只做图像处理，耳只做语音识别，运行时并没有融合计算，使用上也就没有形成协同交互。

　　钉钉智能办公硬件工程师苡仁介绍，钉钉目标是打造全球最领先的智能办公基础设施，钉钉智能硬件产品团队在调研国内企业办公场景，以及日本，美国等发达国家的企业办公场景后，发现传统前台效率和管理存在诸多痛点。比如中国的企业前台，大多都是身兼多职，往往忙碌不堪，作为一家企业的“脸面”，最重要的宾客接待服务反而上不去。或者是由物业、保安兼职，帮沟通外部访客不专业，沟通、登记错漏繁多，效率低下，甚至让企业损失重要潜客。在日本，因为人力昂贵，多数中小企业雇不起前台，只能放一台电话机，访客到前台自行联络，方式传统，效率也很低。钉钉智能硬件团队希望在全球率先突破，研发一款可以很大程度解放企业前台，能够直接承担前台职责的智能硬件产品。

　　基于这种思考，和钉钉的组织在线能力，让多模态交互这项AI技术有了落地土壤。简单来说，钉钉的组织在线能力，让企业组织信息信息高度结构化、在线化。这种成熟、完善的组织关系和能力，与视觉识别技术相辅相成，能够精准识别员工身份，为多模态交互的落地提供了成熟的环境，也是免唤醒词唤醒、精准身份识别等技术落地以及实现智能访客接待的基础。

　　M2S通过引入知识图谱技术，建模各企业“员工-职位-部门”间的关系，就可以实现智能匹配，满足访客的精确查找、模糊查找等各类需求。

　　在人机交互系统的各个环节，引入多模态的信息会使得交互过程更加自然和精准。据悉，此次钉钉智能无人前台M2S所采用的“多模态交互”技术，正是阿里巴巴达摩院重点研究方向之一。

　　钉钉构建软硬一体的数字化工作方式

　　基于多模态交互技术和钉钉软硬一体的办公生态，M2S具备能听、能看、会认人的能力，帮助企业实现智能化访客接待、考勤等场景需求。

　　M2S通过检测人走近的行为，自动判断身份并主动发起交互。是员工，自动进行人脸识别智能考勤。设备采用6核2G A72 CPU，支持0.5s快速识别、8人多人识别、10000个单台设备可识别人数、1000000条离线打卡记录。

　　是访客，M2S智能无人前台将会进行智能访客接待。通过主动发起对话，M2S引导访客进行自助登记，并发起视频通话快速完成身份确认，访客信息录入魔点访客(钉钉的第三方应用);已经安装魔点门禁并设置访客通行权限的企业组织，被访人在视频通话页面直接点击接待，访客即可限时刷脸进出公司门禁。同时，来访记录将彻底在线化，访客预约和记录沉淀到线上，实现无纸化的访客接待，支持PC及手机端一键导出访客来访记录，提升统计效率。

　　同时，基于与钉钉智能人事的打通，M2S还能实现考勤自动统计和自动算薪，让HR再也不用再整理Excel表格、拉数据等等事情上花费太多精力。

　　钉钉智能硬件事业部总经理任卿(花名：易统)表示，钉钉做硬件不是为了将某单一款硬件智能化，而是为打造一个软硬件一体的生态，为企业提供从物理空间到信息系统，及管理思想的全链路数字化。

　　易统介绍，企业数字化就要求物理办公空间的数字化，空间数字化就需要M2S这样的智能办公硬件。

附：本文转自环球网