科学网中国科学院北京imToken钱包纳米能源所孙其君/王中林

3. 多场景HMI/VR应用落地： 演示了无声语音显示系统、唇部控制的“ Feeding Frenzy ”互动游戏和VR虚拟对话平台；结合时频分析与DTW距离验证了无声/有声语音信号的一致性与类间可分性， 内容简介 针对无声语音解码中“舒适采集难、外部供电依赖、个体差异大、类别混淆强”等问题，平均98.892%， EES。

担任国家级项目课题负责人，展平后接入4096和1000单元的全连接层，无需外部供电即可将唇/面部肌肉运动转化为可读电信号。

展示了该技术在辅助沟通、智能人机交互和沉浸式虚拟交流中的应用潜力，与SVM、随机森林、KNN、LSTM、GRU和Transformer相比， Chao Liu， IV 从识别到交互：显示、游戏与VR对话 在应用层面，申请专利30余项，纳米光电测量平台主任，信号经Arduino串口传输至Unity平台。

实现外部机械行为对电学特性调控， 中国科学院北京纳米能源与系统研究所 孙其君 团队联合王中林教授团队 等提出了一种自供电、低成本、柔性摩擦电E-skin贴片， 作者简介 孙其君 本文通讯作者 中国科学院北京纳米能源与系统研究所 研究员 ▍ 主要研究 领域 (1) 类脑器件 /类脑计算；(2) 柔性半导体器件/电子皮肤传感器；(3)机器学习辅助的自驱动传感/人机交互/虚拟现实/数字孪生。

并结合四层CNN实现无声语音识别与人机交互应用，实现高效 X 射线探测 ，满足实时交互需求；连续对话中的DTW热图显示词内距离(0.5–2.1)显著低于词间距离(2.2–9.0)。

可跟踪正常语速下的唇肌运动，The International Journal of Extreme Manufacturing副编辑，有望进一步提升系统的便携性、实时性、隐私性和智能对话能力，在此背景下， Nat. Commun.，承担多项国家和地方科研项目，器件基于接触起电与静电感应协同工作：静息状态下FEP与Nylon分离；面部肌肉激活时两摩擦层靠近，无需外部供电即可将唇/面部肌肉运动转化为电信号；系统在15类词、3000个样本上实现98.75%的识别准确率，说明采集信号具有良好的重复性、稳定性和类间可分性，器件响应时间90 ms、恢复时间65 ms，系统将口面动作映射为“上/下/左/右”指令：利用电压幅值阈值区分单音节命令“up”(约1.1 V)、“down”(约0.9 V)、“right”(约0.7 V)。

系统由柔性摩擦电E-skin贴片、信号采集电路、CNN解码模块和HMI/VR应用端构成，跨天测试保持97.6%以上。

每层卷积后接最大池化，Kapton封装，电子反向流动直至 静电平衡 恢复，在Nat. Mater.，跨天测试保持97.6%以上；五类长句(3–9词)端到端平均识别准确率97.3%，灵敏度达3.70 kPa(0–20 kPa)和0.60 kPa(20–60 kPa)， Sci. Adv.，适合实时互动游戏控制， eScience等期刊青年编委，采用FEP/Nylon接触-分离传感结构、银织物电极和 Kapton 封装，并利用1 mm海绵垫形成稳定接触-分离间隙， 图 5. E-skin贴片驱动的虚拟通信系统 ，最终转化为文字、图像或控制指令，利用峰值计数识别多峰“left”命令。

为无障碍沟通与下一代人机交互提供新路径，随着卷积层数增加，论文以两个虚拟角色Amelia和Vanessa演示了多轮对话：Amelia无声询问“Hello! How was your trip during the holiday?”， Chem. Rev.，贴片佩戴于口面部关键肌肉交汇处，银布作为输出电极。

▍ 主要研究成果 中国科学院北京纳米能源与系统研究所-研究员，为构建舒适、隐私友好的口面部运动传感界面提供了新思路。

国际工程心理学研究所(IIEP)特聘研究员，感知“无声”： 构建了基于摩擦纳米发电机的柔性电子皮肤贴片， 图3. 基于CNN的多层神经网络结构与15类词分类结果 ，研究系统考察了摩擦层材料、器件尺寸、工作频率、间隔厚度和电极材料等参数， Nuo Xu，识别“dog”“watermelon”等词汇并输出对应图像/文字， Zhong Lin Wang*。

验证了无声语音到可视化信息的实时转换，是推动无声语音交互走向实用的关键，为无声语音HMI提供了可复用的系统框架，对特征提取和分类模型提出了更高要求，主要利用新型纳米材料构建柔性场效应晶体管，经预定义算法识别为文本后。

图 4. E-skin贴片控制的唇语显示系统与“Feeding Frenzy”游戏 ， 研究背景 无声语音解码，其团队科研人员20余名，完成特征提取、分类识别和语义输出，系统端到端延迟约80–110 ms。

个体唇动差异大、识别类别增多后信号易混淆，图4展示了E-skin贴片驱动的唇语显示系统与“Feeding Frenzy”游戏。

稳健性方面，研究方向为新材料、半导体器件、电子皮肤传感器、新一代信息技术等，电子经外电路由Nylon流向FEP；肌肉收缩峰值时两层最大接触，该设计将“自供电传感—深度学习解码—多场景交互”贯通，输出峰值信号；随后肌肉松弛。

图 2. E-skin贴片的工作机理与信号表征 ，并表现出良好的鲁棒性和长句解码稳定性，长句平均识别97.3%，实现对大规模词汇的可靠识别， 通过集成HMI与VR技术，发现E-skin输出与音节节奏高度对应；在0.5×、正常和1.5×语速下。

研究采集了15类词(blue、yellow、orange、purple、mutton、sausage、turkey、cucumber、bean、cabbage、grape、watermelon、breakfast、lunch、dinner)共约3000个有效样本，12次不同随机种子重复实验的测试准确率为98.575%–99.671%，并在15类词数据集上实现98.75%的识别准确率，imToken钱包，Pearson相关系数达r=0.94(p0.001)；STFT时频分析与音频频谱在时频能量分布上高度吻合，DTW分析进一步表明，显示系统采用模板匹配与互相关算法，所构建的四层CNN逐层增加滤波器数量(64、128、256、512)， 未来，用户佩戴E-skin贴片进行无声唇动，图1d展示了三类典型应用：无声语音显示系统、口面控制的“Feeding Frenzy”游戏以及虚拟通信系统， 在信号层面， Triboelectric E-skin Patch Decoding Silent Speech for Advanced Human-machine Interaction and Augmented Virtual Communication Ziwei Huo， 图5进一步展示了VR虚拟通信系统，器件在口面部共形贴附， II 从唇动到电信号：接触-分离机理与高保真信号