英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

利用wifi信号的按键识别算法

Kamran Ali Alex X. Liu Wei Wang Muhammad Shahzad

美国密歇根州立大学计算机科学和工程部，中国南京大学计算机软件新技术国家重点实验室{alikamr3,alexliu,shahzadm}@cse.msu.edu, ww@nju.edu.cn

摘要：

按键隐私在确保计算机系统安全和用户人隐私方面的作用尤为关键。因为用户用键盘正在输入的可能是一串密码或者其他极为隐私的敏感信息内容。在本文中,我们首次展示WiFi信号也可以利用来识别按键。按键输入时,用户的手和手指在按照特定的形式和方向移动,从而生成一个唯一的在信道状态信息(CSI)的时间序列值模式,我们称之为关键的CSI-waveform。在本文中,我们提出一个基于wifi信号的按键识别系统，称之为WiKey识别系统。WiKey系统可以借助两个目前市场上可买到的Wifi装置来实现：一个信号发射器（比如Wifi路由器），一个信号接收器（比如一台笔记本电脑）就可以组成一个简单的Wikey系统。发送方连续不断发出信号,接收器接收信号。当在按键上按键时,WiKey根据在无线信号接收器端接收的CSI值识别输入的按键。我们实现了WiKey系统使用TP-Link TL-WR1043ND WiFi路由器和一个联想X200型笔记本电脑。WiKey达到97.5%以上检测按键的检出率和96.4%的分类识别单一键精度。在实际实验中,WiKey可以识别按键在不断输入句子时，准确性达93.5%。

分类和主题描述符：

C.2.1 [网络体系结构]:无线通信;

D.4.6 [安全与保护]:按键还原

关键字：

手势识别；无线安全；按键还原；信道信息；商业无线设备

1. 简介

按键隐私在确保计算机系统安全和用户人隐私方面的作用尤为关键。因为用户用键盘正在输入的可能是一串密码或者其他极为隐私的敏感信息内容。当下已经研究了各种方法来识别按键,可分为三类:基于声发射的方法,基于电磁发射的方法,和基于视觉的方法。声发射方法识别是基于观察不同的键在键盘产生不同类型的声音或者观察不同的键发出的声音到达周围不同的智能手机的时间不同。电磁发射方法识别按键是基于观察电磁电路在不同的键在键盘下面的不同。视觉的方式是识别按键使用视觉技术。

在本文中,我们首次展示WiFi信号也可以利用来识别按键。按键输入时,用户的手和手指在按照特定的形式和方向移动,从而生成一个唯一的在信道状态信息(CSI)的时间序列值模式,我们称之为关键的CSI-waveform。每个键的按键都有相对独特的多路径失真WiFi信号,这种独特性可以用来识别按键。由于现代支持的高数据率无线设备,无线卡在击键的持续时间内提供足够的CSI值为每个按键构建一个高分辨率CSI-waveform。我们提出基于击键识别系统称为WiKey。WiKey包含两个商用现货(COTS)无线设备,发送者(如路由器)和接收器(比如笔记本电脑),如图1，发送方连续不断发出信号,接收器接收信号。当在按键上按键时,WiKey根据在无线信号接收器端接收的CSI值识别输入的按键。CSI值量化无线的聚合效应现象，如无线信号在给定的环境中衰落、归纳,和多普勒频移。当环境变化,如键被按下,这种影响无线无线信号变化的现象,导致CSI值产生独特的变化。有三个技术难题，第一个技术难题是：分离出信道状态信息值（CSI）的时间序列，并分辨出每次按键动作的开始时间点和终止时间点。我们研究了不同的按键特征典型的CSI-waveforms和观察到不同键显示的波形相似，改变利率的上升和下降趋势CSI值。

在此基础上观察,我们设计的击键提取算法,采用CSI流接收两对天线(TX-RX)来确定单个按键的近似的开始点和结束点在给定CSIwaveform CSI趋势时间序列匹配的持续使用滑动窗口方法与实验观察到的趋势。

第二个技术难题是：如何提取37个按键（10个数字，26个字母和一个空格键）的不同特征，并建立对应的分类模型。键在键盘上紧密放置,传统的特性,比如最大峰值功率、平均振幅,均方根偏差信号的振幅,第二/第三中心时刻,速度变化,信号能量和熵,数量的零交叉都不能使用，因为这些特性的值用于相邻键是几乎相同的。应对这一挑战,我们使用CSI-waveform每个键的形状从每一对TX-RX天线特性。每个键的波形包含大量的样本,我们应用离散小波变换(DWT)技术减少这些波形样本的数量,同时保持形状保留时间和频率域信息完好无损。我们使用的是单个按键的形状特征产生的波形DWT。

第三个技术难题是：如何在相邻按键所产生的CSI值接近的情况下，比较出任意两个不用按键的区别，也是能否正确识别按键的关键。提取不同的按键的中点CSI-wavforms很少相互对齐,因为开始点和结束点由提取算法不恰当的。此外,不同的击键波形的长度也不同,因为按任何键的持续时间通常是不同的。因此,相比两个形状特征不能使用标准的措施如相关系数或欧氏距离。应对这一挑战,我们使用动态时间扭曲(DTW)技术来量化两个形状特征之间的距离。DTW可以找到两个波形之间的最小距离对准不同的长度。

本文的新颖的关键是第一个提出基于无线信号识别按键的方法。最近的一些研究使用CSI值等识别人类活动的宏观方面下降，家庭活动,检测人类存在和估计的人数在人群中。这些计划从CSI值中提取粗粒度的信息识别大动作，如跌倒或识别全身的肢体动作。他们不能直接适应识别按键,因为这样的粗粒度的信息无法捕捉人类微小的动作，如打字时手和手指变化引起的CSI值变化。最近的一些工作,即WiHear、使用CSI值提取识别嘴巴读出的9种微小音节口语词汇。然而,WiHear使用特殊的硬件包括定向天线和步进电机引导WiFi直接对演讲者的嘴提取。利用这些设备的网卡上（如：Intel

5300 和 Atheros 9390）获取的CSI值，可以识别人的活动甚至定位。在评估过程中,我们建立了一个IRB批准的10个人的按键数据库。WiKey达到97.5%以上检测按键的检出率和单一键分类识别精度96.4%。在实际实验中,WiKey可以识别按键在不断输入句子的准确性达93.5%。

在本文中,我们表明,细粒度的活动使用COTS WiFi设备识别是可行的。因此,本文中提出的技术可以用于一些人机交互的应用程序。例如，包括时间性、长镜头、滚动、滑动和旋转操作个人电脑的手势,手势识别对于游戏机,家庭的手势识别操作各种家庭设备和应用程序,比如写作和绘画。除了作为一个潜在的攻击,我们的WiKey技术可能用于构建虚拟键盘。

1. 相关工作

2.1 不借助特定设备的人类活动识别

Device-free活动识别解决方案使用无线信道的变化来识别人类活动在给定的环境中。现有解决方案可以分为三个类别:(1)基于接收信号强度(RSS),(2)基于CSI的,和(3)软件定义无线电(SDR)的基础。

基于RSS:希克等人提出活动识别方案,利用RSS的WiFi信号值识别四个活动包括爬行,躺着,站着,走路。他们取得了这四个活动的识别率超过80%。从无线信号获取RSS值,与他们用的USRPs专门硬件设备相比,我们在工作中使用的是市场上可买到的无线设备,。RSS值可用于识别宏观动作,但他们并不适合识别微小如手指和手在键盘打字，因为RSS值只提供粗粒度的信息通道变化和不含细粒度信息引起的小尺度衰落和这些微小的多路径效应。

基于CSI:CSI值获得COTS WiFI网络接口卡(nic)(如英特尔5300年和9390年创锐讯)最近提出识别活动和本地化。寒等人提出WiFall在一个室内环境使用CSI值检测人类活动。周等人提出了一个被动的检测方案,利用多路径的变化在一个室内环境中使用CSI值来检测人类存在 。邹等人提出了电子蛙眼使用CSI值反映了WiFi信号作为“虚拟天线”计数人群中的人数。王等人提出E-eyes,利用CSI值识别的家庭活动,比如洗碗,洗澡。Nandakumar等利用CSI和RSS信息从现成的WiFi设备分类四种手臂姿势——推,拉,杆和穿孔。这些研究与我们的研究的根本区别是这些计划从CSI值中提取粗粒度特性提供的商业无线网卡执行这些任务,而我们的方案改进这些CSI捕获细粒度的变化识别按键的无线信道。王等人提出WiHear使用CSI值识别说话的时候嘴巴的形状来检测一个人是否说出是一组预定义的九个九音节。虽然WiHear可以捕捉嘴唇的微小,它使用特殊目的定向天线与步进电机指导天线梁对一个人的口中得到一个干净的信号识别的嘴的动作。相比之下,我们的方案不使用任何特殊目的设备和识别手指和手的微小使用COTS无线网卡。

基于SDR:研究者提出方案,利用阶跃恢复二极管和专用硬件传输和接收自定义活动识别调制信号。Pu等人提出WiSee使用专用接收机设计USRPs从OFDM无线传输中提取小多普勒变化来识别人类的手势。凯洛格等人提出使用专用模拟包络检波器电路识别2.5英尺距离内的手势，识别后向散射信号的射频识别或电视传输。Lyonnet等人使用微多普勒特征分类的人体步态为多个类别使用专门的多普勒雷达。阿迪等人提出的卫星,它使用一个特别设计的调频载波广播前端来追踪人类运动中背后的墙。最近,陈等人提出了一个基于SDR定制接收机设计,可以用来跟踪击键使用无线信号。所有这些计划相比,我们的计划不使用任何专门的硬件或特别设备,而利用市场上能买到的无线网卡识别按键。

2.2 按键识别

据我们所知之前没有通过使用商品无线设备，利用无线信号变化识别按键的研究。除了基于sdr的击键跟踪方法中提出使用无线信号跟踪按键,研究者提出几个按键识别方案是基于声学等传感模式，电磁排放和摄像机。接下来,我们利用这些遥感模式识别按键给其他现有的方案简要概述一下。

基于声学:Asonov等人提出了一个计划，通过给定的键盘在正常打字时不同的键声音也会略有不同的特点来识别按键。他们利用神经网络反向传播识别按键和快速傅里叶变换(FFT)的每一个按键的时间窗口峰作为特征训练分类器。zhuang等人提出另一个方案, 根据按键期间产生的声音识别按键，他们用倒频谱特性[22]代替FFT击键特性和无监督学习使用语言模型校正之前收集到的特性使用监督训练和识别不同的按键。朱等人提出了一个上下文无关的几何投影的方法识别按键,利用按键时发出的声波到第一次计算击键到达的时间差,然后估计并识别按键按下的物理位置。

基于电磁辐射：Vuagnoux等人用USRP捕捉电磁排泄物感到同时按下键[4]。这些电磁排泄物感到来自每个键下面的电路在传统键盘。作者提出的捕获整个生电磁波谱和过程识别按键。不幸的是,这个计划是非常容易受到背景电磁噪声存在于几乎所有环境等这些天由于微波炉,电冰箱、电视机。

基于摄像机：Balzarotti等人提出ClearShot处理一个人打字的视频重建他所输入的句子。作者提出使用上下文和敏感语言来分析重建的句子。

1. 信道状态信息

现代无线设备支持IEEE 802.11 n / ac标准，通常都有多对发射和接收天线，因此都支持MIMO通信，而每一个MIMO信道都包含了很多不同的载波。这些无线设备会不断的监视无线信道的状态来高效的对每个单独的MIMO数据流进行功率分配和速率调整，这样一来WIfi信道的容量就能被最大化的利用，这些设备会将信道的状态以CSI值得形式量化-----而这些CSI值基本代表了每组载波在发射端和接收端之间的信道频率响应（CFR）的特点。接收到的信号是由建设性和破坏性干扰合成的，几个多路径信号从墙上和周围的物体分散,附近的手和手指在键盘上打字运动会干扰无线接收器的接收，不仅导致之前现有的多路径发生变化,新多路径的创建。这些变化之间的所有副载波CSI值由每个TX-RX天线捕获并可以用来识别按键。

MT代表发射天线的数量，MR代表接收天线的数量，Sc代表OFDM载波数量，Xi代表发射信号矢量，Yi代表接收信号矢量，Ni代表噪声矢量。MRtimes;MT，MIMO系统在任何时候即时可以用下面的方程。

Yi = HiXi Ni iisin;[1, Sc] (1)

在上面的等式中，MRtimes;MT阶信道矩阵Hi代表的就是载波i对应的信道状态信息（CSI）。任何两个通信中的wifi设备都会通过定期的彼此发送一段已知的OFDM符号前缀来估计每组载波的信道状态矩阵Hi。本文选取的Intel 5300 WiFi NIC使用30组OFDM载波，并且工作在20MHz无线信道中。这使，MRtimes;MT的每一个CSI样本都有30组矩阵。

1. 噪声去除

因为频繁的切换内部CSI参考等级，发射功率等级和传输速率，商用的Wifi网卡所提供的CSI数据不可避免的会有噪声。要用CSI值来识别按键，就必须要先从CSI时间序列中移除噪声。为此，Wikey系统会首先将CSI时间序列送入低通滤波器中来移除高频噪声。但是简单的低通滤波器无法有效地滤除噪声，而严格的低通滤波器会在移除噪声的同时造成信号中有用信息的损失，因此，Wikey系统对滤波后的序列又运用了主成分分析（PCA），从信号中提取了只包含由手部的运动所引起的

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[29220]，资料为PDF文档或Word文档，PDF文档可免费转换为Word