互联网化的智能家电

互联网化的智能家电（精选三篇）

互联网化的智能家电 篇1

本文的目的在于解决家电互联的关键技术,从而提高我省家电企业产品智能化、网络化水平,降低家庭能耗,满足家电的节能、环保、舒适、方便的要求,增强我省家电企业产品的市场竞争力。

1 智能家电网络

智能家电,即“有感觉、能思考、善交流、会学习”的家电。智能家电是微处理器和计算机技术引入家电设备后形成的家电产品,具有自动监测自身故障、自动测量、自动控制、自动调节与远方控制中心通信功能的家电设备。例如,炎热的夏天下班前发个短信命令,家中的空调便开始工作;睡觉时空调能感知主人温度而自动调节气温,从而免去因吹空调而感冒的后顾之忧;洗衣机能实现精确洗涤时间、精确用水量、精确烘干时间,高效而节能[2],因而节能和环保也成为智能家电发展的一个趋势。智能家电网络包括智能家电网关、外部网和局部网,家电,安防设备等,实现智能家电互联的关键在于家庭网关的开发与应用。在家庭信息化网络技术体系中,家庭与互联网的连接需要一个家庭网络中央控制器(家庭网关)。家庭网关对外与Internet网络连结,对内通过家庭内部局域网将家电互联互通进行集中控制与管理,如图1所示。家庭网关作为智能家电网络化的核心设备,管理或控制家中家电的网络访问。

未来的智能家电主要将向三个方向发展:智能化、自适应化和网络化。智能化是家电设备尽最大可能的模拟很多种人的思维或者活动的功能;自适应是家电设备根据自己状态和外界环境自动适应工作方式和过程的能力,因此,这种能力使得家电设备在其使用过程中都处于最有效率、最省能源状态;网络化是建立家电设备社会的一种形式[3],网络化的家电设备可以由用户实现远程管理控制,在家电设备之间也可以实现互联互通。

2 嵌入式家庭网关

2.1 嵌入式家庭网关简介

嵌入式系统是以应用为中心,以计算机技术为基础,并且软硬件可裁剪,适用于应用系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统,一般用于实现对其他设备的控制、监视或管理等功能。网关实质上是一个网络通向其它网络的IP地址。典型的家庭网关融合了ADSL接入功能和LAN侧无线接入功能,并具有路由器、集线器和调制解调器的功能。为实现每种家电设备都能与外界信息进行交换,就有必要将嵌入式系统与家庭网关结合起来,设计一个嵌入式家庭网关来实现它。它可使电视机,冰箱等嵌入式家电设备通过家庭网关与Internet连接,转变为一个家电网络。

嵌入式家庭网关是位于现代家庭内部的一个网络设备,它的作用是使家庭用户连接到Internet,使位于家庭中的多种智能设备相互之间实现通信,或者使这些智能设备都能够连接到Internet的服务。从技术角度说,嵌入式家庭网关在家庭内部以及内部到外部实现桥接/路由、协议转换、地址管理和转换,承担防火墙的职责等。

2.2 嵌入式家庭网关功能

由于嵌入式家庭网关是家庭内网络与外部互联网连接的桥梁,具有很重要的地位。嵌入式家庭网关所能提供的功能将直接影响智能家电的使用、控制及管理。一个好的嵌入式家庭网关应该使家庭内外信息能够安全高效地交换,应具备以下的基本功能特点:

(1) 共享信息:通过家庭网关,能使住宅用户获得各种家庭服务。例如接收电子邮件、浏览各种网上信息和订阅各种报纸与期刊等;

(2) 智能管理:它将管理家庭内的通讯家电设备的运行,使家庭内部的多个PC及其它信息设备有效地共享宽带接入[4],以保证家庭网络系统的运行正常;

(3) 自动运行:能够把家庭内部的所有家电设备都连接到网络上,通过相关管理控制软件,可以实现对家电设备的管理监测和故障诊断等。如果有故障发生,家庭管理控制系统会有相应的提示,向家庭主人发出信号;

(4) 节能安全:通过网络管理系统,可以远程管理控制家庭内家电设备的运行,提高家电的使用效率;同时能够在家庭里安装各类检测报警装置来管理控制家庭的安全,消防等。如家中安装煤气检测报警器,如果有煤气泄露时,当气体报警器检测到气体浓度达到爆炸或中毒报警器设置的临界点时,煤气检测报警器就会发出报警信号,有效防止发生爆炸、火灾、中毒事故;

(5) 操作简单:因为该网络系统是在大部分用户中使用的,考虑到用户各方面的差异,因此该系统的操作要简单、方便、可靠,大部分人都会使用;

(6) 防火墙:网络安全一直是需要重点考虑的问题。嵌入式家庭网关应具备一定的防网络攻击能力,为家庭内部网络提供一个相对安全的网络环境。

2.3 嵌入式家庭网关的优点

嵌入式家庭网关是通过嵌入式操作系统来实现的,所以它同样具有嵌入式系统应有的特点,因此我们可以根据网络的不同来配置不同的嵌入式家庭网关。嵌入式家庭网关不仅仅具有普通家庭网关的功能,还具有防火墙和通信中信息加密功能。防火墙可避免外接网络对家庭内部设备的非法访问和攻击;加密这种较强有力的手段,能为数据提供保密性、真实性、完整性和限制性访问。

3 基于嵌入式家庭网关家电互联系统

本文介绍的基于嵌入式网关的家电互联技术系统的结构框架如图2所示,嵌入式家庭网关硬件平台是以ARM9微处理器为中心的,外部通过LAN接入互联网,家庭内的家电设备通过家庭内部无线局域网连接起来,实现家电设备管理控制。这样用户通过PC机就可以对家电设备进行运行状态的查询和控制,在本地也可以通过家庭内的手持控制终端进行家电设备的管理控制。

系统主要采用直接接入的拓扑结构形式,从器件的家庭设备组成多个星形网,实现对家庭内设备的本地和远程的实时控制。硬件平台由嵌入式主机网关、微处理器、无线通信控制模块、外围设备,HUB等组成。HUB一个多端口的转发器,当以HUB为中心设备时,网络中某条线路产生了故障,并不影响其它线路的工作,它可以给用户提供多种接入网络方式,如拨号、宽带网等,无线通信模块通过串行通信实现与多个网络家电控制器的连接。由于嵌入式Linux操作系统是源代码开放的、可裁减的、内核小但很稳定的一种能处理复杂任务的软件平台系统,所以应用网关的操作系统拟选用嵌入式Linux系统。

4 家电网络通信控制流程

(1) 注册家庭网关:

用户通过嵌入式Web服务器网页登录嵌入式家庭网关后,先进行家庭网关注册。

(2) 发送控制信息:

注册成功后将家电控制信息提交到家庭网关,同时将家电控制信息转化成家电控制指令,然后嵌入式家庭网关应用程序将家电设备控制指令按照通信协议打包,通过无线模块发送给家电设备。

(3) 接收控制指令并执行:

家电设备接收到控制帧后,根据上述协议帧格式将信息帧进行解包,提取帧类型、有效控制指令和相关的有效信息,对家电设备进行设置及相应操作。

(4) 回送当前状态信息:

操作完成后按照上述格式将设置后的家电设备的当前状态按上述状态帧的格式打包,发送给嵌入式家庭网关。

(5) 接收新指令并执行,通信结束:

嵌入式家庭网关收到家电设备发送的状态帧后,发送确认帧给家电设备,然后根据不同的状态帧,再调用相应的家庭网关应用程序进行处理。如果嵌入式家庭网关在规定的时间里(300 ms)没有收到状态帧[5],则会重新发送三次此控制帧给家电设备。当家电设备收到嵌入式家庭网关发出的确认帧后结束此次通信。如果家电设备没有收到确认帧,会继续发送三次此状态帧后结束。如果嵌入式家庭网关收不到家电设备发来的状态帧,嵌入式家庭网关会向用户报告设置失败,结束通信。

5 结束语

信息技术及网络化的不断发展,使家电正朝着智能化、网络化、信息化的方向演进,不断的满足着人们对于娱乐、信息、舒适、便捷、自由的追求,智能家电互联互通及远程控制正是适应这一趋势的产物。本系统将嵌入式技术、网络化技术相结合,使智能家电互联更加方便可靠。

摘要：从智能家电的发展状况及实现需求出发,分析了家电网络互联的意义和相关技术基础,提出了嵌入式家庭网关的功能需求,介绍了基于嵌入式家庭网关的家电网络互联系统结构,并且对家电网络通信控制流程进行了阐述。

关键词：智能家电,家电网络,嵌入式家庭网关

参考文献

[1]常东来,江亿.智能家庭网络系统[C].2000年中国博士后学术大会论文集.2001:47-52.

[2]钟顺钦.家电步入智能化时代[N].江苏经济报,2011-01-10.

[3]王斌,兰勇,刘学鹏.网络家电技术的发展现状和展望[J].电子技术应用,2006(7):1-5.

[4]薛宏全,廖建明.MC68VZ328的智能家庭网关的解决方案[J].应用天地,2004(4):59.

迈向标准化和兼容化的智能家电 篇2

随着互联网智能化时代的到来，各种移动智能终端逐渐普及，智能化也逐渐应用到传统家电产品中，为人们的生活带来更多的便利。但是，在智能家电异彩纷呈的背后，标准化和兼容化问题却显得异常突出。由于智能家电是一个跨行业的产业体系，所以目前我国对智能家电的定义尚未明确，我国也没有一个完善的智能家电标准体系。产品之间的兼容性更成为智能家电发展道路上的拦路虎，这也大大削减了消费者的选择空间。所以我国亟需智能家电的国标尽快出台，另外各企业间的系统标准也需要互相兼容。

可喜的是，我国政府已经在智能化家电评价标准方面不断推进，此外企业也积极面对这个问题，力图实现不同品牌设备之间的互联互通，解决“设备、人、内容（服务）”的安全联接和协同问题。

智能化点燃家电多个行业

2015年9月10日下午，由慧聪家电网、AylaNetworks艾拉物联联合主办的“无线家电无限未来”2015首届家电智能化研讨会在广东顺德举办。顺德是我国著名的“中国家电之都”，有几千家家电制造企业，产业体系非常完整。这次研讨会云集了亚马逊AWS、英特尔Intel、博通、USI环旭电子、村田中国等全球名企，与顺德数百家家电企业，共同探讨万物互联时代下的家电企业如何紧跟潮流向智能化看齐。

智能家电是我国传统家电企业转型升级的主要方向。家电产业与日常生活息息相关，自然也非常容易地被互联网技术“渗透”。当然，智能家电快速发展的局面也与我国的工业和城市化背景是分不开的。据悉，我国四化（工业化、信息化、城镇化、农业现化）建设启动，渐成体系的以“宽带中国”为基础的智慧城市建设政策，城市中产阶层及其以上的人口数量迅速增加，以互联网、大数据、云计算为代表的新一代信息技术迅速普及这四个智能家电发展的主要因素都已经具备。最近，国家又在努力促进跨界融合的加速，“互联网+” 也迅速打开了智能家电快速增长的空间，可以说智能家电普及已经真正的水到渠成。

所以在互联网浪潮的席卷下，为了摆脱政策、环境等因素带来的市场低迷状态，迎合用户新的消费需求，传统的家电制造业迅速启动了一场颠覆性的革命：拥抱互联网，向智能化转型。比如海尔、长虹、美的、TCL、海信等众多国内知名家电企业均宣布了自己智能化转型的部署，表示要在互联网和智能化大潮中，打造各自品牌的智能家居。在具体的产业层面上，继智能手机、智能电视之后，洗衣机、电冰箱、空调器以及厨房电器等家电产品也纷纷进入智能时代，智能家电步入高速发展的快车道。

进入2015年，家电产业转型升级引发的高端化发展趋势已经成为定局，智能化、节能化、便捷化更成为产品发展的最大趋势。在2015年8月“第五届中国家电网购高峰论坛”上发布的《2015上半年中国家电网购分析报告》显示， 2015年上半年，线上市场家电产品的高端化、大尺寸（容量）化、智能化的趋势依旧明显。2015年上半年智能电视的线上渗透率已达75%以上，智能空调的线上渗透率也已超过13%，具有WiFi功能、可以远程手机控制等基本智能功能的空调受到热捧。

目前我国正在加快从家电“制造业大国”向“制造业强国”转型，但是转型却并没有那么容易。由于智能家电需要将微处理器、传感器技术、网络通信技术引入家电设备，让设备具有自动感知住宅空间状态和家电自身状态和服务状态，并能够自动控制及接收住宅用户在住宅内或远程的控制指令等功能，所以需要全新的设计理念和技术标准；另外，智能家电还在向生态系统的方向演进，客户需要购买的是能够与住宅内其它家电和家居、设施互联组成系统的产品，所以更需要在产品互联互通上做好对接工作，这就要求企业将物联网、云计算等技术纳入到产品标准中。

但是目前很多企业虽然很熟悉传统硬件产品，却对硬件如何联网、如何对接云和大数据并不熟悉，所以很多企业看不懂转型的方向，很多企业甚至面临被淘汰的命运。我国的家电厂商已经越来越感受到转型的压力。

定义不明，国家标准缺失

不同于已有的电子领域，智能家居这样全新的交叉产品领域，多年来，全球各国对智能家电一直没有统一的、认可的定义。比如国外，通常智能家电（smart appliance）是与智能电网（smart grid）这个词相关联产生的，是指“聪明地”使用电能的电器，是基于节能同时为消费者节约金钱的角度来考虑的。但是国内该产业刚兴起没有几年，因为没有统一的定义。

其中中国官方机构在 GB/T 28219 标准中对智能家电的定义为：指采用一种或多种智能化技术，并具有一种或多种智能特性的家用和类似用途电器。

但是什么是智能化技术，这里就有很多概念可以应用。目前模糊控制、神经网络控制和专家控制都是最常用的智能化技术。但在具体应用过程中则深浅不一，所以很多制造商开始用概念来定义“智能”产品，以增加吸引力。或者以某一具体特点来定义产品，比如“互联网电视”，“互联网冰箱”等等。这些产品仅仅指具有联网功能的家电，或者是单机智能化，也就是 GB/T 28219中所定义的智能家电。更奇怪的是，最近又逐渐诞生了更多的概念，比如“云家电”，“互联网家电”等。

以“物联网家电”为例，其定义是“具有网络通信能力的家用电器，可以在家庭或类似场所内实现互操作或通过控制终端实现集中控制，也可以直接或通过物联网家电网关联接入物联网家电应用平台，实现对家电的网络操控与管理等应用”。以此来看，其与“智能家电”又有很多的概念重叠。这也让更多的消费者迷惑。

正因为如此，全国人大代表、美的副总裁袁利群就曾提议，要加快制定智能家电标准，主要原因就是家电行业对于“智能家电系统”定义尚未明确，也缺乏统一的标准，这导致市场内出现不同标准的智能家电系统，各系统之间无法互联互通，制约行业智能化发展。智能家电的检测标准及认证机制也不健全，产品安全性和可靠性同样有待改善

nlc202309021752

业内人士指出，我国已发布的智能家电的标准包括QB/T 2836-2006《网络家电通用要求》和 GB/T 28219-2011《智能家用电器的智能化技术通则》，这些标准规定了智能家用电器的智能化技术及智能特性检测与评价的条件、方法和要求。明确定义了智能家电、智能特性及智能化技术等概念。主要规定了七种智能化能力：自学习、自适应、自协调、自诊断、自推理、自组织、自校正。然而，目前这些标准对智能家电市场产生的影响尚不明确。

家电行业标准滞后，已经严重掣肘行业的快速发展，业内人士普遍呼吁，为加速智能家电的产业发展，推动中国家电产业的国际化，希望智能家电标准尽快出台。

不同品牌兼容阻碍发展

业界预测，到2020年我国智能家电的整体产值将突破万亿，智能家电成为传统企业转型的重要突破口。基于这样美好的前景，今年很多家电厂商都在试图进入这一领域，并建立自己的“生态圈”，比如海尔在原有的U-home智能家居系统上，推出“智能圈”为核心的家电解决方案；长虹期望将旗下黑白电共同融入家庭互联网大战略；美的M-Smart智慧家居则旨在建立千万用户级的社区，此外京东搭建JD+平台，清华同方发布云罐智能家庭生态系统，格力为了布局未来智能家居生态甚至被迫进入智能手机市场，企图以此占领智慧生活的入口；360、乐视、小米等互联网企业也加入这场竞争，争夺智慧家电平台。

“智能家居” 的确是个让人憧憬的生活场景，也是为数不多的凭一个概念推动整个产业链发展的行业。然而，各大企业跑马圈地后，智能家电领域却出现了各大品牌互相卡位的现象。特别是在现阶段，智能家电定义还不很明确，智能家电技术模式和商业模式尚不明确的情况下，很多制造商仅打算将自己的平台与自己的产品进行交互。在技术上，目前的智能家居产品又百花齐放，采用了包括蓝牙、NFC、WiFi等多种多样的无线连接技术。所以不同家电，都想采用自己的接口和协议，不希望其它制造商的平台与自己的产品进行交互。

有用户曾抱怨，为了达到高标准智能家居，买了智能电视，用上了智能冰箱，摆了智能空调，还有厨房里放置了智能厨具。但是各个产品并不配套。他们每一个都有独立的应用程序和进入界面，在应用的过程中，显得不胜其烦。像海尔、长虹、海信、美的、TCL等这些传统家电厂商，更是各打各的算盘。

此外，像智能电视出现的不兼容情况就更多，比如很多智能电视不支持第三方软件，不支持读取外部主流的USB接口的照相机或摄像机设备卡里内容；不支持有线电视；还出现了不少电视机和宽带网络不兼容。

实际上，这种状况在国外也常见，比如三星智能电视配备以太网连接模块，可以实现Internet@tv网络直通功能，但是用户必须登录三星基于高清电视的应用程序商店----Samsung Apps，才能免费进行应用程序添加。苹果智能电视是一款体积小巧的机顶盒，观众可以利用这个设备租看电影和电视节目，不过苹果智能电视机顶盒甚至还不能装载苹果应用商店的游戏和程序应用。索尼公司生产的4k电视机无论是记忆内存条、MD还是电子书阅读器都是索尼产品专用，连摄像头、数据读取格式等也都是特有的，无法与其他品牌兼容。

可见，在没有统一行业标准的情况下，不同领域、不同企业之间各自为战、各成体系。智能家居产品虽然五花八门，却很难实现系统兼容、信息共享以及互联互通，这不但给消费者带来极大困扰，也使行业发展遭遇巨大阻碍。由于缺少统一的行业标准，还造成各种品质低劣的所谓智能家居产品频出。很多企业对产品稍加改造后就打着“智能家居”的名号推上市场，但这些产品其实功能简单，并不能给用户带来使用上的便利。

此外，如果不能互相兼容，智能家电的售后服务也是企业不得不面对的问题。传统家电售后服务仅仅局限于故障和维修环节，但是智能家电是通过统一的网关或者路由器来进行信息连接的。未来厂家的维修如果不能满足用户对产品的体验式消费要求，那么也就不能很好地抓住用户。

业内人士表示，当前所有的智能家电方案还都是“碎片化”、“零散化”的模块，只能做到一定的互通互联，把不同品类、不同品牌的智能家电整合到一个平台之内，才能让消费者购买多套产品，也才能增强消费者的选择空间。也只有建立一个兼容互通的开放平台，才能有效整合上下游产业链，真正通过智能家电为用户提供智能生活。

迈向标准化和兼容化

智能家电作为智能家居的重要组成部分，能够与其它家居设备互联组成系统，实现智能家居功能。智能家电是我国家电转型升级的大方向，也是“中国制造2025”所提及的重要产业之一。但是我国目前智能家电产业发展仍呈“碎片化”发展的状态，网络化、通信功能、开放性、兼容性、节能化、易用性等的特性也远未形成。

建立统一的智能家电行业标准、协调权威性的智能家电政策，已是迫在眉睫。

值得注意的是，制造质量是建设制造强国的灵魂和生命线，标准作为产业技术基础的核心要素，对于推动我国制造迈向中高端水平起着关键性的作用。加强以标准为主的产业技术基础建设，正是“中国制造2025”重点提及的内容。“中国制造2025”明确提出，强化基础领域标准、计量体系建设，加快实施对标达标，提升基础产品的质量、可靠性和寿命。

如果智能家电行业标准得不到解决，那么用户就无法判断什么样的产品才是真正的智能家居产品，最终造成大量粗制滥造的产品涌入市场。没有统一的技术标准，各个厂家生产的产品也无法和其他厂家的系统或者产品共同使用，智能家电很可能遭到消费者的放弃。而一部分企业可能为了生存会选择和使用国外类似标准，这不但会使产品无法适应国内实际情况，更不利于提升整个行业的技术水平和竞争力。

所以，建立智能家电的行业标准已迫在眉睫。这包括从基础的通信协议、网络信息安全认证、无线频率，到用户隐私安全、智慧家庭等方面，均需要系统性的标准及认证机制准。

可喜的是，一些行业协会、检验机构和企业已经开始致力于一个完善的智能家电标准体系的制作，虽然步伐有点缓慢。

比如2015年7月由中国质量认证中心和中国家用电器研究院联合主办了“中国首批智能家电产品评价结果发布会”，会上就公布了中国首批通过智能家电评价的家电产品，共八类产品81个型号（或系列）。我国虽然没有国家的标准出台，但这两家机构作为国内最具权威的第三方认证机构和国内领先的专业检测机构，此次推出评价结果有助于提供客观、公正、科学的智能家电评价标准，也有助于推动智能家电有序发展、引领智能家电选购与消费。

此外，TCL、长虹、海信三家智能终端龙头企业按照“自愿、平等、合作”的原则发起成立了中国智能多媒体终端技术联盟。该联盟主要目的就是期望站在产业的高度上建立起中国企业自己的技术标准，给消费者和开发者带来品牌和技术的保障。该联盟将主要在智能电视应用程序商定技术标准，智能电视互联互通应用规范标准和智能电视操作系统技术规范标准开展工作。

另外长虹也推出了可以把不同品牌的智能家电联接在一起的IPP技术，有望成为一直止步不前的智能家居的“助推器”。有了IPP，用户可以把全部家电协同为一个整体，可以自定义个人喜欢的各种生活场景，也可以远程操控，真正使家电智能化，实现自动化的智慧生活。

智能家电的发展已成为大势所趋，由于智能家电是一个跨行业的生态系统，所以家电企业一定需要建立开放式的商业模式，建立与用户、产业链企业对接的平台，才能真正实现产业的转型升级，即从功能型生产向服务型生产的转变。

互联网化的智能家电 篇3

关键词：头戴式,视线跟踪,目标识别,家电控制,物联网

0 引言

随着经济的发展,人们对家居条件的要求越来越高。同时,信息技术、智能技术的发展为满足这种要求提供了技术基础。家电的智能控制便是其中的一个方面。通过家电智能控制系统,人们可以在不接触家电,无需肢体操作,甚至不在家中时,实现对家电的控制。这会大大方便人们的生活,同时,对于残障人士,如果仅仅通过一个眼神便可以控制家电,无疑会大大提高他们的生活质量。

物联网被称为继计算机、互联网之后,世界信息产业的第三次浪潮。近年来其技术飞速发展,在各个领域都得到了重视和应用[10,11]。同时,作为人机交互技术的一个新的研究热点,视线跟踪技术也得到了越来越多的关注和应用[8],相关技术不断成熟。因此,以物联网为基础,结合视线跟踪系统的视线感知能力,实现对家电的智能控制具有一定的现实意义和技术基础。

本文以头戴式视线跟踪系统作为物联网的感知层和服务管理层,实现信息的获取和实时计算,并负责指令控制。以一个物联网平台和相关产品作为应用层,实现了视线对家电的控制。

本文工作分为三个主要部分:1)建立视线跟踪系统,实时计算使用者在其视野中的注视点;2)识别使用者视野中的家电位置和坐标范围;3)通过互联网和物联网平台实现对家电的远程控制。

系统中,场景摄像头和眼睛摄像头负责获取图像,实现物联网的感知和接入功能。主机完成标定信息、眼动信息的提取,注视点的计算,家电的识别,并结合这些信息,发出控制命令,实现服务管理功能。在应用层,我们使用E联物联网平台及相关产品,完成对家电的远程控制。

本文设定的应用场景为:在家居环境中,存在电视、空调等家用电器,使用者佩戴头戴式视线跟踪系统。使用者如想控制某种家电,如开启电视,只需眼睛注视电视即可。以下为具体实现过程。

1 视线跟踪系统

视线跟踪系统技术主要分头戴式视线跟踪系统和桌面式视线跟踪系统两类。在家电控制中,考虑到系统的便携性,我们使用头戴式实现跟踪系统。系统的结构如图1所示。

其中M1为眼睛摄像头;M2为场景摄像头;R1为红外光源。场景摄像头我们选用普通的大视角笔记本摄像头,像素为640×480。眼睛摄像头选用超宽动态CCD板机,以提高图像质量,进而提高瞳孔定位准确度。

对眼睛摄像头获取的瞳孔图像,通过瞳孔定位获取瞳孔中心在眼睛坐标系中的坐标P(x,y);对场景摄像头获取的场景图像,计算对应标定点在场景坐标系中的位置T(x,y)。这样形成瞳孔中心和标定点坐标的多个点对应关系{P(x,y)}::{T(x,y)}。通过足够数量的点对应关系,即可计算瞳孔中心坐标和场景标定点坐标之间的映射关系。

1.1 瞳孔中心定位算法

本文的瞳孔中心定位使用文献[1]中的方法,定位的平均标准差:X:0.96pix;Y:1.60pix。

1.2 标定方法

头戴式视线跟踪系统在每次使用时,需要进行一次标定,建立眼动信息和场景凝视点之间的映射关系。

其中眼动信息可以通过上述瞳孔定位算法得出。对标定点的信息,需要通过在场景中设置标定点和定位算法得出。

一般的头戴式视线跟踪系统需要四到九个标定点进行标定,而且设置的标定点多为红外标定点。而在本文应用中,由于同时需要可见光图像以识别家电特征,必须在可见光范围内设置标定点。同时,为使用方便和提高效率,我们只设置一个标定点,采用一点标定方法完成标定。

根据不同算法需要,场景标定点可以设置成各种形状和特征。在本文中,考虑到可靠性和效率,采用圆形特征的标定点,定位的算法采用霍夫变换算法。图2为圆形标定点和定位结果。

标定时,使用者移动头部的同时,眼睛保持注视标定点,通过实时的图像采集和计算,形成一系列的瞳孔中心和场景标定点的点对应信息。

采用神经网络计算映射关系。神经网络具有很好的非线性拟合能力,具有较好的稳定性和鲁棒性。Anaelis Sesin、Chi Jian-nan等也曾在视线跟踪系统中应用神经网络方法,并取得较好的结果[4,5,6,7]。考虑视线跟踪系统对标定时间的限制,本文采用具备快速学习能力的极端学习机ELM[3]学习映射关系。

ELM为单隐层前馈网络,输入权值和偏差为随机值,学习过程只计算输出权值,因此具有极快的学习速度。其学习过程为:1)随机生成输入权值和偏差;2)结合输入计算隐层输出矩阵H;3)计算输出权重向量。

其中H+为矩阵H的伪逆。

我们采用的ELM网络有两个输入两个输出和十个隐层神经元,激活函数为:

根据标定样本训练ELM网络,确定输出权重,然后在跟踪时便可以据此实时计算使用者的注视点。

1.3 视线跟踪系统实验结果

系统进行10次跟踪实验的平均性能如表1所示。

表1跟踪误差(参见下页)

图3视线跟踪系统跟踪误差图(上图为水平误差,下图为垂直误差;横轴为实时跟踪数据序列,纵轴为误差/pix)(参见下页)

实验中视线移动范围为:水平方向40°,垂直方向30°。

由上述结果可以看到,在水平和垂直方向的平均跟踪精度在1°左右,而实际中,家电在视野中的角度一般大于5°,可以满足需求。

2 家电识别及控制策略

在使用者的视野中,存在各种家电。使用场景摄像头采集到包含家电的图像后,需要结合特征识别算法,识别家电的位置和坐标范围。

本文使用Adaboost算法进行家电识别。Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的弱分类器,然后把这些弱分类器集合起来,构成一个更强的强分类器。

正负样本准备是Adaboost算法一个关键环节。我们选取三种常见的家电作为代表:电视机、电饭煲、电风扇。对每种家电,构建了300个正样本和1500个负样本,如图4、5、6所示。此外,为避免对家电的误识别,我们在每种家电的负样本中,加入其它家电的正样本。正样本统一处理为24×24像素。

图4电视机正样本(参见右栏)

图5风扇正样本(参见右栏)

图6电饭煲正样本(参见右栏)

正负样本通过训练后识别效果如图7所示。

为进一步测试识别效果,对每种家电建立了300个测试样本集。使用测试样本测试的识别正确率在90%以上。

获取使用者注视点信息和家电的识别信息后,下一步就要通过互联网对家电进行控制。

首先面临的是控制策略问题,这是因为注视点和家电识别结果存在一定误差和不稳定性。为避免误动作,本文设计的算法控制规则为:在实时跟踪中,注视点坐标进入家电坐标范围(如图)则开始计时;计时1s内,且如注视点进入家电坐标范围内次数和1s内图像帧数比率在0.9以上,则启动相应家电,计时归零,否则不启动,计时归零。

3 物联网应用层

应用层负责根据服务管理层的控制指令,完成具体动作。本文采用E联物联网的物联网网关和开发板,通过E联物联网平台实现对家电的控制,完成应用层功能。实物如图8所示。

系统综合示意如图9所示。

(说明:图中大实线框内为场景摄像头图像,虚线框内显示在另一台电脑显示屏上的家电图片,小实线框为家电位置,内部圆点为使用者注视点,右下角为物联网开发板,对应为家电的开关状态,图中状态为电视机已开启,电饭煲即将开启)

在每个开发板上我们焊上一个红色LED灯,作为相应家电的开关状态显示。

在家电启动指令发出后,电脑通过网络连接物联网平台,通过平台发送开启指令到物联网网关,网关控制相应家电对应的开发板发生状态改变,从而控制LED灯的开关,即完成对家电的一次控制过程。

3 结论

本文依托头戴式视线跟踪系统和物联网,建立了一套通过眼睛注视来控制家电的物联网智能系统。系统的注视点精度可达1°,家电识别的正确率在90%以上,可以稳定地实现对家电的控制。系统中,眼睛摄像头和场景摄像头相当于物联网的感知层,获取使用者眼睛和视野图像信息,对这些信息进行处理的主机作为服务管理层,根据获取的信息,进行智能运算,发出相应控制命令。E联物联网平台及相关产品作为应用层,根据指令通过一系列过程,完成对家电的最终控制。

通过本系统和互联网,使用者不仅可以在室内遥控家电,甚至可以在办公室,通过注视相应的家电图片或开关,进行家电的远程控制。

参考文献

[1]邓宏平.头戴式视线跟踪系统关键技术研究[D].合肥:中国科学技术大学,2011.

[2]RamanauskasN,DaunysG,DervinisD.Investigation of calibration techniques in video based eye trackingsystem.ICCHP[M],Springer,2008:1208-1215.

[3]Guang-Bin Huang,Qin-Yu Zhu.Chee-Kheong Siew.Extreme learning machine.Theory and applications[J].Neurocomputing 70(2006)489-501.

[4]Zhang Yun,Zhao Xin-Bo.Zhao Rong-Chun,et al.EyeSecret:An inexpensive but high performanceauto-calibration eye tracker[C]//ETRA 2008,Savannah,Georgia,March 26-28,2008:103-106.

[5]SesinA,Adjouadi M,Cabrerizo M,et al.Adaptiveeye-gaze tracking using neural-network-based userprofiles to assist people with motor disability[J].JRRD,2008,45(6):801-818.

[6]Chi Jian-nan,Zhang Chuang,Yan Yan-tao,et al.Eye gaze calculation based on nonlinear polynomialand generalized regression neural network[J]/ICNC.2009.599,617-623.

[7]Torricelli D,Conforto S,Schmid M,et al.Aneural-based remote eye gaze tracker under natural headmotion[J].Computer Methods and Programs inBiomedicine.2008,92(1):66-78.

[8]卞锋,江漫清,张红.视线跟踪技术及其应用[J].人类工效学.2009,15(1):48-52.

[9]钱志鸿.王义君.物联网技术与应用研究[J].电子学报,2012(5):1023-1029.