|
研究方向
一、智能交互式机器人 1、智能互联网机器人（小Q机器人） 小Q机器人融合了互联网技术和智能机器人技术，是中国科学院与腾讯公司重大战略合作项目，依靠强大的技术平台，通过与腾讯QQ的整合，以生动的表情肢体动作、语音互动、行为学习等方式，丰富和拓展了人们的在线生活，并使智能机器人走进千家万户，真正成为人们的在线生活伴侣，主要功能包括：
核心技术：智能人机交互、云服务、运动跟踪 项目来源：国家发改委专项、广东省院合作、深圳技术攻关、深圳基础研究、院企联合实验室
2、微型互动投影——Q影 自主研发的微型互动投影Q影，是全球首创光控是移动投影仪。Q影是投影画面16：9，采用DLP技术，使其只有拳头大小的机身可以投影超过120英寸的影像。Q影与普通微型投影仪最大的领先优势在于——Q影拥有独特的互动技术，能够感知配套的触控笔或遥控笔操作。用户可使用触控笔在投影画面上直接点触操作，比如涂鸦作画、修改PPT、电子书备注、浏览网页、玩网页游戏等，让任何一个屏幕成为触摸屏；使用遥控笔可以模拟鼠标操作，实现远程操作。 Q影配备的光学触控笔，能在投影平面进行互动，操作分辨率高达3200？2400，显示倍数高达20倍。同时Q影配备的远距光控笔，采用半导体激光技术，可以带来完美线性光控反馈。光控笔分辨率高达2560？1920，并设置了单双击操作，控制定位精度1个像素，响应时间小于40ms，隔空与投影画面进行互动，体验游戏带来的快感。Q影支持连接苹果、安卓系统设备，可无缝结合支持家庭影院设备Apple TV以及小米盒子。 项目来源：国家发改委专项、广东省院合作、深圳技术攻关、深圳基础研究、院企联合实验室
3、下棋机器人 随着机器人技术的快速发展，家庭服务机器人逐渐走进了普通家居生活。人机交互技术，作为一项关键技术已成为机器人领域的研究热点，即用户以何种方式实现与机器人之间的交流与控制。本项目针对家庭服务机器人的人机交互需求，系统地研究了人-机信息感知和反馈方法，实现人与机器人的自然交互，主要功能包括：
核心技术：空间定位、手势识别、信息融合、人机控制 项目来源：中科院知识创新工程
4、老人服务机器人 人口老龄化已经成为世界范围的重大社会问题，我国老年人口已占全国总人口的10%，老龄化日趋严重，需要社会的关爱和照顾。本项目旨在研发老人服务机器人的关键技术及应用模块，为老年人提供诸如情感交流、健康监护及护理等服务，以提高老年人的生活质量，主要功能包括：
项目来源：中科院知识创新工程
二、体感交互技术及系统 1、标记点虚拟体育交互系统 为了更广泛地开展群众性体育活动，增强人民体质，国家开展了全民健身计划。然而很多的体育项目会受到场地和时间等因素的制约，很难达到普及的程度。如果能够利用计算机的优势，将体育运动变成在虚拟环境中进行，例如可以在客厅里面打网球、高尔夫球等，就可以有效地提高全民健身运动的普及程度。本项目主要研究虚拟体育运动，即人与电脑之间（或者人与人间通过互联网）的交互进行体育运动，利用计算机视觉技术识别人体以及体育器械的运动状态和动作模式，并将动作模式反馈给计算机，控制虚拟体育运动中的角色做出相应的动作。此类人机交互平台的研究，以体育健身作为应用目标，实现人体运动动作的正确识别，达到全民健身的效果。 项目来源：院企联合实验室、深港创新圈、深圳基础研究
2、无标记点人体三维重建 人体运动捕捉一直是计算机视觉领域的研究热点。传统方法采用的是带标志点的识别方式，通过对标志点进行图像匹配和三维重建，获取目标的三维信息。在微软公司2010年发布的KINECT系统中，应用了最先进的无标志点的基于数字散斑投影的三维测量技术，可以实时、高精度地重建出目标场景的深度信息，然后对场景中的人体进行三维信息处理、理解和跟踪。 数字散斑相关法为三维体感人机交互提供了一种新颖的测量方法，并可以有效地应用于虚拟体育运动中。然而虚拟体育运动要求系统对数据进行实时处理，因此如何在保证一定测量精度的条件下，降低数字散斑相关搜索方法的计算复杂度是研究的重点。本项目通过理论和实验研究，开发了基于纹理光投射的双目立体视觉系统，并提出了一种基于相邻点的数字散斑快速搜索方法，该方法有效地提高了数据的利用率，灵活地避免了复杂运算。根据测量点的误差特征，提出了距离加权领域平均法，显著地提高了测量精度并得到了非常好的测量结果。实验证明所提方法能快速、有效地测量物体的深度信息。 此外，本项目针对IDONG300人机交互芯片集成需求，开发了高效率三维重建技术，实现了体感交互系统的低成本和小型化，标志着我们的核心技术已经在人机交互系统产业化方面迈出了坚实的一步。 项目来源：国家自然科学基金、广东自然科学基金、深圳技术攻关、深圳基础研究、院企合作
3、三维动作识别 体感交互作为一种很自然的人机交互方式，在计算机体感游戏、移动终端控制、机器人控制和智能家电控制等方面具有广阔的应用前景，成为人机交互领域的研究热点之一。尤其是微软推出Kinect体感交互设备，为用户带来了新颖有趣、创新、高效的体验，进一步引发了体感交互技术革新及应用热潮，也使得基于深度图像的动作识别成为研究热点。 本项目旨在研究基于深度图像的人体姿态估计与动作识别，可融合时空信息、深度图像信息、以及加速度等其他传感信号，通过提取不同维度上的特征，采用深度神经网络的分类方法，实现快速鲁棒的大规模动作识别，同时便于通过增量学习的方法不断扩展待识别动作的类别。本项目在多种信息融合实现大规模的动作类别识别理论上有所创新，研究成果可应用于增强现实、机器人、智能终端等多种人机交互场景。 项目来源：深圳技术攻关、深圳基础研究、院企合作
三、机器视觉智能化检测 1、深度视觉感知与理解 面向工业机器人领域，针对柔性定制作业研究深度视觉感知与理解关键技术。主要包括四部分：1）基于结构光的三维重建；2）RGB-D图像识别与语义理解；3）视频序列理解与目标跟踪；4）基于视觉的质量检测。智能视觉感知与理解系统能够快速自主适应不同种类图像目标的识别、跟踪、检测等任务；不需复杂繁琐的编程方式来设置指令，可快速感应、学习并模仿人类，在工业机器人中将被广泛采用。 项目来源：国家自然科学联合基金
2、面向五金行业制造的国产机器人系统应用示范 五金制品广泛应用于工业、农业和人们生活的各个领域，当前五金行业市场需求变化迅速，例如在餐厨具和办公家具文具等个性化产品定制领域。传统生产模式自动化水平低，难以应对小批量、多批次的快速产线切换需求，亟需提升柔性化和智能化水平。本项目紧跟“中国制造 2025”国家重要战略步伐，紧密结合国内五金行业的重大需求和国际机器人前沿技术，通过理论研究、技术研发、应用单元研制与示范应用，研发具有自主知识产权的多品种多工艺五金件柔性生产线并起到示范作用，全面提升我国五金行业的智能化制造水平。 本项目主要面向五金行业多工艺多工序的特点，通过理论研究、技术研发和应用示范，解决五金件柔性制造的作业资源布局优化与多机器人协同作业优化、多品种异形五金件机器人制造加工的工艺优化与控制两个关键科学问题，突破五金行业机器人柔性化智能生产线的数字化建模仿真和布局优化、五金制造过程的多机器人自组织协作与柔性车间调度、五金件刚柔耦合夹持与抛光力位控制强化学习优化、多样化五金件三维重建及RGB-D图像检测识别和多工艺多机器人协作及柔性化智能生产线集成五个关键技术，构建具有自主知识产权的机器人制造加工与物流系统并应用于两类生产线的数字化工厂，实现多工艺多工序国产机器人在五金餐厨具和办公家具文具两类柔性化智能生产线中的批量应用示范。 项目来源：国家重点研发计划 3、电路板自动光学检测 半导体的制造过程十分复杂，很多工序采用自动光学检测（AOI）设备重建出晶圆、BGA等的三维形状，进而检查产品缺陷，提高产品合格率。另外在PCB加工过程中，随着线路板上元器件组装密度的提高，电气接触测试越来越困难，将AOI技术引入到SMT生产线的测试领域是大势所趋。AOI不但可对焊接质量进行检验，还可对光板、焊膏印刷质量、贴片质量等进行检查。各工序AOI的出现几乎完全替代人工操作，对提高产品质量、生产效率都是大有作为的。AOI通过摄像头自动采集PCB图像，测试焊点与数据库中合格参数比较，检查出缺陷，并通过显示器或自动标志把缺陷显示、标示出来，方便维修。本项目设计的AOI平台，针对半导体产品表面反射特性不均匀，提出创新的方法来完成晶圆、PCB等的二维和三维检测。 项目来源：国家自然科学基金、中科院STS、深圳双百计划
4、冲压件表面缺陷检测 在家电产品生产中，框架板材经常出现外观缺陷，严重影响了喷漆后表面的美观性。因此，板材冲压件在喷漆之前，需要检测其表面的缺陷分布，以确保最终的家电外观质量。在现有检测技术中，光学检测具有判断准确、快速、稳定性高的优点，为表面缺陷的实时检测提供了解决方案。本项目采用三组彩色光源和CCD相机组成的模块高速抓拍冲压件表面图像，并将其传输到分布式硬件处理单元，经相关图像算法处理后，得到冲孔位置数据和冲压件表面异常数据，并判断缺陷类型及其所在区域。本项目系统已交付企业使用，克服了人工目检时存在的检测速度慢、准确率低等缺点，能满足自动化生产需求。由于该检测系统兼具成本和效率优势，可面向自动化生产的家电企业，起到改善产品质量控制的作用，进而获得更多的市场份额，创造更优的品牌价值。 项目来源：企业横向
5、手机外壳智能化检测 以生产智能化为主要特征的“工业4.0”将对全球制造业升级发挥越来越大的引领作用，也将促进深圳“强化自主创新能力”、“提升产业发展水平”、“促进产业高端集聚”、“拓展现代制造服务”、“优化产业生态环境”。本项目面向我市移动终端制造业的需求，将研发工业视觉在产品表面缺陷检测系统中关键技术，实现高度集成的智能化表面缺陷检测设备。项目的顺利实施将提升我市在高端检测成套设备领域的自主创新能力，打破欧美、日本在该领域的垄断局面，从而推动深圳智能制造技术水平的突破，引领相关行业的产业升级，提高企业面对诸多因素导致的用工荒时的抗风险能力。 经费来源：院企合作
|
