基于视频的人体姿态检测方法及其应用综述连仁明，刘颖，于萍，刘畅（91001部队，北京100841）摘要院视觉是人类认知周围事物的重要感知。随着人类对于视频处理需求的不断增长和计算机性能与技术的不断发展，我们希望计算机能够在特定场合具有部分与人类视觉类似的视觉功能，并且对于这种视觉功能有一定的初步处理和判断功能。基于视频的人体姿态检测是理解和识别人与人的交互运动，人与环境交互关系等。通过相关的计算机技术，实现对于视频中人的检测，动作分析以及涉及多人交互情境下的行为分析和关系分析等。尽管这种分析对于人的视觉以及大脑似乎是一件不算困难的任务，但是随着时代的发展，视频的规模不断扩大，仅仅依靠人眼进行识别是远远不能够满足现代社会需要，通过计算机技术进行识别已经成为一种必然需求。但对于计算机而言，因为涉及到背景环境的复杂性，人类体态的多样性，运动习惯的差异性，在视频中能够较为精确检测人的位置，分析人的行为还是一件比较有挑战性的任务。关键词院人体检测；计算机识别技术；情景11.1单人骨架检测方法研究现状与技术发展趋势人体骨架关键点对于描述人体姿态和预测人体行为每层的损失函数袁F为总损失函数[1]院渊1冤十分重要袁它是很多计算机视觉技术的基础步骤袁例如行为预测袁智能监控等方面遥近年来袁随着人体骨架关键点检测效果的不断提升袁开始比较广泛地应用于计算机视觉的相关工作中袁其中袁单人骨架检测是这些工作的入门基础和最简单的实践任务遥1.2姿态卷积网络姿态卷积网络渊ConvolutionalPoseMachines袁简称CPM的流程图如图1所示遥渊2冤CPM[1]冤由一系列卷积网络组成袁这些卷积网络重复产生每个部分位置的2D置信图渊2Dbeliefmaps袁表征对整体骨架的一种预测冤袁在CPM的每个阶段袁把图像特征和上一阶段所产生的置信图作为输入遥为后续的阶段提供每个部分位置的空间不确定性的非参数编码袁它不是通过几何处理[2][3]或者专门的后续处理步骤[4]来显性地处解析这种置信图袁而是通过隐式直接从数据中学习图像和附近区域特征的方式遥同时使用多阶段监督袁来避免网络过深而导致的梯度丢失导致无法进行优化[5][6]图1CPM方法卷积网络流程以及效果示例[1]1.3多情景关注机制在关注一张图片的时候袁通过关注图片的不同尺度可以更准确地对人体姿态进行分析袁一些局部信息袁对于比如脸部尧肘部的特征判断很有必要袁而最终的整体姿态需要对人体进行整体理解袁不同的尺度下分析可能体现更多信息袁比如人体的动作袁相邻节点的关系等袁这是多情景关注机制的理论基础遥作者简介：连仁明渊1979-冤袁男袁本科袁工程师袁研究方向院计算机技术遥收稿日期：2019-06-142019.09第一阶段网络的作用是预测初步的结果冤袁对于每个阶段的预测输出都要进行监督训练从而通过反向传播来对上一个阶段的与猜测结果进行一定程度的优化和修正遥袁除了第一阶段之外渊因为两层之间损失函数如下渊见式1袁式2冤袁其中f为127这种方法注重将卷积神经网络与多情景关注机制[7]结合到人体姿势估计的框架中袁模仿自然人的视觉效果袁用较大尺度的图像来估计整体姿态袁通过较小尺度的图像来关注局部细节袁采用堆叠沙漏网络渊StackedHourglass这种方法通过引入Networks冤袁CRF以多种分辨率生成多种语义图像渊条件随机场冤模拟邻域关节之遥间的空间相关性袁从而使整个模型既能侧重全身人体的一致性袁又能关注到身体部位的局部性遥这种方法引入新型的残差沙漏单元渊HourglassResidualUnit,HRU冤袁这些单元是残差模块的扩展袁其侧分支包括比较大区域的滤波器袁因此这种模型能在HRU内学习并且综合具有各种尺度的特征袁进而更加准确地对人体骨架进行检测遥整个网络采用8层沙漏网络[8]整个人体的姿态袁而在后4层袁则为一个分层由粗到细来袁其中前4层用于编码放大局部的部分遥同时在每层之间进行中间监督遥而HRU则用于这多个分辨率的特征袁进而通过整个框架进行综合袁用于生成更为准确的估计图和进一步细化的特征遥为设计的HRU3伊3的递推公式为的卷积[8]院袁其中F为上一级的残余块袁P多情景关注机制的流程图如图2所示遥2图2多情景关注方法沙漏网络[8]2.1应用前景相对于传统的键盘鼠标等外设交互人机交互袁通过视频渊摄像头冤进行的人机交互拥有着理论上更为灵敏和方便的应用前景遥相对于人与人的交互而言袁通过现有外设如键盘袁摄像头显得不够方便和直接袁会造成一定的信息损失遥但是要达到人机交互的自然应用程度袁对于处理的实时性有着更高的要求院要求计算机对于人体行为的检测要比起传统的交互方式有着更快的处理速度和识别的准确度袁这一点对于算法的精度和速度有着更高的要求遥将计算机作为一个能理解个人行为的交互对象或者中间媒介袁真正实现更加自然和方便的人机交互遥2.2近年来公共场所的安全监控袁恐怖主义袭击时有发生袁社会所面临的安全问题不断凸显袁对于关键场所的智能监控变得更加具1282019.09有必要性遥我国的野天网系统冶就是依据这种形势的需求而构建的袁在一些人流密集如火车站尧演唱会尧机场尧关键会议等地点进行了覆盖式的监控袁但是这种监控往往用于突发事件发生时进行支援或者在事件发生之后对事件的调查进行录像回放遥这种方式渊1冤很有可能损失已经发生或者只能事后进行弥补袁渊2冤对于想要达到比较高的安全监控标准袁对于人力的需求是很大的遥在这种前提下袁如果能够利用人体行为识别的技术袁在犯罪分子进行准备时就对他的行为进行专门的标注和预警袁从而预防和减少生命财产的损失遥近年来袁随着计算机视觉技术的发展袁让着这种智能监控变得可能袁如智能监控系统渊IntelligentSurveillanceSystems,ISSs冤[9]和以色列IOI公司[10]所推出的针对机场尧车站等场所的智能监控袁虽然这些系统的实际效果还比较有限袁但足以证明将人机交互的智能监控应用到传统监控领域袁其前景是可观的遥2.3近年来基于视频的行为标签和跟踪袁随着摄像装备的逐渐普及袁视频的数量和长度都在不断增长袁这使得对于视频的分类和标签变得困难袁如果只能进行人为手动标签和分类袁效率比较低而且容易产生误差袁这也增加了视频搜索的困难程度遥而通过计算机视觉进行行为识别袁不仅可以增加标注的效率和准确度袁还能进一步确定某些具体人体行为或者多人交互所发生的时间段袁进而增加标签的准确度袁对于视频的检索3结语袁分类等方面有很大的帮助遥计算机视觉技术的发展令这一点变得具有可实施性袁同时把这种计算机视觉的技术应用于视频中人物的追踪袁也可以在比较复杂背景环境下重点观测某个人的行为袁对于刑警侦测尧犯罪画像尧实时追踪和保护等社会安全方面有光明的应用前景遥参考文献[1]WeitionalSComputerPoseE,RamakrishnaMachinesV,KanadeT,etal.Convolu鄄6:4724-4732.VisionandPattern[J].2016RecognitionIEEEConference(CVPR),2016,on[2]Cut:PishchulinL,InsafutdinovE,TangS,etsonPoseJointEstimationSubsetPartition[J].2016andLabelingIEEECVPR,forMultial.Deep鄄2016,Per鄄4929-4937.6:[3]TompsonJ,GoroshinR,JainA,etal.EfficientOb鄄Proc.CVPR,2015.jectLocalizationUsingConvolutionalNetworks[J].[7]X.Chu,W.Yang,etal.Multi-contextattentionforhu鄄Recognit.,2017,7:5669-5678,.manposeestimation[J].Proc.Comput.Vis.Pattern[4]TompsonJ,JainA,LecunY,etal.JointTrainingofaConvolutionalNetworkandaGraphicalModelfor1799-1807.HumanPoseEstimation[J].EprintArxiv,2014,6:[5]BengioY.LearningLong-termDependenciesWithonNeuralNetworks,1994,5.[8]A.Newell,K.Yang,andJ.Deng.StackedhourglassECCV,2016.networksforhumanposeestimation[R].Amsterdam,[9]PishchulinL,InsafutdinovE,TangS,etal.Deep鄄Cut:JointSubsetPartitionandLabelingforMultiPer鄄4929-4937.sonPoseEstimation[J].2016IEEECVPR,2016,6:[10]TompsonJ,GoroshinR,JainA,etal.EfficientOb鄄Proc.CVPR,2015.GradientDescentisDifficult[J].IEEETransactions[6]J.Carreira,P.Agrawal,etal.Humanposeestimationwithiterativeerrorfeedback[R],arXivpreprintarX鄄iv:1507.06550,2015.jectLocalizationUsingConvolutionalNetworks[J].(上接第112页)准确性的过分依赖袁同时也减少小部分错误和分歧对评价结论的影响袁从而尽可能地获取到更符合客观实际的评价结果遥所提出的数据分析算法和模型架构方法袁对相关领域的研究有一定的借鉴和参考价值遥0.260.240.220.200.180.160.140.12f14f15f16f12f11f13熵权法均权法参考文献[1]刘巧稚.协同治理视角下我国政务微博矩阵运营管理研究[D].广西大学,2018.[2]董晓睿,丁健,孟凡芬,许凯.基于SSM框架的微博矩阵管理系统设计与开发[J].电脑编程技巧与维护,2019,(07):4-6+16.[3]周薇,李筱菁.基于信息熵理论的综合评价方法[4]饶泓,董晓睿,何宇东,李祥文.采用熵权和模糊2012,48(23):47-51.[J].科学技术与工程,2010,10(23):5839-5843.集的特征评价方法及应用[J].计算机工程与应用,[5]程启月.评测指标权重确定的结构熵权法[J].系统工程理论与实践,2010,30(07):1225-1228.评价特征节点渊F4大类为例冤图1评价特征集中各评价节点的置信度(上接第115页)其他地区气象中心遥目前袁系统信息发布功能还成功运用于西南空管局运管中心尧设备监控中心尧飞行服务中心等有信息发布需求的部门袁并且逐渐成为这些部门信息通告的重要手段袁协助其完成一系列保障工作袁有效提高这些部门的工作效率袁并受到一致好评与感谢遥相信该系统在未来航空气象及空管保障工作中会发挥更大的作用参考文献[1]罗迎.气象短信业务在气象服务中的应用与发展2019.09[2]张炜,赵伯听,周武.新形势下防雷气象短信服务的现状与策划[J].福建电脑,2017.[3]王实,陆建德.基于公共服务的互联网短信平台的设计和实现[J].微机发展,2005,(08).[J].科技创新导报,2014,(03).[4]卢强宗.航空气象技术在空中交通管理中的应用[5]王良发,黄盛军.怎样做好航空气象服务[J].科技视界,2013,(26).[J].农业与技术,2012,32(5):159-159.129