我提高了静态数据三维实体模型管理方法,以适用

为了更好地能舒心看几季Netflix剧,理工男奶妈都干了些哪些……
长期以来,「奶妈」+「小萌娃」一直是一个不被看中的组成,乃至有些人说,「父亲的爱如滑坡」。不相信得话,下列全是直接证据:
大家都知道,人类幼崽好像是台永动机,在一天24小时一切时间范围里都是有很有可能向你刁难。你可以让自身睡个稳定觉的方式来看是在大白天耗费她们的活力,因而大家想到了各式各样的方式。
自然,并并不一定的奶妈都那么不可靠,也有些人带动娃来挺一切正常的,AgustinusNalwan便是在其中之一。
AgustinusNalwan是Medium上的一位时尚博主,以前从业人工智能算法、三维/动漫、游戏软件开发等层面的工作中,现阶段任职于澳大利亚最大的汽车平台交易carsale.com.au。
他有一个2岁的孩子,全名是Dexie。Dexie十分开朗,喜爱小动物,尤其是鸟鹰,常常学鸟鹰在家里飞着。
小孩的这类行为一般也就造成父母的「嘿嘿」一笑(有的会拍出小视频发在网上),但Nalwan并不是一般的父母,他一直在试着用技术性增加带孩子的快乐。上年三月份,Nalwan就开发设计过一款具备小玩具鉴别工作能力的系统软件,能够与儿子互动交流并依据他手上的小玩具播放视频所有视频。
这一新项目帮他取得了英伟达显卡「JetsonProjectoftheMonth:Qrio–aninteractiveAIbot」主题活动的巨奖,礼品是一台英伟达显卡JetsonAGXXavier。
JetsonAGXXavier的配备信息内容。
它是一种算率很大的开发人员模块,曾被京东商城、美团外卖、小白的无人快递车作为测算关键。由于JetsonAGXXavier配备还不错,Nalwan决策用它来帮孩子做一个新玩具,完成他「展翅飞翔」的理想。
新玩具全名是Griffin(神话传说中的冰霜巨龙),最后完成实际效果是那样的:
自然,奶妈还可以跟随一起玩:
或是自身玩:
那么好的带孩子工作经验自然要共享出去。在近期的一篇blog中,Nalwan详细地详细介绍了他打造出Griffin的详细全过程,手头上有娃的能够参照一下。
传说中狮身鹰首的griffin。《哈利波特》中的Gryffindor学校意为金黄的griffin。
下列是Nalwan「从零开始」搭建全套姿势鉴别手机游戏的过程。
原材料提前准备
要完成图中中的实际效果,Griffin必须具有下列控制模块:
手机3d游戏模块:依靠一个用OpenGL写出的飞行模拟器形成含有山峰、苍穹和Griffin的三维奇幻世界。
身体姿势可能:应用OpenPose姿势可能实体模型和SSD目标检测实体模型来不断检验游戏玩家的人体姿势,做为系统软件的键入,以操纵Griffin。
姿势投射和图像识别:将人体姿势转换为更有意义的姿势和手式,如伸出左/右羽翼、上下滚翻人体、起降等。
通信系统:应用socket将姿势键入送进手机3d游戏模块。
下列是全部系统软件所必须的硬件配置:
NVIDIAJetsonAGXXavier:这是一个GPU驱动器的中小型内嵌式机器设备,用于运作之上全部控制模块。它能够根据一个简易的HDMI插口适用音频视频輸出。除此之外,他还有一个以太网接口,便捷连接网络。你乃至能够插进电脑鼠标和电脑键盘在该机器设备上开展开发设计和调节,因为它有一个功能完善的Ubuntu18.04OS。
TV(含有HDMI键入和内嵌音箱):做为游戏制作引擎的显示屏。
监控摄像头:我就用的是SonyIMX327。实际上这儿只必须224x224的分辩率,因而还可以选中低端一点的监控摄像头。
Blu-Tack:把全部硬件配置拼凑在一起。
JetsonAGXXavier、IMX327监控摄像头和BluTack。
完成
搭建手机3d游戏模块
为了更好地能够更好地模拟飞行感受,Griffin系统软件将以第三人称角度3D渲染三维全球。想像一下在Griffin正后方有一个监控摄像头看见他所看的地区。为何无需飞行模拟器那般的第一人称角度呢?由于见到鹰的羽翼并同歩挪动自身的胳膊,能够协助Dexie如何快速学习怎样操纵这个游戏,并有着一个更沉浸式体验的感受。
自主搭建手机3d游戏模块并非易事,很有可能必须好几个星期的時间。如今大部分开发人员只应用专业的游戏制作引擎,如Unity或Unreal。可是很遗憾,找不着能够在UbuntuOS/ARM芯片组下运作的游戏制作引擎。一种取代方式是寻找在OpenGL上运作的开源系统飞行模拟器。这能够确保游戏制作引擎能在AGX上运作,因为它适用OpenGLES(OpenGL的轻量版本号)而且获得硬件加速器。假如你不愿游戏制作引擎以龟速运作得话,则它是必需的标准。
幸运的是,我找到了一个考虑规范的C++开源系统飞行模拟器,并干了下列改动:
我就用根据总体目标的系统软件更换了根据功能键的航行自动控制系统。那样我也能够时常地设定Griffin人体的总体目标转动视角,以后这一转动总体目标将根据图像识别控制模块自主设定,该控制模块能够投射Dexie手臂的方位。
我提高了静态数据三维实体模型管理方法,以适用等级构造。初始的模型飞机是做为一个刚体挪动的,它沒有挪动的人体部位。可是Griffin有2个羽翼,必须单独于人体独立健身运动。因此,我加上了2个羽翼,使之做为人体以上的独立三维实体模型。我能独立转动每一个羽翼,还可以挪动Griffin的人体,间接性挪动2个羽翼。完成该总体目标的一种适当方法是搭建游戏模型系统软件,将人体部位机构为树形结构的方式。可是,因为我想解决的人体部位仅有三个(人体和2个羽翼),因而我能挑选一种简单的方法。为了更好地编写鹰和树三维实体模型,我应用了一个完全免费实用的三维编辑工具Blender。
在Blender中编写鹰的三维实体模型。
我加上了Griffin起降情况的树实体模型,及其不用重新启动运用就可以重新启动手机游戏的手机游戏情况。Griffin有二种情况:站起(立在树技上)和翱翔。
我运用libSFML加上声效播放视频:当Griffin起飞时,会出現鹰的尖啸和声响。
搭建身体姿势可能控制模块
该控制模块致力于检验来源于监控摄像头键入的身体姿势。实际来讲,大家必须了解左/左手肘、左/右肩部、颈部和鼻部的部位,才可以掌控Griffin的羽翼和人体,并开启特殊的姿态。OpenPose是一个时兴的开源系统库,并具有很多可能身体姿势、手臂姿态和脸部特点的AI实体模型。我应用的是身体姿势可能COCO实体模型,以resnet18做为技术骨干svm算法器。该实体模型能够即时检验18个关节点,包含所述大家需要的6个点。
COCO关节点图。
这儿存有一个问题:OpenPose根据PyTorch架构搭建,在NVIDIAAGXXavier中运作速率比较慢(4FPS),因为它没法运用中重度提升的TensorRT架构。幸运的是,还有一个强大的专用工具torch2trt,它能够全自动将PyTorch实体模型移殖到TensorRT架构中!操作步骤是:安裝OpenPose,将PyTorch变换为TensorRT,免费下载预训炼resnet18技术骨干实体模型。
为了更好地获得来源于监控摄像头的视頻內容,我应用另一个库Jetcam。只必须四行编码,就可以运作。
身体姿势可能。
那样就获得了能够100FPS速率运作的身体姿势可能控制模块!
历经一些检测后,我发现了有时这一实体模型会将任意对象错误地鉴别为关节点(假正例,如下图所显示),这会给Griffin的姿势操纵产生不便。
应用AmazonSageMakerJumpStart搭建目标检测实体模型
处理该难题的一种方法是加上一个輔助AI实体模型,用目标检测控制模块来出示身体界限框,那样就可以清除掉在界限框之外检验到的身体关节点了。除此之外,这种界限框还能够协助在一堆人群中鉴别关键游戏玩家,间距监控摄像头近期的人应该是关键游戏玩家。
在以前的新项目中,我手动式训炼过SSDMobileNetV2目标检测实体模型。此次我选择应用AmazonSageMakerJumpStart,只需一键实际操作就可以从TensorFlowHub和PyTorchHub布署AI实体模型。这里有150好几个可选择的实体模型,在其中就会有历经彻底预训炼的SSDMobileNetV2。
从AmazonSageMakerStudio中运行JumpStart。
在AmazonJumpStart中挑选SSDMobileNetV2后,只需一键实际操作就可以布署实体模型。拥有目标检测实体模型后,我能为界限框之外的关节点加上exclusionlogic,那样假正例便会少许多 !
在身体界限框之外的关节点被清除在外面。
搭建姿势投射和图像识别控制模块
该控制模块针对将身体姿势可能控制模块检验到的6个关节点姿势变换为更具有实际意义的键入尤为重要。这包含三种立即的姿势投射:
航行时的人体旋转:用以操纵Griffin航行时的方位。人体旋转能够根据横坐标和上下胳膊肘空间向量中间的交角开展测算(下面的图上)。在航行时,二只羽翼根据这一旋转视角同歩挪动。挑选胳膊肘而不是手腕子是为了更好地利润最大化能见度,由于手腕子常常会掉出监控摄像头角度或被别的人体部位遮盖住。
站起时的羽翼转动:这纯碎是出自于美观大方,为了更好地让手机游戏更具有挑战性,给人一种站起的情况下能够独立操纵每一个羽翼的印像。这根据横坐标与肩部-胳膊肘空间向量中间的交角开展测算(下面的图下)。最后的羽翼转动视角会加上15度,以增加羽翼的姿势,终究人长期举起手臂会非常累。
人体旋转和羽翼转动时的姿势投射。
蹲伏:它是另一个美观大方姿势,能够令人感受到可以操纵Griffin飞机起飞的蹲伏姿态。这通
《科技》最新头条新闻
  • 工信部:已实现所有地市5G覆盖

      随着我国5G商用的快速推进,我国5G基础设施建设投资持续扩大,覆盖范围也越来越广。 昨日上午,据工业和信息化部新闻发......

    12-25来源:未知

  • 游族董事长被投毒原因曝光

      12月23日晚,游族网络方面就董事长林奇住院一事再发声称,据警方通报,本案嫌疑人许某,就职于某个人投资的影视公司。......

    12-25来源:未知

  • B站将离世用户账号列为纪念账号

      12月24日,B站通过微博@哔哩哔哩弹幕网发布公告称,自今日起,对于不幸离开人世的B站用户,我们将在取得其直系亲属确认......

    12-24来源:未知

  • 蚂蚁回应约谈:严格遵从监管要求

      12月24日消息据新华视点,中国人民银行、中国银保监会、中国证监会、国家外汇管理局将于近日约谈蚂蚁集团,督促指导蚂......

    12-24来源:未知

  • 阿里巴巴:将积极配合监管部门调

      刚刚,阿里巴巴发布公告回应: 蚂蚁集团: 将认真学习和严格遵从监管部门的要求, 不折不扣地做好相关工作的落实 蚂蚁......

    12-24来源:未知

  • 2020外媒镜头下的中国抗疫

      【2020外媒镜头下的中国抗疫】新年伊始,一场突如其来的新冠疫情汹涌而至,从全员抗疫到生活恢复正常,外媒用镜头记录......

    12-23来源:未知

返回列表
Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。