留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

虚拟装配系统开发中参数化模型表达与交互意图识别研究

胡兆勇 何梓秋 何汉武 吴悦明

胡兆勇, 何梓秋, 何汉武, 吴悦明. 虚拟装配系统开发中参数化模型表达与交互意图识别研究[J]. 华南师范大学学报(自然科学版), 2021, 53(3): 113-121. doi: 10.6054/j.jscnun.2021050
引用本文: 胡兆勇, 何梓秋, 何汉武, 吴悦明. 虚拟装配系统开发中参数化模型表达与交互意图识别研究[J]. 华南师范大学学报(自然科学版), 2021, 53(3): 113-121. doi: 10.6054/j.jscnun.2021050
HU Zhaoyong, HE Ziqiu, HE Hanwu, WU Yueming. The Parametric Model Expression and Interactive Intention Recognition in the Virtual Assembly System[J]. Journal of South China normal University (Natural Science Edition), 2021, 53(3): 113-121. doi: 10.6054/j.jscnun.2021050
Citation: HU Zhaoyong, HE Ziqiu, HE Hanwu, WU Yueming. The Parametric Model Expression and Interactive Intention Recognition in the Virtual Assembly System[J]. Journal of South China normal University (Natural Science Edition), 2021, 53(3): 113-121. doi: 10.6054/j.jscnun.2021050

虚拟装配系统开发中参数化模型表达与交互意图识别研究

doi: 10.6054/j.jscnun.2021050
基金项目: 

国家重点研发计划项目 2018YFB1004902

详细信息
    通讯作者:

    胡兆勇,Email: zhy.hu@gdut.edu.cn

  • 中图分类号: TP391.9

The Parametric Model Expression and Interactive Intention Recognition in the Virtual Assembly System

  • 摘要: 面向教育培训的虚拟装配系统开发经常涉及多同类型任务、多培训模式、多显示终端的任务需求,传统开发方式往往是逐个定制开发. 为了提高重复性开发工作的效率和解决通用性问题,文章凝练了虚拟拆装操作的共性要素,提出了由任务要素、静态要素和动作要素构建的装配序列参数化表达模型,并设计了基于XML数据格式的参数化表达方法;基于此表达方法,研究了装配操作-交互意图的识别机理,实现了演示、练习和考核3种培训模式的人机交互操作的逻辑解析. 减速器虚拟装配案例表明了基于XML数据格式的参数化表达方法可以提高虚拟装配系统开发的效率.
  • 图  1  装配序列逻辑关系路由图模型

    Figure  1.  The routing map of the logical relationship of assembly sequence

    图  2  XML数据文件结构图

    Figure  2.  The structure of XML data file

    图  3  系统通讯流程架构图

    Figure  3.  The communication flow framework of the system

    图  4  系统数据呈现流程

    Figure  4.  The data presentation diagram of the system

    图  5  各部件碰撞器示意图

    Figure  5.  The collider diagram of each part

    图  6  自转操作计算示意图

    Figure  6.  The computing diagram of rotation operation

    图  7  平移操作计算示意图

    Figure  7.  The computing diagram of translation operation

    图  8  公转操作计算示意图

    Figure  8.  The computing diagram of revolution operation

    图  9  UI交互与场景漫游示意图

    Figure  9.  The diagram of UI interaction and scene roaming

    图  10  人机交互逻辑模型

    Figure  10.  The logical model of human-computer interaction

    图  11  工具模型示意图

    Figure  11.  The diagram of tool model

    图  12  减速器模型预处理

    Figure  12.  The preprocessing of gear reducer model

    图  13  减速器装配序列的XML数据示意

    Figure  13.  The XML data of gear reducer assembly

    图  14  减速器案例

    Figure  14.  The case of gear reducer

    图  15  zSpace客户端开发案例

    Figure  15.  The case of zSpace client development

    表  1  常见装配操作的动作要素

    Table  1.   The action element of general assembly operations

    装配操作 动作要素类型 所需参数
    拧螺丝/螺母/螺栓 自转 自转轴、旋转量
    扭动阀门类零件 自转 自转轴、旋转量
    推/拉/插/拔/提 平移 平移方向、平移量
    扳动 公转 公转轴、旋转量
    开关盖/罩/门 公转 公转轴、旋转量
    搬运/放置 自由移动 目的地
    下载: 导出CSV

    表  2  XML数据节点与C#脚本数据类型对照表

    Table  2.   The XML data nodes corresponding to C# scripts data types

    XML数据节点名称 C#脚本数据名称 C#脚本数据类型
    步骤索引号 ID int
    零部件 GameObject GameObject
    操作类型 MoveType 自定义枚举MoveType
    所用工具 ToolType 自定义枚举ToolType
    操作方向 Axis Vector3
    终止阈值 Treshold float
    子装配体联动 OtherChildrenMove bool
    是否已完成 IsDone bool
    先行步索引集合 MustAfter List < int>
    目的地 Destination GameObject
    提示信息 UIText string
    下载: 导出CSV

    表  3  数据集描述

    Table  3.   The definition of data set

    数据集名称 数据集合符号 集合数据类型
    所有操作步骤 S ActionStep
    已完成步骤 A Int
    当前可操作步骤 C ActionStep
    下载: 导出CSV
  • [1] 徐召, 胡宁, 李昂, 等. 虚拟现实技术在大型仪器用户培训中的应用[J]. 实验室技术与管理, 2018, 35(10): 106-108. https://www.cnki.com.cn/Article/CJFDTOTAL-SYJL201810026.htm

    XV Z, HU N, LI A, et al. Application of virtual reality technology in large-scale instrument users' training[J]. Experimental Technology and Management, 2018, 35(10): 106-108. https://www.cnki.com.cn/Article/CJFDTOTAL-SYJL201810026.htm
    [2] 周韶泽, 杨文庆, 聂春戈, 等. 基于虚拟现实的动车组虚拟检修仿真研究[J]. 机械设计与制造, 2020(3): 190-193. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYZ202003047.htm

    ZHOU S Z, YANG W Q, NIE C G, et al. Simulation research of EMU virtual maintenance based on virtual reality[J]. Machinery Design & Manufacture, 2020(3): 190-193. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYZ202003047.htm
    [3] 秦志南. 沉浸式虚拟装配系统的可用性研究[D]. 广州: 华南理工大学, 2018.

    QIN Z N. Usability research of an immersive virtual assembly system[D]. Guangzhou: South China University of Technology, 2018.
    [4] NICHOLAS H, POOI M W, MATTHEW C, et al. Virtual reality training for assembly of hybrid medical devices[J]. Multimedia Tools and Applications, 2018, 77(23): 30651-30682. doi: 10.1007/s11042-018-6216-x
    [5] TIAN Y, LI M, LIU H, et al. Research on 3D virutal trai-ning courseware development system of civil aircraft based on virtual reality technology[C]//Proceedings of the 2019 3rd International Conference on Artificial Intelligence and Virutal Reality. Singapore: ACM, 2019: 21-25.
    [6] 朱正伟, 祝磊, 饶鹏. 面向工业培训应用的虚拟现实装配系统研究[J]. 现代电子技术, 2019, 42(20): 58-63. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ201920016.htm

    ZHU Z W, ZHU L, RAO P. Research on virtual reality assembly system for industrial training application[J]. Modern Electronics Technique, 2019, 42(20): 58-63. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ201920016.htm
    [7] 李金涛, 郑晓雯, 孙宇飞, 等. 自学习液压支架虚拟装配交互系统[J]. 煤矿机械, 2020, 41(3): 167-169. https://www.cnki.com.cn/Article/CJFDTOTAL-MKJX202003056.htm

    LI J T, ZHENG X W, SUN Y F, et al. Virtual assembly interaction system of hydraulic support based on autonomous learning[J]. Coal Mine Machinery, 2020, 41(3): 167-169. https://www.cnki.com.cn/Article/CJFDTOTAL-MKJX202003056.htm
    [8] 吴珍发, 赵皇进, 郑国磊. 人机任务仿真中虚拟人行为建模及仿真实现[J]. 图学学报, 2019, 40(2): 410-415. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX201902028.htm

    WU Z F, ZHAO H J, ZHENG G L. Modeling and simulation implementation of virtual human behavoir for ergonomics simulation[J]. Journal of Graphics, 2019, 40(2): 410-415. https://www.cnki.com.cn/Article/CJFDTOTAL-GCTX201902028.htm
    [9] 王常乐, 王启峰. 基于动作类的虚拟拆装过程运动建模仿真[J]. 现代电子技术, 2019, 42(6): 149-153. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ201906037.htm

    WANG C L, WANG Q F. Motion modeling and simulation of virtual disassembly and assembly process based on action classes[J]. Modern Electronics Technique, 2019, 42(6): 149-153. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ201906037.htm
    [10] 董健康, 杨柳, 耿宏. 基于循环迭代的飞机虚拟拆装过程建模方法[J]. 计算机工程与设计, 2020, 41(2): 494-499. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ202002030.htm

    DONG J K, YANG L, GENG H. Aircraft virtual disassembly process modeling method based on cyclic iteration[J]. Computer Engineering and Design, 2020, 41(2): 494-499. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ202002030.htm
    [11] 颜洁, 聂瑞华. 作业可分割的数据采集系统[J]. 华南师范大学学报(自然科学版), 2014, 46(5): 32-36. doi: 10.6054/j.jscnun.2014.06.043

    YAN J, NIE R H. Data acquisition system based on divisible job[J]. Journal of South China Normal University (Natural Science Edition), 2014, 46(5): 32-36. doi: 10.6054/j.jscnun.2014.06.043
    [12] 李智. 基于XML描述的动态可扩展数据报文的模型构建方法[J]. 计算机测量与控制, 2020, 28(4): 191-195.

    LI Z. Model construction method of dynamic extensible data packet based on XML description[J]. Computer Measurement and Control, 2020, 28(4): 191-195.
    [13] 李晋芳, 蔡嘉鸿, 谭静, 等. 虚拟康复训练中个性化场景建立的方法[J]. 实验室研究与探索, 2019, 38(10): 100-104;114. https://www.cnki.com.cn/Article/CJFDTOTAL-SYSY201910025.htm

    LI J F, CAI J H, TAN J, et al. Establishing personalized scene in virtual rehabilitation training[J]. Research and Exploration in Laboratory, 2019, 38(10): 100-104;114. https://www.cnki.com.cn/Article/CJFDTOTAL-SYSY201910025.htm
    [14] 张硕, 杨贤, 何汉武. 多通道融合的虚拟实验环境设计[J]. 实验室研究与探索, 2018, 37(12): 112-115;181. https://www.cnki.com.cn/Article/CJFDTOTAL-SYSY201812028.htm

    ZHANG S, YANG X, HE H W. Multi-channel fusion virtual experiment environment design[J]. Research and Exploration in Laboratory, 2018, 37(12): 112-115;181. https://www.cnki.com.cn/Article/CJFDTOTAL-SYSY201812028.htm
  • 加载中
图(15) / 表(3)
计量
  • 文章访问数:  30
  • HTML全文浏览量:  8
  • PDF下载量:  2
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-05-08
  • 网络出版日期:  2021-07-06
  • 刊出日期:  2021-06-25

目录

    /

    返回文章
    返回