本文提出一种基于穿透深度计算与非线性优化的可变虚拟刚度优化的肝脏手术触觉仿真系统,采用基于组态接触空间线性化投影技术和闵可夫斯基和的方法来计算两个交叉几何模型之间的穿透深度,通过引入线性化的六维空间距离度量来标识,平移运动和旋转运动的共同作用的最小分离距离,从而相似映射为反馈力及扭矩的输出结果,能够高效的应用于各种复杂度的几何模型交互力计算,满足触觉反馈设备刷新率的要求。通过引入可变虚拟刚度非线性优化触觉反馈系统设计,能够良好地实现稳定的刚体模型触觉仿真交互操作,实验结果表明,本文所提算法能够稳定有效的应用于医学领域的手术仿真。
0引言
虚拟现实(VR,VirtualReality)技术作为计算机图形学领域的重要研究分支,其独有的视觉呈现与虚拟仿真交互方式,使用户能够真实地置身于虚拟构造的三维场景中,感受高度沉浸的视觉漫游体验。通过引入虚实融合的多模态视觉、听觉、触觉、嗅觉等感知技术,实现与虚拟场景物体的动态交互,感受虚拟世界所带来的知识学习与视觉震撼,能够有效的应用于医学仿真、教育培训、游戏娱乐、军事模拟、装配制造、工业智能机器人等多个领域,为人类的生产生活提供广泛的智能化数字交互的便利,成为研究人员所关注的研究热点和计算机前沿科技。
在医疗培训仿真领域,引入虚拟现实技术能够有效提高实习医生的临床的理论知识学习与临床模拟手术的业务操作技能,避免了真实手术中技能不熟练所导致的医疗风险,缩短了培训的周期,感受虚拟手术仿真所带来的可试错的优势。借助触觉渲染(HapticRendering)的触觉感知技术,用户能够感受与虚拟物体交互的接触力觉,通过精确度量操作力输出来模拟实际操作环境,以此达到高度沉浸的手术仿真体验。然而由于目前触觉力反馈设备的硬件刷新率要求与复杂几何模型间碰撞检测的计算效率问题,触觉交互过程中所带来的振动、穿透等不稳定性因素影响,导致基于反馈力的虚拟交互并未大范围的适用于实际生活。
本文提出一种基于渗透深度计算与非线性优化的可变虚拟刚度优化的肝脏手术触觉仿真系统,能够高效的应用于各种复杂度的几何模型交互力计算,满足触觉反馈设备刷新率的要求。通过引入不同几何模型的可变虚拟刚度非线性优化算法,能够良好地实现稳定的刚体模型触觉仿真交互操作,有效的应用于医学领域的手术仿真。
1相关工作
虚拟现实技术需要设计并重建逼近真实环境的应用场景,在实际的虚拟仿真应用中需要借助外部显示设备来进行高沉浸感的漫游体验。在医学场景模型构建虚拟现实交互仿真领域[1],力反馈交互能够为漫游体验者带来真实的触觉反馈[2-3],被广泛的应用于医学虚拟仿真领域[4],如基于渗透深度计算的牙齿手术力触觉仿真[5]、柔性血管接入的手术仿真[6]、多通道协同的触觉交互手术仿真[7]、脊柱外科的手术仿真[8]触觉交互系统中的模型切割仿真与支持力反馈的沉浸式环境学习评价等技术的发展对于深度沉浸的手术仿真提供了大量的技术实现手段[9]。以上基于医学模型三维重建及触觉交互仿真技术的提出,为构建虚拟现实场景的手术交互提供了理论基础,为医学手术培训仿真提供了一种有效的应用场景解决方案。
设计触觉力反馈交互系统并确保其具备稳定交互的特性,是一项非常困难的任务。虚拟环境下,非被动离散时间几何模型(Non-passiveDiscrete-timeModel)的交互通常会存在大量的非线性问题。此外,基于触觉交互设备的弹性刚度、惯性阻尼、材质密度、运动冲量等问题在虚拟环境下都会带来触觉设备的震动和稳定性差等混乱的行为无序问题。因此,基于输出数据的优化和控制器信号的延迟响应对于触觉力反馈渲染系统的设计,具有非常重要的应用价值。
目前,研究人员主要还是关注触觉力反馈渲染系统有关输出信号控制和实际问题的数据优化等方面,从而提高触觉动态交互的稳定性和准确度。Miller等人[10]探索了虚拟环境下如何通过非线性的质量/弹性刚度/阻尼的控制与设计来确保触觉交互过程中震动的降低,以及在人机接口控制系统下其他的信号无序等行为。尤其是关注了有关局部弹性系统对于延迟响应所获得的非直觉性结果的计算。对于触觉输出数据的控制[11],KLee等人研究了一种自适应输出限制器的方法来确保触觉渲染的稳定性,其方法对于探索虚拟环境下柔性力可变形模型的触觉交互提供了可能,通过基于时间域被动理论(Time-domainPassivityTheorem)探索了变形模型累积阻抗的快速计算实现交互反射力输出。近期,许多研究人员也针对虚拟交互领域的不同应用,提出了触觉交互控制系统的许多解决方案[12],Rose等人提出了实验室环境下,主动经验对于改进触觉机械构件的反射动力系统理论;Yasuda等人提出了一种基于触觉的生物反馈(Biofeedback,BF)系统用户中风患者的平衡康复训练。对于多触觉设备的协同交互系统,Gil等人基于系统建模和稳定性分析,考虑了有关特征刚性模型、震动模式、关节设备等多种情况用于研究稳定关节模型触觉交互的可能性。
总的来说,触觉力反馈渲染系统的稳定性和鲁棒性对于虚拟现实环境下高度真实感的触觉响应非常重要,它直接关系着触觉渲染结果的用户体验。然而,目前的触觉渲染系统对于处理高复杂度、多自由度触觉渲染的应用中,不可避免的会遇到效率过低、内存占用过多、控制系统复杂、触觉渲染设备体验的不稳定性等问题。通过引入具备动力学控制优化学习理论的触觉力反馈渲染系统,充分地提高触觉渲染系统的刷新率,改进并增强触觉交互设备的稳定性。因此,我们将传统的触觉渲染系统,引入动态虚拟刚度控制,并提供高效低速阻尼响应分析,设计出具备高效动力学特性的稳定触觉渲染系统。
2主要算法实现流程
2.1穿透深度计算
在触觉渲染算法中,通常关注多边形模型之间的碰撞交互问题,高效精确的碰撞检测使用空间分离来处理低维线性时间内的几何基元碰撞检索查询。常用的两种算法包括基于补偿反馈(Penalty-based)和基于约束(ConstraintBased)的触觉渲染算法。其中基于补偿反馈的触觉渲染算法在交互力计算过程中广泛的采用穿透深度(PenetrationDepth,PD)的距离计算,相对于其他方法,其所需计算资源更少,能够保证稳定地力和扭矩仿真输出。穿透深度广泛应用于刚体模型动态仿真的应用研究,定义为将相互重叠的两个物体分开的最小距离,如下式:
A和B为相互重叠的两个多边形模型,其初始质心与世界坐标系保持初始化一致;C为其组态接触空间,用以表示模型A的非碰撞空间位置集合,B模型为静态模型。本文采用一种基于组态接触空间(ContactSpace)投影技术和闵可夫斯基和(Minkows
kiSum)的方法来计算两个交叉几何模型之间的广义渗透深度,通过引入线性化的六维空间距离度量来标识最小分离距离,在上式中以σ标识,该分离运动包含了平移运动和旋转运动的共同作用,从而相似映射为反馈力及扭矩的输出结果,其定义如下式:
式中x(q)表示一个点在模型A上的位置为q;[q1,q2,q3]是一个四元数的向量部分,表示位置q0和q1相对方向上的变化;[q4,q5,q6]表示位置q0和q1之间的相对位置变化;Ixx,Iyy和Izz是模型A的惯性常量矩阵的对角线,V是模型A的体积,主要算法流程如图1所示。
采用连续穿透深度计算方法进行虚拟触觉交互在具有空洞、尖角、薄壁等复杂几何拓扑结构的模型处理过程中具有很好的计算结果。此外,在局部接触空间投影计算过程中的线性化局部接触表面的重建过程中,采用连续的接触特征运动一致性的特点,能够很好的采用二次插值来近似线性的计算,为触觉反馈力的计算发挥着重要的作用。
2.2力反馈系统优化设计
目前,触觉力反馈渲染系统主要由触觉设备力输出信号控制、虚拟模型动态仿真、碰撞检测三个部分所组成。模型虚拟交互的碰撞响应结果直接作为输出信号反馈给触觉设备,由于在处理处理复杂几何拓扑结构模型的过程中,非线性的数据模型特征边界模糊、计算量大、刷新率不一致,很难产生连续且稳定的输出数据,对于复杂运动特征的虚拟交互,碰撞响应的结果不能够确保触觉渲染处理的稳定性。此外,对于处理复杂材质属性模型和可变形模型的触觉交互,无法获得直觉上的触觉反馈。对于触觉交互的数据特征信息,我们能够通过训练学习理论来对原有的触觉渲染系统进行改进,并结合连续穿透深度计算的理论支持和多核平行异步处理的架构,应对不同场景下触觉交互输出信号的动力学控制。
基于特征分析的数据收集与优化:采用基于约束的非线性动态优化理论,对触觉反馈输出信号进行特征的提取与分析,主要针对虚拟模型交互过程中大曲率、尖角区域、薄壁区域、局部多接触点、频繁震动区域等特征进行收集,通过特征分析对接触模型的反馈力进行优化输出。
几何拓扑模型优化方面,针对交互模型初始三角面片,寻求一个能够较好地拟合给定数据集的集合,通过简单的复合形K和一组定点V来构造几何模型M=(K,V)的能量函数:
k为一个弹性常量,随着求解过程逐渐收敛,其值会逐渐减少。
曲面曲率优化方面,采用非线性函数最优化方法来构造任何拓扑类型的复杂光滑曲面,由于所要设计的曲面需要通过插值几何约束给出,其中几何约束包括了顶点的位置、曲面法向量和曲面的曲率。通过使用非线性化最优化方法使得基于曲率变分的修正函数达到极小来到出最小的变分曲线(MVC)和最小变分曲面(MVS)。其中,曲面修正函数为法向曲率在主方向上变分的平方和积分,如下式:
对于其他基于震动、异常数据输出方面,可采用多元非线性优化的曲线拟合方案,通过过滤算法来去除噪声的异常数据,从而达到数据连续性输出方案。
本文力反馈系统优化集合以上所述策略,结合模型交互不同区域虚拟刚度和运动阻尼设计动力学控制模型:根据数据特征采集并优化的结果,针对虚拟交互的动态特点,分析并设计具有自适应虚拟刚度、局部低速阻尼限制、加速冲量控制单元的动力学触觉渲染系统。通过引用基于Hunt-Crossley非线性模型去除了关于KelvinVoight(KV)模型中的非连续性影响,Hunt-Crossley非线性模型良好的适用于具有虚拟刚度的环境下,并且对于物理属性不一致的柔性环境也能够达到良好的反馈力控制效果,通过采用基于位置的阻尼状态来构造局部接触点的动态力输出模型,以适应不同场景下触觉交互的动力学控制需求,如下式:
其中,n为[1～2]之间的一个无单位常量,用于反应不同材料和接触面的几何特性。从HC模型所得到的系数K,B并不是模型中的相似量,可以认为Kx和Bx是基于位置的弹性刚度和阻尼常量。
通过模型不同接触特征的分析结果,针对不同场景的反馈力输出动力学优化,我们分别来进行考虑:
对于非线性化的弹性模型,由于初始速度的影响,会带来弹性刚度系数的改变,尤其是对于具有柔性力的可变形模型而言,这个变化会非常的异常。其中ki为模型不同接触区域的优化可变虚拟刚度,PDg为计算的广义穿透深度。
基于以上的动力学数据分析,我们拟设计构造具有数据收集存储功能动力学触觉渲染系统,对虚拟刚度、高速阻尼、局部静态摩擦力进行控制优化输出,如图2所示。
3实验结果与分析
本文所述基于可变虚拟刚度优化的肝脏手术触觉仿真算法实验基于C++语言环境及OpenHaptics3.1触觉设备编译库,在Windows10X64,i7-8700K3.7GHz的环境进行测试。并且辅以3DSystemTouchX的桌面式六自由度触觉设备进行交互实验。为了证明实验系统的稳定性和正确性,我们采用两组不同复杂度的几何模型进行测试,如表1所示:
利用广义穿透深度计算获得模型交互仿真效果,如图3所示。图中红色物体分别为超声刀和手术刀与触觉设备手柄绑定,能够自由移动与静态肝脏模型进行碰撞交互,蓝色与青色物体为广义穿透深度计算结果。
利用广义穿透深度计算能够同时作用平移与旋转的共同运动,能够获得准确的分离距离及接触仿真结果,并且通过引入局部穿透深度的VirtualCoupling方法,有效的减少了局部接触点法向所造成的震动问题,但是对于不同模型区域虚拟刚度的触觉力输出,仍然无法达到在低刷新率条件下的稳定交互。通过引入可变刚度优化的触觉反馈系统,针对不同区域表面特性,采用虚拟刚度与运动阻尼控制器的作用,能够获得稳定的交互效果。
4结论
提出了一种基于变虚拟刚度和非线性优化的肝脏手术触觉仿真系统。采用基于构形接触空间的线性投影技术和Minkowski和方法计算了两个相交几何模型之间的侵彻深度。通过引入线性6维空间距离测度,识别出平动和转动刚体运动。它可以有效地计算各种复杂几何模型间的相互作用力,满足触觉反馈装置的刷新率要求。通过引入变虚刚度非线性优化的触觉反馈系统设计,可以很好地实现刚体模型触觉仿真的稳定交互操作。实验结果表明,该算法能够稳定有效地应用于医学领域的肝脏手术仿真。
然而,我们得到的渲染方法的性能在200到500fps之间,它没有达到理想的触觉更新率1000Hz。但是我们得到了稳定的触觉反馈。对于一些更复杂的模型,我们希望在以后的工作中找到一些好的技术来提高性能,比如变形模型、关节模型,同时考虑机器学习方法和神经网络来研究高级的触觉渲染计算优化方法。
引用
[1] Chheang V,Saalfeld P,Huber T,et al.An Interactive Dem- onstration of Collaborative VR for Laparoscopic Liver Sur- gery Training[C]//IEEE AIVR.IEEE,2019.
[2] Sung M Y,Kang B,Kim J,et al.Intelligent Haptic Virtual Simulation for Suture Surgery[J].International Journal of Advanced Computer Science and Applications,2020,11(2):55-59.
[3] Yixian Y,Takashima K,Tang A,et al.ZoomWalls:Dynamic Walls that Simulate Haptic Infrastructure for Room-scale VR World[C]// UIST '20:The 33rd Annual ACM Symposium on User Interface Software and Technology.ACM,2020.
[4]祁彬斌,朱学芳,范丽鹏.基于触觉交互的三维弹性物体形变仿真算法(英文)[J].系统仿真学报,2019,31(11):122-131.
[5] Yi L.,Sanyuan Z.,Xiuzi Y..Penalty-based haptic ren- dering technique on medicinal healthy dental detection [J].MultimediaTools & Applications,2016:1-11.
[6]冯安洋.血管介入手术中的柔性虚拟力触觉系统研究[J].南京信息工程大学学报,2014(6):524.
[7]刘冠阳,张玉茹,王瑜,等.双通道触觉交互系统中牙科手术工具之间动态交互的力觉仿真[J].系统仿真学报,2007(20):4711-4715.
[8]潘显纬.基于力反馈与沉浸式虚拟现实技术的脊柱外科手术训练系统研究[D].上海:中国人民解放军军医大学,2017.
[9]郑明钰,李家和,张晗,等.支持力反馈的沉浸式物理学习环境的构建[J].图学学报,2021,42(1):79-86.
[10] Miller B E,Colgate J E,Freeman R A.Guaranteed sta- bil ity of haptic systems with nonlinear virtual environments[J].IEEE Transactions on Robotics and Automation,2000,16(6):712-719.
[11] Lee K,Lee D Y.Adjusting Output-Limiter for Stable Haptic Rendering in Virtual Environments[J].IEEE Trans- actions on Control Systems Technology,2009,17(4):768-779. [12] Rose C G,Mcdonald C G,Clark J P,et al.Reflection on System Dynamics Principles Improves Student Performance in Haptic Paddle Labs[J].IEEE Transactions on Education,2018:1-8.
