1. Needle Steering Force Model and Trajectory Planning
Reporter :
Pan Li
Supervisors:
Prof. Zhiyong Yang, A.P. Shan Jiang

2. Content 1 Needle Insertion Force Model 2
Trajectory Planning for insertion needle
Future Works 3

3. Experimental design Fig.2 The devices for force measuring experiments
首先我们先看两个实验平台，图一为双目视觉图像采集硬件软件系统，将摄像机分别固定在支架的上侧与左侧。将PVA水凝胶置于两镜头的视野中间，调整摄像机焦距与光圈使视野显示清晰。穿刺针通过穿刺模板进行穿刺实验以保证直线穿刺。采集软件可以实现对图像的单张采集，或者根据设定频率连续采集，并且可以通过录像来观测整个实验过程。
图二为穿刺力采集实验的硬件系统：
图像采集频率可达74帧/秒，实验中穿刺针进给速度最大值为20mm/s，不会产生较大运动模糊.摄像机既提供外部触发和同步功能，也可以通过采集卡总线进行同步，满足了多台摄像机同步拍摄的要求.
为精确测量穿刺针与软组织的相互作用力，选用ATI公司生产的Nano-17六维力/力矩传感器测量针尾处的作用力与力矩,针刺过程中，可同时获得 x、y 、z 轴三个方向上的力与力矩信号，然后利用传感器自身信号处理放大器及时将力学信号转换放大成多路模拟量信号.
Fig.2 The devices for force measuring experiments
High speed camera
Fig.1 Visual image acquisition hardware and software systems
Force sensor

4. Experimental procedure
The force acting on a needle is written as:
Deformation
Insertion
Extraction A B C D 2
Friction Force 3 1
Friction and Cutting Force
Stiffness Force
Material Relaxation
and Friction
为准确表达软组织与穿刺针之间的交互机理，将穿刺力分为：硬度力、摩擦力以及切割力。硬度力为软组织变形时穿刺针受力，摩擦力是穿刺针针轴与组织相互运动产生的摩擦阻力，切割力是针尖切割新组织以使穿刺针进针的作用力。因此穿刺力的表达式为：.我们通过一个具体的实验来分析针与组织交互力，将穿刺过程分为三个基本阶段，并对各阶段受力进行分析：我们分别从力-时间曲线及力-位移曲线来看：
1）变形阶段（A至B）：穿刺针与软组织接触时，软组织发生变形，此阶段当穿刺力达到穿刺力阈值时结束。在此阶段，穿刺力等于硬度力。直至到达峰值1点，此阶段结束
2）穿刺阶段（B至C）：穿刺针进入软组织内部。在此阶段，穿刺力为摩擦力与切割力的合力。直至到达2点，穿刺针刺头水凝胶。进而继续穿刺，此阶段切割终止，所受力只为摩擦力达到3点此阶段结束。
3）退针阶段（C至D）：穿刺针从软组织内部退出。此阶段穿刺力等于摩擦力。
Fig.3 Insertion force-time profile
Fig.4 Insertion force-deep profile
1) Deformation phase (from A to B): Tissue deformation occurs.
2) Insertion phase (from B to C): The needle penetrates into the soft tissue.
3) Extraction phase (from C to D): The needle is exacted from the soft tissue.

5. Needle Insertion Force Model Stiffness Force
The stiffness force corresponds to viscoelastic interaction and can be described as prepuncture force.
硬度力是在变形阶段由于软组织的粘弹性特性引起的.在选定的穿刺区域进行五次重复实验，得到硬度力-穿刺深度关系.在变形阶段，软组织发生较大变形，硬度力呈现明显的非线性.基于实验数据提出了两种典型的非线性力模型：指数型模型、多项式模型.分别采用上述两中模型建立硬度力模型，并对比了两种模型的拟合效果.结果表明，二次多项式模型可作为硬度力模型，并具有较高精度。然而上述模型的建立是基于特定的实验数据，并未考虑组织特性参数和穿刺针参数对模型的影响，因此对于不同的组织或者穿刺针都需要重新计算拟合参数，模型的适用性和应用性受到限制. 因此我们提出基于力学特性和几何参数的硬度力模型，将穿刺针与软组织的相互租用归结为弹性接触问题。
本文采用Sneddon积分方法解出了满足上述边界条件的弹性接触问题，得出进针位移 和硬度力 之间的关系；在接触边缘 是光滑连续的，所以，h=;可知：；上述计算公式均是在针尖为轴对称情况下得出，但是因为偏角针尖与圆锥针尖与水凝胶均为点接触，为简化计算公式，则针尖的表面形状函数为 fx=;
实验数据和硬度力模型对比如图2.17所示。对比图可以清晰表明由于材料的非线性特性，硬度力出现明显的非线性特性。基于五次重复实验，硬度力最大值的平均值为0.2101±0.0105N，软组织最大变形量为3.2370±0.1347mm。另外，标准差值较小也反应出PVA水凝胶内部结构的均匀性。
Fig.6 Error comparison between polynomial and exponential model
Fig.8 Stiffness model schematic diagram
Fig.7 Comparison between stiffness model and experimental data
Fig.5 Five experiments of force curve profile
polynomial model:
exponential function model:

6. Stiffness Force Strain energy density expression: Stiffness force：
Deformation tenser invariant:
Equivalent modulus:
Parameter acquisition:
Mooney-Rivlin model experiment:
Fig.9 Parameter acquisition experiment diagram of insertion needle
在硬度力模型中，Er表示等效模量，E1 E2分别为穿刺针及组织的杨氏模量。但由于无法直接获得穿刺针的材料特性参数，因此采用实验方法获取相应的特性参数。实验方法基于悬臂梁变形理论，将穿刺针用专用夹具固定到力学传感器上，在针轴某一位置施加0.1N的集中力（放置10g砝码），通过读取传感器力与力矩数值以及测量针尖处的挠度，依据挠曲线方程求解其杨氏模量，并重复五次相同实验求其平均值。图9为实验示意图。已知针的几何参数，惯性矩，得针尖挠度变形方程：。通过五次实验，穿刺针的杨氏模量为 =14.1±1.6GPa。
在材料的特性获得实验中，我们将本构模型简化为两参数模型，得到超弹性材料的应变能密度为。最终通过单轴拉伸试验得到水凝胶等效杨氏模量为：
Geometry of needle : mm mm
Optimization toolbox by ANSYS:
Moment of inertia:
= 116KPa
Deflection equation:
Five experiment result:
=14.1±1.6GPa

7. Friction Force
The friction force occurs along the length of the needle inside the tissue and is due to Coulomb friction, tissue adhesion and damping.
Measurement of friction force:
(a) Impale the soft tissue
摩擦力是由软组织粘附及阻尼作用而引起的，目前摩擦力建模主要通过修正现有的摩擦模型实现。在穿刺阶段，穿刺针进入软组织后，传感器数值为摩擦力与切割力的合力。我们提出三种假设结合穿刺实验分别获取摩擦力数值。a穿刺针穿透凝胶后，穿刺力急剧下降后维持一个恒定数值，即认为此时穿刺力等于摩擦力。b穿刺针返回过程中，认为穿刺力等于摩擦力 c在凝胶同一位置连续两次进行穿刺实验,第二次无切割作用，所受穿刺力即为摩擦力。最终通过实验数据对比，通过观察连续两次进针后水凝胶残留轨迹，发现两次实验轨迹完全一致，第二次穿刺并未对周边组织产生进一步破坏作用。由上述两点可以推定此假设具有合理性和可行性。
(b) Withdrawing of the needle
(c) Two consecutive insertions
Fig.10 Measurement of friction force

8. Friction Force Fig.11 Modified Winker foundation model sketch diagram
Normal force:
Contact area:
Coulomb friction
Fig.12 Comparison between force model and experimental data
Foundation modulus:
Friction force model:

9. Cutting Force Constant
切割力是穿刺针切割软组织以利于穿刺针进针的重要受力。 切割力可以通过在穿刺阶段合理与摩擦力做差获得。实验表明切割力在穿刺一特定的组织时，为一常数。
Constant
The cutting force ranges from 0.04N to 0.1N periodically, and the fluctuation can disappear when the insertion speed is equal to 3mm/s and the insertion forces of two consecutive insertions are parallel to each other.

10. Complete force model Comparison: (1) : (2) : (3) :
The overall shape of the model is coherent to the experimental results, although the fluctuations in the insertion phase make a perfect match impossible.
基于上述的三个分力模型，可以得到穿刺力模型的完整表达式为：。 实验数据与整体力模型数据进行了对比，二者具有很好的吻合度。尽管在穿刺阶段实验数据出现波动，整体力模型难以描述，但是模型的整体形状与实验数据完全一致。二者之间的误差可能是由模型建立时所作假设有关，如假设穿刺针在进针过程中未发生弯曲，但在实际中由于针尖形状不对称会引起穿刺针会发生较小弯曲。
Comparison:
(1) :
(2) :
(3) :

11. Trajectory Planning for insertion needle
Key technology ：
Avoiding vital tissues;
Implanting into tumor accurately;
Shorten trajectory path;
Reducing implant errors.
Bladder
Rectum
Urethra
Tumor
Pelvis
Prostate
由于人体组织的复杂性，术中如尿道神经筋膜及其他重要组织受到损伤是造成该手术后遗症的主要原因。如何避开重要组织，准确将粒子植入术前规划位置，并缩短轨迹的路径，减小植入误差是提高该手术治疗效果的关键。因此，术前需要穿刺针的轨迹规划，使之用最短的路径达到最准确的位置。

12. Artificial potential field G O P
3D trajectory planning result of the spiral pipe model
3D trajectory planning result of the concave curved surface model
3D trajectory planning result of local minimum
Relationship of force and potential value:
Attractive potential value and force:
Repulsive potential value and force:
Artificial potential field
Local minimum in concave curved surface model

13. Judgment Improved conjugate gradient method
APF
ICGA
Improved conjugate gradient method
Escaping from Local minimum
Optimization of trajectory planning
(a) , is selected as search direction angle
(b) , is selected as search direction angle
Judgment

14. Future works
Modeling interactive forces during needle insertion and experiment validation.
Modeling and simulation of tissue deformation.
Modeling needle deflection during insertion.
Trajectory planning considering tissue deformation and needle deflection.
Needle guidance and steering with experiment validation.
我的后期工作计划主要分为以下5个部分：1建立最优力学模型，并进行试验验证，2组织变形建模与仿真。3真变形建模与仿真。4基于组织变形及针挠曲的轨迹规划。5穿刺针引导与控制，并进行实验验证。其中第一部分及第四部分力学建模与轨迹规划已基本有初步的研究，下学期工作计划主要从这两部分开始。此外组织变性与柔性针挠曲在针刺软组织过程是木不可分的，因此将二者几何研究针与组织的交互建模与仿真。

15. Modeling interactive forces
Insertion
model
Mechanics model and insertion
Fig.1 Accurate robotic needle steering requires a model that predicts needle motion within the tissue. Both a stochastic motion planner (used pre- and/or intra-operatively) and an image-guided model-based feedback controller can use the mechanics-based model
Trajectory planning
Modeling interactive forces
Tissue deformation and needle deflection
接下来介绍一下我后期5部分工作计划的主要框架，及所处的研究阶段。精确地机器人控制柔性针需要一个精确地模型来预测针与组织的交互力及交互作用，同时在术前及术中需应用实时轨迹规划器来引导针的操纵。
Needle guidance and steering

16. ? Modeling interactive forces during needle insertion Stiffness force:
To symmetric needle tip:
Surface shape function :
Stiffness force:
(a) Symmetric needle tip
Simplified into:
第一个计划：建立最优力学模型，在前期建立硬度力模型期间，我们将针尖不对称的偏角针简化为了对称的圆锥阵或者棱锥针，因为偏角针尖与圆锥针尖与水凝胶均为点接触，为简化计算公式，我们将针尖的表面形状函数为 fx=;最终硬度力模型得以化简。然而，斜尖柔性针在横断面受力不均匀，易发生挠曲，此时，考虑柔性针挠曲对力学模型建立产生的误差影响，应进行研究不对称针尖上午表面形状函数，进而推导出更优的硬度力模型。
Whereas:
To asymmetric needle tip:
Surface shape function: ?
(b) Asymmetric (bevel) needle tip
Deduction:
Fig.2 Asymmetry of the bevel tip produces a resultant
transverse load which causes a flexible needle to naturally bend

17. Elastic deformation phase
Friction force: Coulomb friction
Evolutionary: {
Elastic deformation phase
Fig.3 Overall slip model
Friction force：
Partial slip phase
前期的摩擦力，为了简便，考虑为了简单的库伦摩擦力，并且考虑的是整体滑移模型下的库伦摩擦力。整体滑移模型认为摩擦面相互摩擦时，摩擦面上的应力、应变场分布是均匀
的，在外力的作用下，整个接触面上的各点的变形是相同的，如图 2-1(a)所示。因此，在两接触面发生宏观相对位移的临界点，接触面上的各点或者同时保持弹性变形状态，或者同时发生宏观的相对滑移。这样，可以将整个接触摩擦面作为一个点来对待，用这个点来代表整个摩擦面。
但是实验证明整体滑移模型在接触面正压力比较小的时候，是比较符合实际情况的。但是对于接触面正压力比较大且分布不均匀的时候，问题变得比较复杂，整体滑移模型就不能准确反映实际情况，需要发展一种新的模型，即局部滑移模型。与整体滑移模型不同的是，局部滑移模型将摩擦面间的滑移分成如下三个不同的阶段。
弹性变形阶段在切向力比较小的情况下，整个接触面还没有发生宏观滑移，但是接触面之间已经有弹性变形了上图中 q 是压力分布密度。摩擦面间的弹性变形是当地材料和应力的函数，
用 εl表示。摩擦面间的局部剪切弹性系数用 Kl(r)表示。两摩擦面间的摩擦力是摩擦面各处的切向弹性应力在整个面 S 上的积分，即
随着切向力增大，摩擦面之间的变形便由弹性变形阶段过渡到了部分滑移阶
段，即虽然接触面间没有发生整体的滑移，但是有一部分接触面之间已发生了相
互滑移，如图 2-3(a)所示。在弹性变形部分，摩擦力是切向弹性应力在 S 1
上的积
分；在滑移部分，摩擦力是摩擦切向应力在区域 S 2
上的积分。整个摩擦面上的
摩擦力是弹性变形部分和滑移部分摩擦力的和，如图 2-3(b)所示。
全部滑移阶段
当切向力增大到一定程度后，在部分滑移阶段的弹性变形区域也发生了相对
的滑移，此时整个接触面开始全部的滑移，如图 2-4 所示。
Friction force：
Entire slip phase
Fig.4 Partial slip model

18. Friction force: Stribeck friction model: LuGre friction model:
Fig.6 LuGre friction model
: the damping coefficient associated with
LuGre friction model:
Where v is the contact velocity of each differential element and L is the incision length; and
:stiffness coefficient of the microscopic deformations
: the viscous relative damping
and are the normalized coulomb and stiction
Fig.5 Stribeck model
Fig.7 Karnopp model
Karnopp friction model:
考虑速度的动摩擦等。可以考虑的摩擦模型主要由三个：Stribeck摩擦模型是将静摩擦与粘滞摩擦之间用过度曲线平滑链接，实现摩擦的连续性。
Lugre模型：基于刚毛模型的提出，引入虚拟微变量z,构造stribeck负斜率段，完整描述了摩擦的动态过程。能够确切的表达摩擦过程中速度对摩擦力所产生的影响。
Karnopp模型，针对零速附近检测存在的非连续性和不确定性，构造微笑粘性区间，降低速度的检测要求。

19. Modeling needle deflection during insertion
Modeling and simulation of needle insertion into soft tissue
Rayleigh-Ritz: energy
Fig.8 Distributed compressive load acting on a needle shaft as it interacts with an elastic medium.
Sum of energy:
Needle-tissue interaction energy:
对针与组织交互模型建模与仿真目前所查资料较少，有一个初步的了解，后期工作计划将分析柔性针挠曲变形。利用能量法，计算针弯曲能量以及针与组织交互能量，并根据穿刺力，横向负载，轴向负载以及刺破弹性介质所做总攻来分析求解针挠尖的挠度以及针轴的变形数据。
Insertion force work:
Transverse tip load:
Axial tip load:
Fig.9 Free-body diagram of the forces acting on the needle tip as it interacts with the elastic medium.
Rupture the elastic medium:

20. Trajectory planning considering tissue deformation and needle deflection
Considering needle deflection
Neglecting tissue deformation
Fig.10 Artificial potential field
分别用人工势能场法和数值模拟计算方法以及运动学反解方法求得的穿刺针轨迹，但这三种情况只是考虑了柔性的挠曲，未考虑组织变形，后期将从二者结合出发双向考虑，求得最优的轨迹路线。此外，这三种方法均在数学模型条件下进行的轨迹规划模拟，之后应考虑完成数学模型到生理解剖模型的进化，在生理解剖模型的前提下进行轨迹规划模拟。
(c) needle deflection and local
changes in needle orientation.
(a)Tissue deformation
(b) trajectory changes
mathematic(al) model
physiological anatomical model
Fig.11 Numerical analysis method
Fig.12 Inverse Kinematics solution

21. Needle guidance and steering with experiment validation
(a) Basic concept
(b)Subdivided sampling time for higher update rate of the MPC-based feedback controller.
Fig.13. Concept diagram of a model predictive controller.
Input constraints:
State constraints:
Model predictive control:
Discrete control inputs
Linearized tracking error model
Fig. 14. The reference flexible probe, the measured real flexible probe, and their local coordinates.

22. Thank you