Data-driven computational biomechanics using deep neural networks : application to augmented surgery
Biomécanique computationnelle pilotée par les données à l'aide de réseaux neuronaux profonds : application à la chirurgie augmentée
Résumé
This thesis addresses the problem of soft tissue simulation for augmented reality applications in liver surgery assistance.In particular, we are implementing a non-rigid registration pipeline to generate interactive deformations of a patient-specific liver virtual representation.Traditional methods to compute realistic deformations cannot run at an interactive framerate (60 frames per second) with patient-specific data. Recently, researchers have used artificial neural networks to compute realistic deformations of resembling virtual objects in two milliseconds with accuracy and a relative stability.We propose using a similar approach but with a different artificial neural network architecture having equal precision while being ten times faster.With this proposition, we also present a new method to generate a dataset that minimizes user inputs but maintains control over the content using an analysis of the mechanical properties of the object.Furthermore, we show that it is possible to improve the reliability of the artificial neural network byusing its prediction as the initialization of the Newton-Rapshon algorithm used by the traditional methods.Using our previous contributions, we build a non-rigid registration pipeline using the optimal control framework and the backpropagation algorithm.This pipeline performs the computation multiple orders of magnitude faster than traditional methods at the cost of control reconstruction noise.Finally, we build a second non-rigid registration pipeline by implementing a fully differentiable soft-body physics engine that is slower than artificial neural networks but more flexible in the type of controls, reliable and precise.
Cette thèse aborde le problème de la simulation des tissus mous pour les applications de réalité augmentée dans l'assistance à la chirurgie du foie.En particulier, nous mettons en œuvre un pipeline de recalage non rigide pour générer des déformations interactives d'une représentation virtuelle du foie des patients.Les méthodes traditionnelles de calcul de déformations réalistes ne peuvent pas fonctionner à une fréquence interactive (60 images par seconde) avec des données spécifiques au patient.Récemment, des chercheurs ont utilisé des réseaux neuronaux artificiels pour calculer des déformations réalistes d'objets virtuels similaires en deux millisecondes avec précision et une relative stabilité.Nous proposons d'utiliser une approche similaire, utilisant cependant une architecture de réseau neuronal artificiel différente offrant une précision égale tout en étant dix fois plus rapide.Avec cette proposition, nous présentons également une nouvelle méthode pour générer un ensemble de données qui minimise les entrées de l'utilisateur tout en maintenant le contrôle sur le contenu grâce à une analyse des propriétés mécaniques de l'objet.En outre, nous montrons qu'il est possible d'améliorer la fiabilité du réseau neuronal artificiel en utilisant sa prédiction comme initialisation de l'algorithme de Newton-Rapshon utilisé par les méthodes traditionnelles.A l'aide de nos contributions précédentes, nous construisons un pipeline de recalage non rigide en utilisant le cadre du contrôle optimal et l'algorithme de rétropropagation.Ce pipeline effectue le calcul plusieurs ordres de grandeur plus rapidement que les méthodes traditionnelles au prix d'un bruit de reconstruction de contrôle.Enfin, nous construisons un second pipeline de recalage non rigide en mettant en œuvre un moteurphysique de corps mou entièrement différentiable qui est plus lent que les réseaux neuronaux artificiels mais plus flexible dans le type de contrôles, fiable et précis.
| Origine | Version validée par le jury (STAR) |
|---|