NVIDIA a publié en open source Medical Physics Simulation, un nouvel environnement accéléré par GPU conçu pour développer et évaluer des robots médicaux avant leur test sur dispositifs physiques, tissus réels ou patients. Intégré dans Isaac for Healthcare, ce système permet de simuler anatomies, cathéters, guides, friction, contact avec les tissus et images médicales, tout en exécutant des milliers d’environnements en parallèle pour identifier des défaillances difficiles à reproduire en laboratoire.

Les points forts de NVIDIA Medical Physics Simulation en 20 secondes

• Un environnement open source combinant simulation physique, capteurs médicaux et apprentissage robotique.
• NVIDIA affirme avoir exécuté 8 192 scénarios en parallèle, réduisant un processus de formation de plus de cinq heures à moins de deux minutes.
• Des entreprises comme CMR Surgical, Johnson & Johnson MedTech, XCath et Medtronic étudient ou utilisent déjà ses composants.
• La simulation peut réduire le nombre de tests physiques, mais ne remplace pas la validation clinique ou réglementaire.

Concevoir un robot capable d’intervenir à l’intérieur du corps humain présente des défis que l’on ne retrouve pas en ligne de production. L’anatomie varie d’un patient à l’autre, les tissus se déforment, les instruments flexibles se courbent, et les images obtenues lors d’une intervention peuvent contenir du bruit, des zones occultées ou des données incomplètes.

À cela s’ajoute un problème de données : les cas rares, erreurs de navigation ou situations extrêmes sont précisément ceux qui intéressent le plus pour entraîner un système, mais il est impossible de les provoquer délibérément lors d’une opération pour observer la réponse d’une machine.

La proposition de NVIDIA consiste à transférer une partie de cet apprentissage vers un environnement virtuel. Medical Physics Simulation rassemble modèles anatomiques, comportement des dispositifs médicaux, capteurs simulés et outils d’apprentissage par renforcement dans une infrastructure que les développeurs peuvent inspecter, modifier et adapter.

Anatomie, instruments et images dans un environnement unifié

Ce nouvel environnement fait partie de NVIDIA Isaac for Healthcare, la plateforme de l’entreprise pour la simulation, la formation et le déploiement de la robotique médicale. Il s’appuie sur CUDA et des technologies telles que NVIDIA Warp, Newton, Isaac Lab et Cosmos.

Son objectif n’est pas seulement de générer une représentation visuelle de la salle d’opération. La simulation doit calculer le comportement d’un instrument lors du contact avec une structure anatomique, la résistance qu’il rencontre, la courbure, et quelles informations le robot recevrait via ses capteurs.

Un flux de référence connecte une anatomy vasculaire avec des cathéters et guides flexibles, des images rayons X simulées, et un système d’apprentissage par renforcement. L’agent peut pratiquer la navigation dans les vaisseaux, répéter la procédure avec différentes anatomies et recevoir une pénalité en cas d’adoption d’un parcours inapproprié.

L’architecture est modulaire, et NVIDIA prévoit de l’étendre à d’autres dispositifs, capteurs et spécialités. Un fabricant pourrait l’utiliser pour étudier les instruments endovasculaires, un autre pour l’adapter à la chirurgie robotique, à l’échographie autonome ou à la navigation endoluminale.

Medical Physics Simulation combine deux formes de représentation de l’environnement : la simulation classique, appliquant des règles physiques connues pour le mouvement, le contact et la friction ; et une simulation générative via Cosmos-H Dreams, qui tente de reproduire l’évolution visuelle d’une scène à partir de modèles appris à partir de données procédurales.

Cette combinaison est utile lorsque une équation physique décrit bien le comportement d’un instrument, mais ne suffit pas à reproduire toutes les variations visuelles qu’une caméra pourrait percevoir lors d’une intervention.

8 192 environnements en parallèle pour accélérer l’apprentissage

L’un des grands avantages de l’accélération par GPU est la possibilité d’exécuter de nombreuses simulations simultanément.

NVIDIA affirme avoir testé jusqu’à 8 192 environnements de formation robotique en parallèle. Dans le scénario présenté, une tâche qui nécessitait plus de cinq heures a été accomplie en moins de deux minutes grâce à la simulation native sur GPU.

Ce chiffre concerne un cas particulier et ne garantit pas un même résultat pour tous les robots médicaux. La complexité anatomique, la précision du modèle physique, le matériel utilisé et l’algorithme d’apprentissage influenceront toujours le résultat.

Cependant, le parallélisme modifie la portée du processus. Au lieu d’entraîner un robot avec une seule anatomie et une seule séquence, une équipe peut simultanément faire varier le diamètre d’un vaisseau, la rigidité de l’instrument, la position de départ, la friction ou la qualité d’image.

Ce mode, appelé randomisation de domaine, a pour but d’empêcher le système de simplement mémoriser un environnement virtuel parfait, afin de le préparer à faire face à des situations variées dans le monde réel.

La simulation permet également d’introduire des défaillances peu courantes : déviation d’un instrument, image partiellement bloquée, anatomie particulièrement complexe. Identifier ces comportements avant la fabrication de prototypes physiques peut réduire temps et coûts, à condition que la simulation reproduise fidèlement le comportement physique.

Cela demeure un défi majeur en robotique : la divergence entre la simulation et la réalité, dite sim-to-real. Un agent pourra fonctionner parfaitement dans des milliers d’essais virtuels, mais échouera en rencontrant des propriétés des tissus, capteurs ou instruments non modélisées par le simulateur.

Open source pour un secteur nécessitant la traçabilité

NVIDIA présente Medical Physics Simulation comme le premier environnement open source de simulation de physique médicale accélérée par GPU. Son code ouvert permet d’examiner la manière dont les données sont générées, d’ajuster les paramètres et de reproduire des expériences de façon autonome.

Cette transparence est particulièrement cruciale dans le domaine de la santé. Les développeurs doivent comprendre quels sont les présupposés du simulateur, quelles anatomies sont prises en compte et dans quelles situations ses résultats restent fiables.

Ouvrir le code n’implique pas pour autant une indépendance totale vis-à-vis du fournisseur. Medical Physics Simulation repose sur CUDA et s’intègre avec d’autres composants de la plateforme NVIDIA, ce qui signifie que ses performances maximales dépendront probablement des GPU et outils de la société.

Pour les fabricants, cela offre une base commune plutôt que de devoir concevoir un simulateur différent pour chaque robot ou procédure. Ils peuvent également garder leurs modèles d’appareils, anatomies et données privés tout en utilisant cette infrastructure ouverte.

L’accès au code et à certains poids de modèles facilite la reproductibilité des résultats et la documentation technique. Cependant, une simulation ne constitue pas à elle seule une preuve clinique.

Les tests in silico peuvent faire partie d’un dossier réglementaire et aider à justifier des décisions de conception, mais les organismes de régulation évaluent la validité du modèle, ses limites, et sa corrélation avec des données physiques ou cliniques. La simulation ne remplace pas les essais en laboratoire, la validation du dispositif, la gestion des risques ou les études sur les patients, le cas échéant.

CMR Surgical et Johnson & Johnson en testent l’approche

Plusieurs entreprises de technologie médicale utilisent déjà des composants d’Isaac for Healthcare ou étudient le nouvel environnement.

CMR Surgical, en collaboration avec Cambridge Consultants, exploite Cosmos-H Dreams pour modéliser les interactions avec les tissus mous et générer des simulations adaptées à différents patients. CMR a également fourni près de 500 heures de données cliniques anonymisées de son système robotique Versius au projet open source Open-H Embodiment.

Selon NVIDIA, ces données incluent des procédures telles que cholécystectomies, prostatectomies, réparations de hernies et hystérectomies. Leur utilisation doit respecter les protocoles d’anonymisation, de consentement et de gouvernance, surtout en ce qui concerne les vidéos cliniques.

Johnson & Johnson MedTech utilise Medical Physics Simulation et un modèle basé sur Cosmos pour créer des jumeaux numériques de MONARCH, sa plateforme endoluminale pour l’urologie. L’objectif est de représenter des anatomies complexes et des scénarios liés aux calculs rénaux.

XCath exploite la simulation pour entraîner des politiques d’autonomie endovasculaire, tandis que Inner Logic travaille avec des données synthétiques et la validation de la mécanique des dispositifs. Medtronic Structural Heart explore également ses applications avec des images de rayons X simulées pour étudier la navigation des cathéters.

Ces collaborations ne signifient pas que les systèmes seront autonomes, approuvés pour un usage clinique ou intégrés immédiatement dans les hôpitaux. Il s’agit de projets en développement, en recherche ou en validation, signalés par NVIDIA et ses partenaires.

L’ouverture de Medical Physics Simulation indique une orientation vers davantage de prototypes numériques, de données synthétiques et de formations avant intervention réelle. La véritable valeur résidera dans la capacité à prévoir avec précision les défaillances en dehors de la simulation, tout en respectant la traçabilité exigée en médecine.

Foire aux questions

Qu’est-ce que NVIDIA Medical Physics Simulation ?

C’est un environnement open source, accéléré par GPU, destiné à simuler anatomie, instruments, capteurs et interactions physiques lors du développement de robots médicaux. Il fait partie de NVIDIA Isaac for Healthcare.

Peut-il être utilisé pour entraîner des robots chirurgicaux ?

Oui. Il permet de créer des scénarios pour la navigation endovasculaire, la chirurgie robotique et d’autres procédures, en intégrant l’apprentissage par renforcement.

La simulation remplace-t-elle les essais avec dispositifs et patients ?

Non. Elle peut réduire le nombre de prototypes, identifier des défaillances et fournir une preuve technique, mais ne substitue pas les tests physiques, la validation clinique ou les processus réglementaires.

Est-elle entièrement indépendante du matériel NVIDIA ?

Le code est open source, mais l’environnement est accéléré via CUDA et intégré aux technologies NVIDIA. Son fonctionnement optimal dépend donc probablement des GPU et outils de la société.

Source : blogs.nvidia