Vers l’imagerie augmentée: des modèles d’IA génératifs, façon DALL-E ou Midjourney, pourraient extrapoler de l’imagerie HD à partir de visuels de faible qualité
Deux chercheur.e.s membres de l’Institut intelligence et données (IID) de l’Université Laval, Flavie Lavoie-Cardinal (Faculté de médecine) et Christian Gagné (Faculté des sciences et de génie) publient l’article «Resolution Enhancement With A Task-Assisted GAN to Guide Optical Nanoscopy Image Analysis and Acquisition» dans Nature Machine Intelligence.
Nombreux sont celles et ceux qui ont expérimenté avec des outils de génération d’images basés sur l’intelligence artificielle (IA) comme Midjourney ou DALL-E – à partir d’une commande texte, ou en se basant sur d’autres visuels, ces modèles peuvent générer des quantités importantes de nouvelles images. Au-delà de leur aspect ludique, ce type de modèles dits «génératifs» pourraient représenter une petite révolution dans le domaine de la bioimagerie en permettant d’extrapoler des visuels à très haute résolution à partir d’images de plus faible qualité.
Cette avancée est le fruit des travaux d’une équipe de recherche majoritairement féminine de l’Université Laval, formée des professeurs Flavie Lavoie-Cardinal (Faculté de médecine) et Christian Gagné (Faculté des sciences et de génie), ainsi que des étudiants aux cycles supérieurs Catherine Bouchard, Theresa Wiesner, Andréanne Deschênes, Anthony Bilodeau et Benoît Turcotte. Dans un article récemment publié dans Nature Machine Intelligence, elles et ils font la démonstration que l’IA générative peut être utilisée pour «augmenter» les capacités d’un instrument moins précis et ainsi lui permettre d’avoir des performances équivalentes à celle d’outils de grande précision.
Il est possible de consulter l’article produit pour Nature Machine Intelligence ici.
Rendre possible l’impossible
La démonstration au cœur de l’article a été pilotée par l’étudiante au doctorat en génie électrique Catherine Bouchard.
À partir d’images obtenues sur des cellules fixées, elle a été en mesure de générer une imposante séquence à haute définition – une approche qui, auparavant, était impossible à réaliser. «Avec l’approche traditionnelle, il était impossible d’obtenir ce type de séquence: la microscopie optique, dite de super-résolution, utilise des laser de fortes intensités pour la production de visuels HD, ce qui peut rapidement endommager les échantillons vivants. L’approche développée permet d’utiliser une modalité à plus basse résolution, qui permet la préservation des cellules, et ensuite d’extrapoler la séquence haute définition à partir de ce visuel source», explique Christian Gagné.
«Cette avancée nous permet de réduire notre dépendance à de nouveaux échantillons, ou encore à l’usage à répétition d’appareils coûteux ou de procédures invasives, qu’on libère ainsi pour d’autres usages. On diminue donc tant le coût que l’impact», ajoute Flavie Lavoie-Cardinal.
Mettre des experts dans la boucle
Pour accomplir cet objectif, l’équipe de recherche a dû entraîner un modèle génératif: un processus qui, nécessairement, devait se faire en collaboration avec des experts, aptes à comprendre et interpréter les images produites.
«Ces experts ont guidé le processus. Ils ont annoté les images initiales, identifié les région ou les éléments d’intérêt, et soutenu les premiers pas du modèle génératif en validant les visuels augmentée qui ont été produits par l’IA – cela, jusqu’au moment où celle-ci a été apte à avancer par elle-même», explique Flavie Lavoie-Cardinal. «Le modèle d’apprentissage basé sur ces annotations est à la base du développement du modèle génératif, a permis de bien l’orienter et d’éviter qu’il hallucine ou invente des structures ne se retrouvant pas dans les vrais échantillons biologiques. Guidé par un expert, le modèle génère le segment d’image ou les éléments d’intérêt souhaités», ajoute Christian Gagné.
Cela permet de s’assurer que l’IA met l’emphase sur les caractéristiques qui sont d’intérêt pour l’expert, en mesure de soutenir l’analyse ou la prise de décision, et que ces éléments clefs soient bien visibles sur le visuel augmenté généré par le modèle.
Pour Flavie Lavoie-Cardinal, cette avancée viendra faciliter le travail d’analyse en bioimagerie : «Cela pourrait donner plus de flexibilité aux experts qui dépendent de l’imagerie dans leurs analyses. Ils seraient en mesure, selon leurs besoins, de substituer une prise d’image invasive par une méthode moins lourde, et d’utiliser notre modèle pour augmenter ensuite la qualité de l’image et éventuellement guider la prise de décision».
Des applications larges
Si la démonstration a été faite dans le domaine des neurosciences et de la microscopie cellulaire, la chercheuse estime que le procédé pourrait être applicable dans d’autres domaines ayant recours à l’imagerie biomédicale dans le futur– en autant qu’on puisse guider le réseau de neurones dans son entraînement. « Il y a désormais une preuve de concept démontrant que ce procédé-là marche sur des vraies données biologiques », conclut la chercheuse, qui est également titulaire de la Chaire de recherche du Canada en nanoscopie intelligence de la plasticité cellulaire.
Il est possible de consulter l’article produit pour Nature Machine Intelligence ici.
Restons en contact!
Vous souhaitez être informé des nouvelles et activités de l'IID? Abonnez-vous dès maintenant à notre infolettre mensuelle.