IA, Deep Learning, Data : Trop de battage médiatique ?

tech-logo

Un doctorant australien en intelligence artificielle a récemment publié sur LinkedIn ses recherches sur le SARS-CoV-2. Le message a récolté des milliers de vues, de likes et de partages.

Génie inconnu ou sur-médiatisation ?

Un post viral sur le COVID-19

Cette personne a réalisé un modèle d’apprentissage profond capable de prédire si un patient est infecté par le virus COVID-19 à partir de radiographies thoraciques avec une précision annoncée de 97,5%.

En l’état, le projet comprend:

  • Un réseau de neurones entraîné,
  • Du code applicatif conteneurisé,
  • Un dépôt GitHub traduit en 8 langues,
  • Une application web en cours de développement,
  • Une application mobile en cours de développement,
  • Une architecture cloud serverless pour héberger le modèle,
  • De nombreuses percées marketing.

Tout ce qui précède a été construit en une semaine environ.

Deep learning et diagnostic médical

Les réseaux convolutionnels profonds présentent des avantages potentiels pour le diagnostic et le traitement des maladies. De nombreuses publications scientifiques ont été postées ces dernières années [1], en voici quelques-unes:

  • En 2016, un groupe de chercheurs londoniens a publié une méthode pour diagnostiquer la rétinopathie diabétique avec une précision de 86%, le modèle a été entraîné sur 80 000 photographies de fond d’œil [2].
  • La même année, des chercheurs ougandais ont évalué les performances des réseaux convolutionnels sur des frottis sanguins microscopiques à l’aide d’un jeu de données constitué de 10 000 objets [3].
  • Un effort pour classer les nodules pulmonaires a été mené par deux chercheurs japonais sur 550 000 tomodensitogrammes [4].

Ici cependant, un rapide aperçu du dépôt de code dépeint au mieux un manque crucial de compétences dans les domaines du Deep Learning et de l’apprentissage automatique, et au pire une tentative vicieuse d’auto-promotion tout en capitalisant sur la pandémie.

Problèmes inhérents à cette l’étude

Il existe de nombreux problèmes inhérents à cette solution. Premièrement, la représentation neuronale latente sur ce type de réseau est très complexe: elle a besoin de beaucoup de données d’entraînement, comme décrit dans les études susmentionnées.

Mais pour l’instant, ce détecteur de COVID-19 a été entraîné sur…
50 images uniquement !

Fig. 1: Le modèle s’entraîne sur des radiographies X.
Source : NIH Chest X-ray dataset

Pour un réseau qui compte plus de 150 couches et 20 millions de neurones, c’est plus qu’absurde.

De plus, il existe un énorme biais sur le jeu de données. Les 50 images ne sont pas étiquetées en fonction de la présence ou non du virus, elles sont étiquetées en fonction des lésions pulmonaires dans les cas aigus de COVID-19. À moins que des poumons d’une personne ne soient déjà détruits par le virus, le modèle n’a aucun moyen de déceler une infection si cette personne effectue une radiographie.

Dans le cas d’une personne présentant des symptômes de pneumonie, la précision de ce modèle est indéterminée tant que ces symptômes ne sont pas aigus.


Enfin, le modèle utilise le ResNet-50 comme base de réseau pré-entraînté [5]. Bien qu’il s’agisse d’une approche habituelle pour la reconnaissance et la classification d’images, le ResNet a été pré-entraîné à l’aide de photos de différents objets du quotidien. Ainsi, ses couches internes sont usuellement activées avec des formes géométriques et des motifs colorés (2).

Fig. 2: Couches internes du ResNet-50 [6]
 
D’autres problèmes nous frappent lorsque nous examinons de plus près le dépôt de code. Les jeux de données d’entraînement, de validation et de test contiennent des images dupliquées; la majeure partie du programme est tirée d’un didacticiel trouvable sur internet, obscurci avec du code inutile…
 
Pourtant, ce post a récolté plus de 10 000 partages et mentions j’aime sur LinkedIn, de la part de personnes très certainement curieuses et intéressées par les avancées de l’IA. Bien que ce domaine soit en vogue et que de nombreux articles paraissent tous les jours, il est nécessaire de s’interroger sur les compétences que chacun fait miroiter.
 

 
 
La propagande en tant qu’instrument de concurrence commerciale a ouvert des opportunités à l’inventeur et a donné une grande impulsion au chercheur.
 
Edward L. Bernays
 
 
Le Deep Learning n’est pas une solution miracle. De nombreuses entreprises non préparées ont tenté d’internaliser leurs process data, puis ont vu leurs dépenses augmenter alors que rien ne passait en production.
 
Pourtant, les progrès de l’IA sont fulgurants, il est impossible de les ignorer complètement.
 
Cela ne signifie pas plonger directement dans la piscine et se débattre dans l’eau jusqu’à bout de souffle.
Il suffit d’une équipe solide, fiable, avec des compétences transversales en IA / ML, DataOps, architecture et développement.

Références