La réalité augmentée s’invite dans l’industrie

La production de machines électriques en Suisse fait face à une situation difficile depuis quelques années. La compétitivité de notre industrie nationale face à une concurrence mondiale accrue a été rendue encore plus compliquée par l’abandon du taux plancher en 2015. L’Industrie 4.0, un terme utilisé pour désigner la 4^e révolution industrielle, serait, selon certains grands dirigeants, la nouvelle arme pour réindustrialiser les pays «à coûts élevés».

Lorsque l’on parle d’Industrie 4.0, on fait souvent allusion à l’Internet des objets (IoT, Internet of Things) dans une approche selon laquelle les différentes machines et/ou robots d’un outil de production sont à même de communiquer entre eux. Cette communication permet d’optimiser les flux de production et de réduire les temps morts ou le besoin d’une intervention immédiate d’un opérateur. On peut imaginer un exemple simple avec deux machines de remplissage, chacune équipée de deux liquides différents. Dans le cas où l’une des deux machines viendrait à manquer de l’un des deux liquides, disons de type A, elle pourrait informer l’autre machine qui prendrait alors le relais et remplirait toutes les unités requérant le liquide de type A, tandis que la première machine ne prendrait plus que les unités utilisant le liquide de type B.

Même si cet exemple est parlant, il ne couvre pas, bien entendu, tous les cas de figure et l’Industrie 4.0 ne se limite pas qu’à cela. L’Internet des objets peut avoir des applications bien plus vastes, les objets communicants n’étant pas uniquement les machines de production, mais également les appareils en cours de fabrication ou les chariots de composants, pour ne citer que quelques exemples. Lorsque l’on couple l’Internet des objets avec des nouvelles technologies comme la réalité augmentée (RA), les possibilités deviennent encore bien plus vastes.

Une centaine de types de transformateurs différents

Les lignes de production des transformateurs de traction d’ABB, à Genève, sont construites autour du principe du «one-piece flow» (figure 1). Ce concept de production, adapté du modèle automobile, impose un temps de passage fixe de la machine en production au travers d’un certain nombre de postes de travail appelés «takts». Au cours de son cycle de production, un transformateur de traction parcourt ainsi 14 takts différents.

En production one-piece flow, le temps de passage est donc imposé, quel que soit le type et le modèle de transformateur. Or, les transformateurs de traction (figure 2) sont des produits qui sont entièrement personnalisés. On estime à plus d’une centaine le nombre de modèles différents produits à ce jour, pour un parc de près de 40'000 unités en service. Il est fréquent d’avoir, au cours de la même journée, quatre ou cinq modèles différents en production.

Dans chacun des takts, les opérateurs doivent effectuer des tâches bien définies qui dépendent essentiellement de deux choses: le modèle du transformateur et le takt dans lequel il se trouve. Ils sont donc amenés à travailler sur plusieurs types de transformateurs différents au cours de la même journée. Des procédures de montage dédiées sont bien entendu à disposition. Aujourd’hui, au format papier, ces procédures décrivent les opérations sous formes textuelle et schématique (dans le meilleur des cas) ou sont parfois simplement des mises en plan. Les courbes d’apprentissage sont donc relativement longues et la durée de travail dépend de l’expérience acquise par les opérateurs sur les différentes conceptions.

Affichage automatique des instructions

L’apport de la RA est assez immédiat. Le fait de fournir une assistance visuelle aux opérateurs, étape par étape, leur permet d’éviter d’avoir recours aux documents papier qui nécessitent toujours une part d’interprétation. La problématique de la gestion des révisions des documents est complètement évitée et les courbes d’apprentissages sont nettement raccourcies.

Pour que la solution fonctionne, il faut notamment que le numéro du takt et l’identité du transformateur en production soient automatiquement reconnus lorsque l’opérateur commence son travail. Un certain nombre de technologies permettent cela, du vénérable code barre au tag RFID. Cependant, une solution très intéressante pour l’environnement industriel considéré ici est la technologie des «beacons». Les beacons sont des appareils Bluetooth low energy (BLE) ou Bluetooth 4.0. Ces petits boîtiers, équipés d’une batterie, permettent la détection de proximité: en fonction de l’énergie du signal Bluetooth, il est possible de détecter quand un beacon entre dans un certain périmètre. Ces dispositifs, qui ont chacun un identifiant unique, permettent de savoir à proximité immédiate de quel modèle de transformateur et dans quel takt l’opérateur se trouve. Le principal avantage du beacon par rapport aux autres solutions tient au fait qu’aucune opération manuelle de lecture n’est nécessaire: le simple fait de rentrer dans le périmètre du beacon déclenche une série de notifications, par exemple pour récupérer des instructions visuelles de montage RA.

Les mains libres

Un autre prérequis important pour l’application de ces technologies dans un environnement de production est que les opérateurs aient les mains libres. Il existe plusieurs méthodes pour afficher les assistances visuelles et toutes ne présentent pas les mêmes caractéristiques.

La tablette tactile est certainement la solution la plus simple. Les modèles actuels sont suffisamment puissants pour afficher des rendus 3D et les superposer sur les images prises par la caméra en temps réel. Néanmoins, une tablette occupe les mains de l’opérateur qui doit alors en permanence la poser et la reprendre. Il existe d’autres solutions comme les lunettes de réalité augmentée qui libèrent complètement les mains de leurs utilisateurs. Elles ne sont toutefois actuellement pas encore à un niveau de maturité technique suffisant pour garantir un confort d’utilisation durant plusieurs heures d’affilée dans un environnement de production industriel.

Quoi qu’il en soit, bien que les technologies de visualisation aient déjà atteint un certain degré de maturité, la mise en œuvre des solutions d’assistance visuelle par réalité augmentée n’est pas aussi simple qu’elle peut paraître au premier abord. Des domaines tels que, par exemple, l’identification exacte de la pièce, et ce, indépendamment de l’angle de vue et de la perspective, sont encore relativement nouveaux.

Collaboration HES - industrie

En vue d’approfondir la compréhension et d’appréhender les limitations des technologies de réalité augmentée, une collaboration entre la Haute école spécialisée de Suisse occidentale HES-SO (hepia, HE-Arc, HEIA-FR) et ABB a été mise en place au printemps 2017. L’objectif de ce travail consiste à réaliser des démonstrateurs qui répondent aux attentes industrielles et qui permettent de mettre en évidence les difficultés techniques qui seront rencontrées en cas de déploiement à grande échelle de ce type de solutions. L’objectif du projet est avant tout l’assistance pour une opération de maintenance (remplacement de pièce) en conditions réelles, mais il s’applique également à la production. Le fait d’intervenir sur une machine en maintenance est plus compliqué, car les éclairages peuvent être très variés et les pièces délavées ou recouvertes d’une couche de saleté assez importante.

Ce projet pluridisciplinaire abordera les différents aspects liés à la procédure de création de supports visuels, l’étude de systèmes de détection de pièces et les méthodes de visualisation de l’information. Les supports visuels destinés à l’opérateur concernent toutes les informations qui doivent être affichées pour faciliter le travail de montage. Il y a premièrement les informations à propos de la pièce qui doit être montée, il est possible d’imaginer que le système la reconnaisse automatiquement, par exemple sur un chariot parmi d’autres pièces. Il est aussi envisageable que l’opérateur reçoive une image 3D informatisée qu’il puisse manipuler virtuellement et qui l’aide à identifier correctement la pièce parmi les autres. Il faut ensuite aussi indiquer où et dans quel sens celle-ci doit être montée, par exemple en utilisant une vue 3D animée et superposée dans le champ de vision à l’emplacement exact sur le transformateur réel (figure 3).

Projeter les informations aux endroits adéquats

La localisation automatique des pièces du transformateur de traction est une étape très importante. Les informations concernant le démontage et le montage des pièces doivent être affichées avec précision sur ou dans le voisinage des parties concernées, quelle que soit la position de l’opérateur portant le système RA. Pour résoudre ce problème non trivial, la reconnaissance des pièces du transformateur a été réduite en un problème de recalage de deux surfaces 3D: la première correspondant à la région d’intérêt du transformateur (zone où l’opération de maintenance doit avoir lieu) acquise par une caméra de profondeur et la seconde correspondant au modèle CAO de la même région d’intérêt.

Un algorithme de recalage de surfaces 3D est ensuite utilisé pour calculer automatiquement la transformation géométrique permettant de superposer le modèle CAO à la surface du transformateur scannée par la caméra de profondeur. Une fois cette transformation connue, il suffit de l’utiliser pour projeter les informations d’aide à la maintenance aux endroits désirés, le modèle CAO servant de référence dans la localisation des pièces (figure 4a).

La précision de la localisation des pièces du transformateur selon la technique de recalage décrite ci-dessus dépend en grande partie du type de caméra de profondeur utilisé. En effet, les caméras actuellement disponibles sur le marché sont basées principalement sur trois technologies: la stéréoscopie, la lumière structurée et la technologie «temps de vol» (Time of Flight). Un des principaux critères ayant influencé le choix de la caméra du système développé dans ce projet est la luminosité ambiante de l’environnement de travail de l’opérateur. Dans un environnement sombre, la technologie par stéréoscopie (basée sur deux caméras RGB) se révèle être la moins performante. Dans un environnement à forte luminosité, c’est la technologie de lumière structurée qui présente les performances les plus basses.

Comme le système d’aide à la maintenance développé dans ce projet doit être le moins dépendant possible de la luminosité ambiante, une caméra de profondeur à technologie temps de vol a été sélectionnée. En effet, cette technologie est basée sur l’émission d’un signal infrarouge modulé réfléchi sur l’objet cible (ici le transformateur) et détecté par la caméra. La mesure du retard (temps de vol) entre le signal émis et détecté permet de calculer la distance à la cible comme le ferait un radar. La modulation du signal infrarouge permet de le distinguer de la luminosité ambiante (figure 4b). De plus, des essais réalisés à la HES-SO ont montré que cette technologie de détermination de la profondeur était la moins perturbée par l’état de surface du transformateur sélectionné pour les tests de faisabilité du projet.

Le confort visuel avant tout

Comme discuté brièvement plus haut, il existe différentes techniques de visualisation, mais qui ne sont aujourd’hui pas à un état de maturité suffisant pour permettre une utilisation de longue durée. Champ de vision restreint, contraste insuffisant et différence de distance focale entre l’affichage des informations et la position des mains exercent une fatigue oculaire assez importante. C’est pourquoi hepia développe et teste dans le cadre de cette collaboration de nouveaux systèmes RA adaptés aux opérations de maintenance.

Une de ces solutions en cours de réalisation est basée sur le principe de la réalité augmentée spatiale. Celui-ci consiste en l’association d’un pico-projecteur (beamer miniaturisé) laser avec une caméra de profondeur à temps de vol. Avec cette technologie de projection, basée sur l’émission de faisceaux lasers RGB, la luminosité et le contraste des images projetées sont supérieurs à ceux obtenus par des systèmes conventionnels. De plus, ces images restent focalisées quelle que soit la distance de projection.

Ce système de réalité augmentée spatiale a l’avantage de projeter les informations utiles à l’opérateur directement sur le transformateur, évitant la fatigue oculaire ressentie lors de l’utilisation de dispositifs de type lunettes. De plus, le système peut être librement déplacé (posé sur un support fixe ou sur l’opérateur) et les informations projetées peuvent être vues par plusieurs personnes simultanément. Différents tests seront réalisés afin de déterminer, entre autres, les couleurs les mieux perçues par l’opérateur pour la projection des informations en fonction des états de surface du transformateur (saleté, vieillissement, brillance, etc.).

Des solutions prometteuses pour l’avenir

L’avenir de l’industrie des machines en Suisse dépend en grande partie de sa capacité à rester compétitive dans un contexte global et dans des environnements incertains. Un passage rapide vers les technologies offertes par l’Industrie 4.0 est un enjeu primordial. En plus de pouvoir améliorer sa productivité à l’aide de robots aux capacités de plus en plus évoluées, la réalité augmentée permettra aussi d’améliorer l’efficacité et la qualité des tâches non répétitives qui ne peuvent aujourd’hui être effectuées que par des employés qualifiés.

La compréhension des outils informatiques, des flux de traitements des informations, des solutions de détection de pièces ainsi que des appareils et méthodes de visualisation dans le domaine des environnements mixtes est un enjeu stratégique qui peut s’avérer décisif. La collaboration entre université et industrie, mais également au sein du tissu industriel, revêt une importance particulière, car les compétences requises sont très diversifiées. La Suisse et son industrie peuvent se positionner comme des précurseurs dans ce domaine, à condition de s’atteler à la tâche dès aujourd’hui.

Les chercheurs de la HES-SO impliqués dans ce projet sont Stéphane Bourquin, Valérie Duay et Michel Lauria d’hepia, Stéphane Gobron de la HE-Arc et Stefano Carrino de la HEIA-FR.