[Article en anglais] OpenNMT-tf 2.0: a milestone in the OpenNMT project

En 2017, nous avons publié OpenNMT-tf, une boîte à outils open source pour la traduction automatique neuronale. Ce projet est intégré au modèle d'architecture de formation de SYSTRAN et joue un rôle clé dans la production du 2e génération de moteurs NMT.

OpenNMT-tf est basé sur FluxTenseur, une plateforme d'apprentissage automatique qui alimente les systèmes d'intelligence artificielle de nombreuses entreprises. Le 30 septembre, l'équipe de TensorFlow annoncé la sortie de TensorFlow 2.0, la première mise à jour majeure du framework :

TensorFlow 2.0 est piloté par la communauté qui nous dit qu'elle veut une plateforme facile à utiliser, à la fois flexible et puissante, et qui prend en charge le déploiement sur n'importe quelle plateforme. TensorFlow 2.0 fournit un écosystème complet d'outils pour les développeurs, les entreprises et les chercheurs qui veulent pousser la pointe de l'apprentissage automatique et créer des applications évolutives alimentées par le ML.

Le lendemain, les développeurs OpenNMT ont publié OpenNMT-tf 2.0. Vous trouverez ci-dessous quelques points forts de cette mise à jour et de ses implications pour les produits SYSTRAN.

Quoi de neuf ?

Les changements introduits par OpenNMT-tf 2.0 sont étroitement liés à TensorFlow 2.0, qui simplifie la définition et la formation des modèles d'apprentissage automatique. Fonctionnalités d'OpenNMT-tf 2.0 :

• Une mise en œuvre plus modulaire qui permet de former de nouvelles architectures de modèles pour améliorer la qualité et la vitesse de traduction
• Livraison plus rapide des nouveaux modèles grâce à une formation plus rapide sur plusieurs GPU, ce qui permet une meilleure utilisation des ressources matérielles disponibles
• Plus facile à utiliser grâce à un flux d'exécution revu et simplifié pour améliorer le débogage et la compréhension de la formation des modèles

Afin de publier une mise à jour en même temps que TensorFlow 2.0, les développeurs OpenNMT ont commencé à planifier cette transition début 2019. Ils ont participé à la définition et au développement de TensorFlow 2.0 en corrigeant les bugs et en contribuant à Addons TensorFlow, un référentiel de composants avancés pour les applications d'apprentissage automatique.

Cette mise à jour est une nouvelle étape pour OpenNMT. Lancé en 2016, le projet a joué un rôle central dans la définition du paysage actuel de la traduction automatique open source. Nous améliorons continuellement l'écosystème OpenNMT pour rendre la technologie plus accessible et plus puissante. OpenNMT-tf 2.0 suit cette tendance en intégrant les meilleures pratiques les plus récentes en matière de formation et de déploiement de modèles.

Guillaume Klein, développeur principal d'OpenNMT

Pour SYSTRAN, contribuer à OpenNMT-tf et le maintenir à jour est un bon investissement dans ce domaine en évolution rapide : il facilite la prise en charge du nouveau matériel pour une formation plus rapide et garantit que le projet peut bénéficier des dernières améliorations dans ce domaine.

Pourquoi ouvrir le code source

En 2016, après 50 ans d'ingénierie en source fermée, nous avons décidé de sauter de l'autre côté et de nous impliquer dans le développement en source ouverte. Nous avons commencé avec OpenNMT, qui a été de loin le plus populaire. Elle a été suivie de plusieurs modules supplémentaires de notre équipe de recherche. Le passage au développement open source n'a pas été une tâche facile. Il a fallu que les équipes de développement adoptent une dynamique open-source et convainquent l'équipe de vente que nous ne perdrions pas notre avantage concurrentiel.

Trois ans plus tard, les avantages pour nous et nos clients éclipseront clairement les désavantages et les craintes évidents, comme de voir d'autres entreprises adopter notre technologie pour construire des solutions concurrentes. Parmi les avantages inestimables figurent une meilleure qualité du code, une plus grande notoriété, un rythme plus rapide fixé par la communauté et la satisfaction de contribuer au champ plus vaste de l'application d'apprentissage profond qui change progressivement le monde dans lequel nous vivons