Anand Chakravarty est un SDET sur l'équipe de traduction automatique pour les 2,5 dernières années, a été chez Microsoft depuis 8 ans, et a été le premier testeur de produits sur l'équipe de MT (et «toujours s'amuser avec les tests MT:-)»).  Le blog des invités d'aujourd'hui est de tester la qualité de traduction. 

—————————————————————————————————————

Un des premiers points qui vient à l'esprit, quand on parle de vérifier la qualité d'un système de traduction, c'est comment mesurez-vous la qualité, ou pour être précis, l'exactitude de la traduction? Traduire entre les langues humaines à l'aide d'ordinateurs est un domaine qui a presque un demi-siècle. La zone est assez difficile que même les meilleurs systèmes de traduction automatique actuellement disponibles ne sont pas près d'obtenir la qualité linguistique qui serait tout à fait satisfaisante.

Une partie du défi est les nombreux points de données différents que les humains traitent afin de comprendre la signification du texte oral/écrit. Il y a la syntaxe, l'analyse, la sémantique, le contexte, le film, la réorganisation, tout ce qui, et plus encore, entrent dans la compréhension d'une phrase. Et ce n'est que la phrase en 1 langue. Maintenant, envisagez d'appliquer tout cela pour reconstruire la phrase dans une autre langue et le rendre tout aussi significatif.

Certains exemples pourraient aider à rendre ce point plus clair. Le terme «Olympics 2008» est assez ambigu. De même, on pourrait s'attendre à ce que le terme «élections 2008» désigne les élections présidentielles aux États-Unis. Toutefois, si l'utilisateur est originaire, disons, du Canada, il se référerait plus probablement aux élections locales là-bas.

Un exemple plus général, et donc plus commun, est une phrase comme «la note était erronée». Le mot «note» est-il une référence à un message informatif ou à un terme musical? La traduction appropriée dépend du contexte. Utilisez plus de contexte, et vos chances d'obtenir une traduction plus précise s'améliorent. Cela vient cependant à un coût: plus le contexte le système essaye d'obtenir, plus son rendement est lent. Les décisions d'expédition intelligentes impliquent de faire le bon équilibre entre l'amélioration de l'exactitude de la traduction et la fourniture d'un résultat de traduction réalisable aux utilisateurs. Bien sûr, les deux sont importants. La clé est de comprendre où vous dirigez les efforts à l'amélioration en fonction de l'utilité du résultat final est à l'utilisateur.

Cela devient particulièrement intéressant lors de la traduction de documents ou de pages Web, au lieu de simples phrases individuelles. Disons qu'une demande de traduction a été reçue pour une page Web contenant 100 phrases. Selon l'architecture du système de traduction, ces phrases peuvent tous aller à un processus, ou être distribuées sur plusieurs processus/machines. De toute façon, il est clair que le temps pris pour traduire cette page dans son intégralité est proportionnel au temps maximum pris pour traduire une phrase. Combien de temps consacrons-nous à traduire une phrase avant que le délai investi ne devienne préjudiciable au temps de l'utilisateur? Dans la poursuite de la meilleure traduction, nous pourrions finir par bloquer l'utilisateur d'obtenir quelque chose d'instructif en réponse à leur demande de traduction. L'utilité du système est donc régie par des décisions qui sont prises pour équilibrer la qualité linguistique et les performances applicatives.

Avec le produit Microsoft Translator, il y a la fonctionnalité supplémentaire de notre visionneuse bilingue, quelque chose d'unique parmi les produits de traduction disponibles publiquement. Il prend en charge la mise en surbrillance de texte parallèle, le défilement synchronisé et présente la (les) page (s) avec un rendu progressif. Cela ajoute une autre couche à ce que nos utilisateurs voient, et par conséquent une autre couche pour polir et terminer.

Dans les semaines à venir, nous espérons vous apporter plus de détails sur des domaines spécifiques qui ont été et sont testés pour expédier un système de traduction de qualité supérieure. N'hésitez pas à poster toutes les questions que vous avez sur cette question, quelque chose que vous avez toujours voulu demander:-), dans la section commentaires.