Coefficient de traduction de Google Traduction

Comment mesurer un indicateur qui donnerai l'exactitude de la traduction de Google Traduction selon les langues utilisées ?

Une façon :

On fait un cycle de langue :

A1 -> A2 -> A3 -> ... -> An -> A1

avec un message que l'on copie-colle.

On calcule ensuite ces deux coefficients :

-Le coefficient de longueur :

 ou  de telle façon que le coefficient soit compris entre 0 et 1.

où 

• Li est la longueur initiale du message,
• Lf est la longueur finale du message.

-Le coefficient de différence :

où

• mi est le nombre de mots identiques entre le message final et initial,
• mT est le nombre initial de mots.

Exemples :

1)Langues :

• A1 = français
• A2 = anglais

Message :

• "Ce message a pour but de tester les traductions." (longueur : 9 mots)

Traduit en anglais :

• "This message is intended to test the translations."

Traduit en français :

• "Ce message est destiné à tester les traductions." (longueur : 8 mots)

CL = 8/9 = 0.89

CE = 10/17 = 0.59

2)Toujours français et anglais, avec ce message :

• "Je vais faire un nouveau message, plus long, plus compliqué, pour tester à nouveau les traductions de ce site." (longueur : 19 mots)

Qui devient :

• "Je vais faire un nouveau message, plus long, plus compliqué à tester à nouveau les traductions de ce site." (longueur : 19 mots)

CL = 1

CE = 36/38 = 0.95

3)Langues : 

• Français
• Anglais
• Allemand

Message : 

• "Paris est la capitale de la civilisation, qui n’est ni un royaume, ni un empire, et qui est le genre humain tout entier dans son passé et dans son avenir. Et savez-vous pourquoi Paris est la ville de la civilisation ? C’est parce que Paris est la ville de la révolution.", Victor Hugo, (longueur : 51 mots)

Final :

• "Paris est la capitale de la civilisation, qui est ni un royaume ni un royaume que toute l'humanité dans son passé et son avenir. Et vous savez pourquoi Paris la ville de la civilisation? En effet, la ville de Paris de la révolution." (longueur : 44 mots)

CL = 44/51 = 0.86

CE = 62/95 = 0.65

Problèmes de cette méthode :

• Comme le montre l'exemple 2, les coefficients peuvent être très proches de 1 (donc bons), sans que la phrase est du sens pour autant,
• Comme le montre l'exemple 1, les coefficients peuvent être moyens alors la phrase a toujours le même sens, car les mots employés (et donc les tournures de phrases) ont changés.