Les sous-titres et les traductions en temps réel pourraient être l'avenir des Conversations vidéo

Navi est une application qui ajoute des sous-titres en direct et des traductions en temps réel à vos appels FaceTime.

 

Points clés à retenir

• Navi utilise SharePlay et la synthèse vocale intégrée d'Apple pour proposer des sous-titres et des traductions dans FaceTime.
• C'est loin d'être parfait mais déjà assez bon.
• Les sous-titres sont parfaits pour l'accessibilité.

 

Navi est une application qui ajoute des sous-titres en direct et des traductions en temps réel à vos appels FaceTime.

 

L'application utilise SharePlay et la reconnaissance vocale intégrée pour ajouter des sous-titres et des traductions en 20 langues à vos appels FaceTime. C'est une utilisation incroyable de SharePlay, que la plupart d'entre nous considèrent comme un moyen fantaisiste de regarder des films synchronisés avec des personnes dans d'autres endroits. Vous n'avez peut-être pas encore besoin de votre traducteur, mais une application qui le fait bien pourrait être incroyablement utile.

 

"Je ne reçois pas l'audio de l'appel FaceTime", écrit le développeur de Navi Jordi Bruin sur Twitter , "mais j'utilise SharePlay pour le partager entre les participants à l'appel."

Navi adds subtitles and live translation to your FaceTime calls through Shareplay!

I asked some of my friends to help me show you how it works!

It’s available for free, so give it a try and let me know what you think! 👇https://t.co/BoIN13WwpT pic.twitter.com/hAr3p3upJq

— Jordi Bruin (@jordibruin) December 16, 2021

 

SharePlay

SharePlay est une nouvelle fonctionnalité d'iOS 15 et de macOS 12.1 qui vous permet de partager et de synchroniser des éléments lors d'appels FaceTime. Avec l'exemple de visionnage de film ci-dessus, tout participant peut mettre en pause ou lire le film, par exemple, pendant que vous discutez tous avec l'appel FaceTime. La vidéo FaceTime reste ouverte dans un petit panneau flottant d'image dans l'image, et chaque participant exécute l'application localement sur son appareil. L'astuce de SharePlay est de synchroniser tout ce qui se passe dans ces applications locales, afin que tout le monde partage l'expérience, que ce soit un film, une séance d'entraînement Fitness+ ou une feuille de calcul.

 

Navi utilise la même technologie, seulement c'est une application d'appel , c'est un moteur de traduction en temps réel. Pour l'utiliser, vous lancez l'application lors d'un appel FaceTime et appuyez sur le bouton « Activer les sous-titres ». Ensuite, d'autres participants peuvent également rejoindre l'action et voir les sous-titres en direct de l'orateur actuel. Si quelqu'un discute, sa bulle de dialogue grossit et reste un peu plus longtemps.

 

 

Pour les sourds, cela pourrait faire la différence entre appeler des gens ou non. Et pour n'importe qui, cela signifie que vous pouvez avoir des conversations utiles entre des personnes qui ne partagent pas votre langue.

 

Texte universel

Internet est construit sur du texte, et c'est formidable. Il est petit et facile à créer, lire et traduire. Il est également simple à transformer en parole synthétisée. Le résultat est que n'importe qui de n'importe où peut participer à n'importe quelle conversation. La langue n'est pas un obstacle, ,tant que vous utilisez un appareil doté de bons outils d'accessibilité pour les malvoyants ou les malentendants.

 

Mais la parole est beaucoup plus difficile à traiter. La dictée parole-texte est impressionnante, mais  récemment  la reconnaissance vocale  est devenue suffisamment bonne pour une utilisation générale. L'application Translate d'Apple en est un bon exemple. Introduit dans iOS 15, il propose des traductions audio en temps réel. Si nous partions encore en vacances à l'étranger, ce serait parfait.

 

Maintenant, nous utilisons de plus en plus la vidéo pour le travail et pour rester en contact avec nos amis et notre famille. Quelle que soit notre façon de travailler à l'avenir, la barrière aux appels vidéo a été complètement abolie. C'est désormais un outil courant, mais il manque beaucoup de la finesse des outils de communication écrite.

 

Quelque chose comme Navi, qui offre des sous-titres et une traduction en temps réel, pourrait être important. L'accessibilité est un aspect, mais la capacité de converser avec des personnes dont vous ne parlez pas la langue ouvre le commerce international à un degré surprenant.

En action

Il est facile de projeter ce type de technologie dans les futures sur des lunettes Apple ou tout autre produit AR / VR

"Je peux voir cela fonctionner dans des lunettes AR", a déclaré Bower lors . "Certaines personnes, même avec une audition normale, préfèrent les sous-titres dans les films.

Bien qu'il s'agisse d'une démonstration technique impressionnante, Navi n'est pas encore là. Pour une utilisation professionnelle fiable, la reconnaissance vocale initiale d'Apple devra devenir beaucoup plus précise. Mais en termes de vitesse, ça va, et les traductions sont aussi bonnes que n'importe quelle autre traducteur. Mais nous sommes sur la bonne voie maintenant, et ce genre de technologie ne fera que s'améliorer.

lire aussi: Marché des tablettes en recul en Europe. Mais il y a une exception, et ça s'appelle Apple