Apple prépare ces deux IA pour transformer la vidéo et la 3D sur votre iPhone

Apple a publié de nouvelles recherches sur ses futurs outils d’intelligence artificielle. Deux modèles prometteurs pourraient transformer la façon dont on utilise la vidéo et les images. Ces travaux annoncent peut-être les futures fonctions d’Apple Intelligence.

Apple multiplie les annonces liées à l’intelligence artificielle. Si la marque reste discrète dans ses produits, ses publications scientifiques dévoilent peu à peu ses ambitions. L’entreprise partage régulièrement ses recherches via son blog spécialisé en machine learning. Deux nouveaux modèles y ont récemment été présentés. Ils pourraient enrichir les fonctions d’Apple Intelligence, le nom donné à la suite d’outils IA intégrée dans l’écosystème de la marque.

Ces deux modèles s’appellent Matrix3D et StreamBridge. Le premier permet de créer des objets en 3D à partir de simples photos. Le second agit comme un assistant vidéo capable de répondre à ce qu’il voit à l’écran. Tous deux sont conçus pour fonctionner en temps réel, avec très peu de données en entrée. Apple ne dit pas encore quand ces fonctions seront disponibles, mais elles pourraient arriver prochainement sur iPhone, Apple Vision Pro ou dans une future mise à jour d’iOS.

Matrix3D crée des objets 3D avec seulement deux ou trois images

Matrix3D est un modèle d’intelligence artificielle capable de transformer quelques images 2D en objets ou scènes 3D. Là où la photogrammétrie classique demande des centaines de photos et de nombreuses étapes techniques, ce dernier automatise tout. Il effectue à lui seul la reconstruction, l’analyse de la profondeur et la synthèse des vues. Selon Apple, cette méthode permet d’obtenir un résultat précis avec seulement deux ou trois images. Cette technologie pourrait améliorer les fonctions de réalité augmentée ou encore les capacités de l’Apple Vision Pro, déjà capable de convertir certaines photos en 3D.

Le second modèle, StreamBridge, agit comme un assistant intelligent. Il peut analyser une vidéo en temps réel, répondre à des questions sur ce qu’il voit et même donner des instructions sans qu’on les demande. Par exemple, si une personne dessine un objet, l’IA peut accompagner le geste en guidant l’utilisateur étape par étape. Apple imagine des usages pratiques dans l’éducation, les tutoriels ou l’assistance visuelle. Aucune intégration officielle n’est annoncée pour le moment, mais ce type d’outil pourrait enrichir Siri ou l’application Appareil photo dans de futures mises à jour.