Hier, dans sa mise à jour de printemps, OpenAI a lancé une application Mac native pour ChatGPT et a également lancé son nouveau modèle phare, GPT-4o . Les démos ont suscité beaucoup d'enthousiasme, notamment parmi les utilisateurs d'Apple qui attendent avec impatience le partenariat Apple-OpenAI qui devrait apparaître sur iOS 18 .
Un élément important dans la vidéo complète de l'événement est que la prochaine fonctionnalité de l'application ChatGPT a été présentée, mais aucun détail réel n'a été partagé. C'est la capacité de ChatGPT à voir tout ce qui se passe sur l'écran de l'appareil de l'utilisateur.
Êtes-vous prêt à faire confiance à ChatGPT et à partager le contenu de votre écran ?
Au lancement, l'application ChatGPT Mac prend en charge la prise de capture d'écran manuelle ou le téléchargement d'un fichier pour ensuite interroger ChatGPT pour ce fichier. Mais à l'avenir, comme le montre la vidéo ci-dessous, vous pourrez cliquer sur un bouton qui donnera à une application l'accès à tout ce qui se trouve sur votre écran.
Cette fonctionnalité ne sera apparemment pas limitée aux Mac, car les applications iOS et iPadOS ont démontré la même technologie dans l'exemple ci-dessous.
On ne sait pas quand ces fonctionnalités d'affichage d'écran seront disponibles dans ChatGPT. Cependant, ce changement pourrait donner lieu à une expérience plus interactive et plus fluide. Apple fournit même une API permettant aux développeurs d'accéder au contenu de l'écran de l'appareil, avec le consentement de l'utilisateur, bien sûr. OpenAI ne fait donc rien de néfaste en ajoutant ces fonctionnalités.
Avoir ChatGPT accès à l'intégralité du contenu de votre écran peut être un peu effrayant, mais cela peut aussi être extrêmement utile.
Il y aura probablement une limite de temps sur l'accès de l'application à l'écran de l'utilisateur, nécessitant d'appuyer sur un bouton à chaque fois que l'accès est accordé. Mais en théorie, il est logique qu’un jour les outils d’IA aient un accès permanent à tout ce que vous pouvez voir, permettant une assistance plus fluide avec un minimum de friction.
Un assistant IA capable de voir tout ce que vous voyez sur vos appareils semble être quelque chose qu'Apple vise au niveau du système sur toutes ses plateformes. Si Siri bénéficie d'un nouveau boost d'IA avec une intégration système approfondie, cela pourrait s'avérer être un véritable atout pour les utilisateurs d'iOS 18 et versions ultérieures.