Visuelle Suche im Detail: So erkennt die Vision Pro ihre Umgebung
Apples erstes Mixed-Reality-Gerät erlaubt eine Interaktion mit der Umgebung. Wie das Einlesen von Texten und Gegenständen in der Praxis funktioniert.
Mit Erscheinen des SDK für visionOS 1.0 sind erste Details zur Bedienung von Apples erstem Mixed-Reality-Headset durchgesickert. Dazu gehört auch eine neuartige visuelle Suche, auf Englisch „Visual Search“ genannt. Sie kann neben Texten auch Gegenstände identifizieren. So soll eine leichtere Interaktion mit dem Umfeld des Nutzers möglich werden.
Bekannt von iPhone und iPad
Visual Search basiert auf den entsprechenden Funktionen von iPhone und iPad, die unter anderem als Livetext bekannt sind und mit iOS beziehungsweise iPadOS 16 erstmals Teil des Systems wurden. Auch auf dem Mac können aus Bildern Textinhalte entnommen werden, inzwischen sogar aus Videos. Bei der Vision Pro soll dies Teil des täglichen Arbeitsprozesses werden, denn Apple sieht das Headset nicht nur als Unterhaltungs-, sondern auch als Bürogerät.
In der Praxis heißt dies, dass man etwa ein Blatt Papier einfach ins Blickfeld halten kann, um den Inhalt zu digitalisieren und dann in einem Dokument auf der Vision Pro weiterzuverwenden – ganz einfach per Copy & Paste. Außerdem kann das Headset Content in Textform aus 17 verschiedene Sprachen „on screen“ übersetzen – später dürften noch mehr hinzukommen. Wird eine Passage als URL erkannt, kann man diese gleich im in visionOS enthaltenen Safari-Browser aufrufen. Auch QR-Codes werden detektiert. Auch Verschiedene Umrechnungsfunktionen sieht Apple ebenfalls vor, beispielsweise für Währungen, Maße oder Gewichte.
Gegenstände erkennen und suchen
Weiterhin kann die Vision Pro auch Gegenstände erkennen und zuordnen. Wie das genau in der Praxis funktioniert, ist bislang noch unklar – es könnte aber daran erinnern, wie Apples Foto-Funktion auf dem iPhone bereits für eine visuelle Suche verwendet werden kann. Hier nennt sich das entsprechende Feature Visual Look Up – auf Deutsch „visuelles Nachschlagen“. Darüber lassen sich bekannte Sehenswürdigkeiten, Statuen, Kunstwerke, Pflanzen oder Haustiere identifizieren und mehr darüber erfahren.
In der Foto-App werden erkannte Gegenstände in der Vollbildansicht mit einem Icon markiert, das Rückschlüsse auf das Objekt zulässt, etwa eine Pflanze. Klickt man darauf, werden weitere Details über Siri dargestellt, zudem kann man gleich im Web nach ähnlichen Bildern suchen. Es ist davon auszugehen, dass die Vision Pro dies auf ähnliche Art implementiert. Der Entwickler Steve Moser hatte Details zu den Funktionen in den Tiefen des SDK von visionOS 1.0 entdeckt. Bis zum Erscheinen des Headsets im kommenden Jahr dürfte sich noch einiges ändern.
