Nachricht

May 18, 2023

AR/VR-Headset: Alles, was wir bisher wissen

Abonnieren Sie regelmäßig Neuigkeiten von MacRumors und zukünftige Informationen zu AR/VR-Headsets. Apple hat

Abonnieren Sie regelmäßig Neuigkeiten und die Zukunft von MacRumorsAR/VR-Headsetdie Info.

Apple experimentiert seit fast 20 Jahren auf der Grundlage von Patentanmeldungen mit Virtual-Reality- und Augmented-Reality-Technologien, aber da Virtual- und Augmented-Reality mit der Einführung von ARKit immer beliebter werden, werden die Versuche von Apple immer ernster und werden voraussichtlich zum ersten Wearable führen AR/VR-Apple-Gerät im Jahr 2023.

Bei Apple gibt es eine Studie mit Hunderten von Mitarbeitern, die an AR und VR arbeiten und Möglichkeiten untersuchen, wie die neuen Technologien in zukünftigen Apple-Produkten eingesetzt werden könnten. Die Zahl der AR/VR-Mitarbeiter hat in den letzten Jahren zugenommen, und Apple hat mehrere AR/VR-Unternehmen übernommen, um seine Arbeit im AR/VR-Bereich voranzutreiben.

Apple entwickelt sich zumindest weiterzwei AR/VR-Geräte, die ein Mixed-Reality-Headset enthalten, sollen 2023 auf den Markt kommen, gefolgt von einer günstigeren Version zu einem späteren Zeitpunkt. Beim Headset von Apple kam es zu zahlreichen Verzögerungen, und obwohl das Unternehmen es ursprünglich im Jahr 2022 auf den Markt bringen wollte, war dies nicht möglich. Eine Markteinführung wird für 2023 erwartet, wobei Apple plant, das Wearable auf der WWDC vorzustellen. Die günstigere Version könnte entweder 2024 oder 2025 erscheinen und es könnten mehrere Modelle der zweiten Generation verfügbar sein.

Das AR/VR-Headset wird ein eigenständiges Gerät mit Apple-Siliziumchips sein, dessen Leistung mit der von Apples Macs vergleichbar ist. Es wird über zwei Chips verfügen, die es ihm ermöglichen, komplexe Aufgaben auszuführen und die Virtual-Reality-Funktionen zu nutzen, außerdem wird es in der Lage sein, unabhängig von einem iPhone oder einem Mac zu arbeiten. Das Pairing ist möglich, um das iPhone als Tastatur zu verwenden und Daten zu übertragen, aber nicht erforderlich.

Vom Design her wird das Headset anderen Headsets auf dem Markt wie dem Facebook Oculus Quest ähneln, aber es wird schlanker aussehen und eine leichte Bauweise haben, um Komfort zu gewährleisten. Apple wird das Gewicht des Headsets reduzieren, indem es anstelle eines im Gerät integrierten Akkus einen externen Akku verwendet, der an der Hüfte getragen wird.

Zwei hochauflösende 4K-Micro-OLED-Displays mit bis zu 3.000 Pixeln pro Zoll sorgen für ein beeindruckendes Seherlebnis. Apple baut mehr als ein Dutzend Kameras in das Headset ein, um Handbewegungen und Gesten zu verfolgen, was neben dem Eye-Tracking eine Steuerungsmethode sein wird. Benutzer können ein Element auf dem Display betrachten, um es auszuwählen, und dann mithilfe von Handgesten mit dem Element interagieren.

Es werden mehrere 3D-Sensormodule zur Erkennung von Handgesten und Objekten in der Nähe des Trägers enthalten sein und Sprachsteuerung, Hauterkennung, räumliche Erkennung und Ausdruckserkennung unterstützen. Eingebaute Lautsprecher sind im Lieferumfang enthalten, für einen besseren räumlichen Klang sind jedoch gekoppelte AirPods erforderlich.

Apple entwirft einen App Store für das Headset und der Inhalt wird sich auf Spiele, Video-Streaming und Videokonferenzen konzentrieren. Es wird „xrOS“ ausführen, ein neues Betriebssystem, das speziell für das Headset entwickelt wurde. Bei einem FaceTime-Erlebnis werden die Kameras verwendet, um das gesamte Gesicht und den Körper einer Person in eine virtuelle Umgebung für Einzelgespräche zu projizieren. Außerdem wird es andere Apps wie Kalender, Mail, Safari und mehr geben.

Das Headset wird über eine iOS-ähnliche Benutzeroberfläche verfügen, die iPhone- und iPad-Benutzern sofort vertraut sein wird, mit einem speziellen Startbildschirm, der eine Reihe von Apps und Widgets enthält. Es kann auch als Display für einen angeschlossenen Mac verwendet werden, wobei Maus und Tastatur des Mac als Eingabegeräte dienen.

Da es sich bei dem AR/VR-Headset um eine völlig neue Produktkategorie mit modernster Technologie handelt, wird es nicht billig sein. Gerüchten zufolge könnte der Preis bei etwa 3.000 US-Dollar liegen.

Das Headset wird sich auf VR konzentrieren, aber auch über Augmented-Reality-Funktionen verfügen. Benutzer können über einen Digital Crown-ähnlichen Steuermechanismus von VR zu AR wechseln, wobei die AR-Funktionen externe Kameras verwenden, um die Umgebung des Benutzers im Headset anzuzeigen.

Hinweis: Sehen Sie einen Fehler in dieser Zusammenfassung oder möchten Sie Feedback geben? Senden Sie uns hier eine E-Mail.

Apples erstes Headset wird sowohl AR- als auch VR-Funktionen unterstützen, eine Technologie, die üblicherweise als „Mixed Reality“ bezeichnet wird. Augmented Reality (AR) und Virtual Reality (VR) sind ähnliche Technologien, ihre potenziellen Anwendungen unterscheiden sich jedoch erheblich.

Unter Virtual Reality versteht man ein umfassendes, immersives Erlebnis in einer virtuellen Welt, während Augmented Reality sich auf eine veränderte Sicht auf die reale Welt bezieht. Bei einem VR-Erlebnis wird die reale Welt weitgehend ausgeblendet, um sich auf ein vollständig virtuelles Erlebnis zu konzentrieren, aber Augmented Reality überlagert Ihre reale Weltansicht mit virtuellen Elementen.

Google Glass, ein mittlerweile weitgehend eingestelltes Google-Produkt, ist ein Beispiel für ein am Kopf getragenes Augmented-Reality-Gerät, während Oculus und PlayStation VR Beispiele für am Kopf getragene Virtual-Reality-Geräte sind. Apple arbeitet an beiden Technologien, aber das erste Produkt wird eher der Oculus als der Google Glass ähneln.

Die virtuelle Realität konzentriert sich ausschließlich auf den immersiven Konsum von Inhalten, da sie dem Träger durch visuelles, taktiles und akustisches Feedback das Gefühl gibt, tatsächlich zu erleben, was in der simulierten Welt vor sich geht. Virtuelle Realität ist derzeit mit Spielen verknüpft, hat aber auch das Potenzial, Erfahrungen aus der realen Welt für Bildungs- oder Schulungszwecke nachzubilden.

Augmented Reality hängt nicht von immersiven Inhalten ab und ist zwar weniger aufregend, weil es die Realität erweitert statt sie zu ersetzen, bietet aber ein breiteres Spektrum potenzieller Anwendungen und ist die Technologie, an der Apple letztendlich am meisten interessiert zu sein scheint. Das Headset von Apple wird beides unterstützen AR und VR, das sogenannte Mixed Reality, ist etwas, das wir in Produkten wie Microsofts HoloLens gesehen haben. Benutzer können mithilfe einer digitalen Krone an der Seite des Geräts zwischen virtueller und erweiterter Realität wechseln.

Mixed Reality verbindet reale Inhalte und virtuelle Inhalte, um neue Umgebungen zu schaffen, in denen physische und digitale Objekte gemeinsam betrachtet und interagiert werden können. In der Praxis wissen wir noch nicht genau, welche Art von Erlebnis das Headset von Apple genau bieten wird, aber wir können mit immersiven Spielen, interaktiveren FaceTime- und Chat-Erlebnissen und neuen Lerntools rechnen.

Markenanmeldungen deuten darauf hin, dass Apple das in Arbeit befindliche Mixed-Reality-Headset „Reality Pro“ oder „Reality One“ nennen könnte. Apple hat diese Namen zusätzlich zu „Reality Processor“ als Warenzeichen eingetragen, es klingt also so, als könnten wir eine Namensgebung mit Realitätsbezug erhalten.

Apple hat diese Namen mithilfe von Briefkastenfirmen in den USA, im Vereinigten Königreich, Kanada, Australien, Neuseeland, Saudi-Arabien, Costa Rica und Uruguay als Markenzeichen eingetragen.

Apple scheint in den letzten Wochen Marken für xrOS, xrProOS, RealityproOS und realOS angemeldet zu haben. Es wird erwartet, dass Apple xrOS für den Namen des AR/VR-Headset-Betriebssystems verwendet, die anderen könnten jedoch Platzhalter für alle Fälle sein.

Das AR/VR-Headset von Apple wird einigen anderen VR-Headsets auf dem Markt ähneln und ein Design aufweisen, das nicht allzu weit vom Virtual-Reality-Headset Facebook Oculus Quest entfernt ist. Mehrere Designdetails wurden in Gerüchten enthüllt und The Information hat sogar einen Prototyp gesehen, sodass wir eine gute Vorstellung davon haben, was uns erwartet.

Das Headset besteht aus Aluminium, Glas und Kohlefaser, um das Gewicht und das Profil niedrig zu halten. Es wurde beschrieben, dass es ein „schlankes, gebogenes Visier hat, das durch ein Netzmaterial am Gesicht befestigt ist“. Die folgenden Renderings von Designer Ian Zelbo basieren auf diesen Headset-Beschreibungen.

Ein Band auf der Rückseite, das aus einem Material besteht, das einem Apple Watch-Armband ähnelt, hält das Headset am Kopf des Trägers, und ein weiches Netz sorgt dafür, dass es bequem an der Vorderseite des Gesichts sitzt. Frühe Gerüchte deuteten darauf hin, dass die Stirnbänder austauschbar sein würden, aber neue Informationen deuten darauf hin, dass dies nicht mehr der Fall ist. Es wurde beschrieben, dass das Stirnband aus einem weichen Material besteht und an den Schläfen zwei Stellen aufweist, an denen sich der linke und der rechte Lautsprecher befinden. Um den Tragekomfort zu erhöhen, gibt es eine weiche, abnehmbare Hülle, die an der Rückseite des Headsets befestigt wird.

Apple arbeitete angeblich an einem Kopfbügel mit räumlicher Audiotechnologie wie den AirPods Pro für ein Surround-Sound-ähnliches Erlebnis und für eine längere Akkulaufzeit unterwegs, aber diese Ideen wurden möglicherweise verworfen. Gerüchte deuten nun darauf hin, dass Apple verschiedene Stirnbänder herstellt, eines für Verbraucher aus Materialien wie dem Apple Watch-Band mit integrierten Lautsprechern und ein zweites für Entwickler.

Das Design des Headsets soll die periphere Sicht blockieren, um zu verhindern, dass Licht in das Sichtfeld des Trägers eindringt, und es wird ein nach außen gerichtetes Display geben, um anderen Grafiken anzuzeigen.

Prototypen vom März 2022 sollen etwa 200 bis 300 Gramm wiegen, Apple strebt jedoch an, das Endgewicht auf 100 bis 200 Gramm zu reduzieren, wenn technische Probleme gelöst werden können, was das Headset leichter als bestehende VR-Geräte machen würde.

Um zwischen virtueller Realität und der physischen Welt zu wechseln, fügt Apple auf der rechten Seite des Headsets ein kleines, digitales Kronen-ähnliches Zifferblatt ein. Es wird kein haptisches Feedback geben, aber es kann für den Übergang zwischen den Modi verwendet werden.

Die erste durchgesickerte AR/VR-Headset-Komponente ist im März durchgesickert und hat uns einen Einblick in das Innere des Geräts gegeben. Das Flachbandkabel soll für das Headset konzipiert sein und scheint keinem Kabel ähnlich zu sein, das in einem früheren Apple-Produkt verwendet wurde.

Das Kabel scheint sich um die Augen eines Benutzers zu legen und könnte zum Anschließen von Displaykomponenten an eine Platine verwendet werden.

Gerüchten zufolge wird das AR/VR-Headset über zwei bis drei Displays verfügen. Es wird zwei hochauflösende 4K-Micro-OLED-Displays mit bis zu 3.000 Pixeln pro Zoll geben, also eine Gesamtauflösung von 8K. Es wird erwartet, dass Sony die Displaymodule liefert, die Apple verwenden wird, obwohl Apple möglicherweise auch einige OLED-Displays von Samsung verwenden wird.

Mikro-OLED-Displays werden direkt auf Chip-Wafern statt auf einem Glassubstrat aufgebaut, was zu dünneren, kleineren und energieeffizienteren Displays führt. Sie ermöglichen Pixelgrößen im Bereich von vier bis 20 Mikrometern im Vergleich zu 40 bis 300 Mikrometern bei Standard-OLED-Panels und verfügen über eine schnellere Reaktionszeit im Mikrosekundenbereich, was sie ideal für Augmented-Reality- (AR) und Virtual-Reality-Anwendungen (VR) macht .

Laut Display-Analyst Ross Young werden die Displays des AR/VR-Headsets eine Diagonale von 1,41 Zoll haben, eine Helligkeit von 5.000 Nits und 4.000 Pixel pro Zoll aufweisen. Mit einer Helligkeit von 5.000 Nits bietet das AR/VR-Headset Unterstützung für HDR-Inhalte und übertrifft die Fähigkeiten anderer Headsets auf dem Markt bei weitem.

Das AR/VR-Headset wird außerdem über ein äußeres, externes Display verfügen, bei dem es sich um ein Standard-OLED-Display von LG Display handelt. Das Standard-OLED-Display wird ein einfaches Außenanzeigedisplay sein, das nicht die hochwertigere Micro-OLED-Technologie erfordert, die für das Dinner-Display verwendet wird.

Das nach außen gerichtete Display wird angeblich in der Lage sein, den Menschen in seiner Umgebung die Mimik des Headset-Trägers anzuzeigen, um das Gefühl der Isolation bei der Verwendung des Geräts zu verringern. Das Display verfügt über eine extrem niedrige Bildwiederholfrequenz und einen reduzierten Stromverbrauch, um eine Entladung des Akkus zu verhindern.

Apple verwendet „Pancake“-Linsen, die ein dünnes und leichtes Design ermöglichen. Pancake-Linsen sind teurer als die Fresnel-Linsentechnologie, die für andere VR-Headsets verwendet wird, führen aber zu einem viel dünneren Gerät.

Da das Headset eng am Gesicht anliegt, können Benutzer keine Brille tragen, sodass die Möglichkeit besteht, verschreibungspflichtige Brillengläser über den Bildschirmen einzusetzen. Die Korrektionsgläser können mithilfe von Magneten am Headset befestigt werden.

Das AR/VR-Headset verfügt über ein 120-Grad-Sichtfeld, ähnlich wie das Valve Index, und ist breiter als das 106-Grad-Sichtfeld des Meta Quest Pro.

Darüber hinaus wird Apple kleine Motoren verwenden, um die internen Linsen an den Augenabstand des Trägers anzupassen und so für jeden Einzelnen das größtmögliche Sichtfeld zu bieten.

Gerüchten zufolge plant Apple, für das AR/VR-Headset einen eigenständigen Akku zu verwenden, der eine Gewichtseinsparung ermöglichen würde. Den Informationen zufolge würde der Akku an der Hüfte getragen und über ein MagSafe-ähnliches Stromkabel am Kopfbügel mit dem Headset verbunden.

Der Akku ist etwa so groß wie zwei übereinander gestapelte iPhone 14 Pro Max-Modelle und versorgt das Headset etwa zwei Stunden lang mit Strom. Mit einem externen Akku können Benutzer einen Akku austauschen und einen anderen aufladen, um das Gerät über einen längeren Zeitraum zu verwenden.

Um den Akku an das Headset anzuschließen, plant Apple die Verwendung eines proprietären Ladekabels mit einer runden Spitze, die sich dreht, um im Headset einzurasten, sodass das Kabel während des Gebrauchs nicht herauskommt. Das Kabel selbst wird mit dem Akku verbunden und kann nicht entfernt werden.

Das Kabel, das das Headset mit dem Akku verbindet, ähnelt einem Ladepuck der Apple Watch und wird an der linken Schläfe des Headsets befestigt. Zum Lieferumfang des Headsets gehört außerdem ein USB-C-Kabel zur Datenübertragung.

Berichten zufolge wird Apple ein 96-W-Netzteil zum Laden des Akkus einführen.

Das Headset wird über mehr als ein Dutzend optische Kameras verfügen, um Handbewegungen zu verfolgen, die Umgebung abzubilden, Gesichtszüge und Körperbewegungen zu erfassen und visuelle Erlebnisse zu projizieren. Eines der Hauptmerkmale des Headsets sollen lebensechte Avatare sein, deren Gesichtszüge von den mitgelieferten Kameras präzise erfasst werden.

Jedes Auge wird von mindestens einer Kamera verfolgt, sodass das Headset den Blick des Benutzers auf einen Avatar genau wiedergeben kann. Durch präzises Eye-Tracking ist das Headset in der Lage, Foveated-Rendering durchzuführen, um Strom zu sparen, indem Bilder in voller Auflösung nur direkt dort gerendert werden, wo der Benutzer hinschaut.

Die Augen- und Handverfolgung wird die Hauptsteuerungsmethode für das AR/VR-Headset sein, wobei Apple Kameras zur Überwachung der Augen und Hände verwendet. Der Träger kann das Headset steuern, indem er beispielsweise auf ein Element auf dem Bildschirm schaut, um es auszuwählen, und dann mit einer Handbewegung wie einer Pinchbewegung das Element auf dem Bildschirm aktiviert.

Berichten zufolge werden acht Kameramodule für durchsichtige Augmented-Reality-Erlebnisse für den Benutzer verwendet, während weitere sechs Module für „innovative Biometrie“ verwendet werden. Für die Umgebungserkennung steht zudem eine Kamera zur Verfügung. Gerüchten zufolge wird das Headset in der Lage sein, Oberflächen, Kanten und Abmessungen von Räumen präzise abzubilden und dabei LiDAR-Scanner mit kurzer und großer Reichweite einzusetzen.

Aus Datenschutz- und Sicherheitsgründen verfügt das AR/VR-Headset über einen Iris-Scanner, der das Augenmuster des Benutzers lesen kann, sodass ein Iris-Scan anstelle eines Passworts und zur Zahlungsauthentifizierung verwendet werden kann.

Das Iris-Scannen auf dem AR/VR-Headset ähnelt Face ID und Touch ID auf dem iPhone, iPad und Mac. Dadurch könnten zwei Personen dasselbe Headset verwenden, und es handelt sich um eine Funktion, die bei konkurrierenden Headsets wie dem neuen Quest Pro von Meta nicht verfügbar ist.

Für das AR/VR-Headset wird es kein tragbares Steuergerät geben, sondern Apple setzt stattdessen auf Handgesten, die von den unzähligen Kameras des Geräts erkannt werden.

Das Tippen erfolgt beispielsweise „in der Luft“ durch Augenbewegungen und Handgesten. Benutzer können außerdem ein iPhone koppeln, um die iPhone-Tastatur mit dem Gerät zu verwenden, ähnlich wie ein iPhone mit einem Apple TV verwendet werden kann.

Zwei M2-Prozessoren auf Mac-Niveau werden im AR/VR-Headset enthalten sein, um eine beispiellose Rechenleistung in einem tragbaren Gerät zu erzielen, wobei Apple dieselben Chips verwendet, die im MacBook Air erstmals vorgestellt wurden. Die Chips umfassen einen Haupt-SoC mit CPU, GPU, Speicher und einem dedizierten Bildsignalprozessor.

Die Chips werden im 5-Nanometer-Verfahren hergestellt und nicht im 3-nm-Verfahren, das Apple für Geräte verwenden will, die später im Jahr 2023 auf den Markt kommen. Das Headset wird für die Rechenleistung nicht auf ein iPhone oder einen Mac angewiesen sein Es wird über eine unabhängige Stromversorgung und Speicherung verfügen.

Aufgrund der inakzeptablen Latenz hat Apple einen eigenen benutzerdefinierten Streaming-Codec entwickelt, um die Kommunikation der Chips zu ermöglichen, und der dedizierte ISP ist in der Lage, verzerrte Bilder, die von den externen Kameras aufgenommen wurden, in eine originalgetreue Videodarstellung der Umgebung des Benutzers mit geringer Latenz umzuwandeln. Das Headset wird außerdem über einen H2-Chip verfügen, der es dem Headset ermöglicht, eine Verbindung mit extrem geringer Latenz mit den AirPods Pro der zweiten Generation und zukünftigen AirPods-Modellen herzustellen. Apple erwägt sogar, AirPods für das beste Audioerlebnis zur Pflicht für das Headset zu machen, da Ohrhörer von Drittanbietern aufgrund von Latenzproblemen nicht gut funktionieren. Das Gerät verfügt über keinen 3,5-mm-Kopfhöreranschluss.

Apple hat die Arbeit an den SoCs für das AR/VR-Headset abgeschlossen und wird die drahtlose Datenübertragung, das Komprimieren und Dekomprimieren von Videos sowie die Energieeffizienz für maximale Akkulaufzeit optimieren, obwohl sie nicht wie einige andere Chips von Apple über eine neuronale Engine verfügen.

Apple wird die Software, die auf seinem AR/VR-Headset läuft, „xrOS“ nennen, was für „Extended Reality“ stehen soll. Erweiterte Realität stellt sowohl die Augmented- als auch die Virtual-Reality-Funktionen dar, die das Headset unterstützt.

Der Name wurde von internen Apple-Quellen bestätigt und Apple hat das xrOS über eine versteckte Briefkastenfirma als Marke eingetragen. In Neuseeland wurde eine Markenanmeldung von Apple für „xrOS“ gefunden, was darauf hindeutet, dass Apple tatsächlich den Namen xrOS für das Betriebssystem verwenden wird, das auf dem Headset läuft.

Apple nannte die Headset-Software intern „Reality OS“ oder „rOS“, als sie sich in der Entwicklung befand, entschied sich jedoch, als die Markteinführung näher rückte, dazu, den öffentlichen Namen auf den weniger generischen Namen „xrOS“ zu aktualisieren.

Apple arbeitet an einer Reihe von Apps für das AR/VR-Headset und wird sich auf Sport, Streaming von Videoinhalten, Gaming, Fitness, Wellness und Zusammenarbeit konzentrieren. Apple erstellt einen App Store für das Headset.

xrOS wird iOS-Apps wie Safari, Fotos, Nachrichten, Karten, Apple TV+, Apple Music, Podcasts und Kalender sowie eine für das Headset angepasste FaceTime-App enthalten.

Apple hat kürzlich die Final Cut Pro- und Logic Pro-Apps für das iPad angekündigt, und diese Apps könnten irgendwann auch auf das Headset kommen, damit Ersteller von Audio- und Videoinhalten direkt auf dem Headset bearbeiten können.

Apple plant, iPad-Apps für das Headset anzupassen, und Benutzer können über die 3D-Oberfläche des Geräts auf vorhandene App Store-Inhalte zugreifen. Von Apple entwickelte Apps wie Safari, Kalender, Kontakte, Startseite, Dateien, Nachrichten, Notizen, Fotos, Musik, Erinnerungen und andere integrierte Apps werden für das Gerät optimiert. Es können mehrere Apps gleichzeitig ausgeführt werden, und es wird einen Geolokalisierungsaspekt für den Wechsel zwischen Apps geben, wenn sich der Benutzer in verschiedenen Räumen befindet.

Mit einer Fitness+-App können Benutzer trainieren, während sie dem Fitness+-Trainer in einer Virtual-Reality-Umgebung zusehen, und es wird eine Health-App geben, die Benutzer mit Grafiken, Sounds und Voice-Over durch Meditationen führt.

Mit Apples stärkerem Vorstoß in den Sportbereich wird der Schwerpunkt auf immersiven Seherlebnissen für MLB- und MLS-Inhalte liegen, außerdem wird es eine spezielle TV-App zum Ansehen von Videos in Virtual-Reality-Umgebungen geben.

Apple arbeitet für Videoinhalte mit Unternehmen wie Disney und Dolby zusammen und aktualisiert Apple TV+-Sendungen und -Filme, damit sie mit dem Gerät funktionieren. Apple möchte den Nutzern angeblich das Erlebnis bieten, in einer einzigartigen Umgebung wie der Wüste oder dem Weltraum auf einen riesigen Bildschirm zu schauen.

Es gibt ein spezielles FaceTime-Erlebnis, das Einzelchats mit realistischen Avataren ermöglicht, die das tatsächliche Gesicht und den Körper eines Benutzers zeigen. Diese Funktionalität ist prozessorintensiv und daher auf Chats von Person zu Person beschränkt. Bei Chats mit mehreren Personen werden stattdessen weniger detaillierte Symbole wie Memoji verwendet.

Eine Kamera-App wird in der Lage sein, Bilder von den Kameras des Headsets aufzunehmen, und eine Version von Freeform wird an eine 3D-Schnittstelle angepasst, um gemeinsam mit anderen an Projekten zu arbeiten.

Apple hat mit einer ausgewählten Anzahl von Gaming-Entwicklern zusammengearbeitet, um sie bei der Aktualisierung ihrer vorhandenen Inhalte für Mixed Reality zu unterstützen, und Apple wird außerdem über eine Reihe robuster Tools für die Erstellung von AR/VR-Erlebnissen verfügen.

Für die Texteingabe kann Siri ebenso genutzt werden wie eine iPhone-, iPad- oder Mac-Tastatur. Apple arbeitet an einer In-Air-Tippfunktion, die zum Start voraussichtlich noch etwas rudimentär sein wird, wobei Apple im Laufe der Zeit deutliche Verbesserungen vornehmen wird.

Apple entwickelt Softwaretools, die es Entwicklern und Kunden ermöglichen, Augmented-Reality-Apps für das AR/VR-Headset zu erstellen.

Kunden können möglicherweise AR-Apps und -Erlebnisse mithilfe von Siri-Sprachbefehlen erstellen und veröffentlichen, auch ohne Programmiererfahrung. Ein Bericht über die Funktion vergleicht sie mit Minecraft oder Roblox, Spielen, die über Tools verfügen, mit denen Spieler ihre eigenen Erfahrungen erstellen können.

Das AR/VR-Headset von Apple benötigt kein iPhone, um zu funktionieren, und kann eigenständig verwendet werden. Für die Einrichtung ist kein iPhone erforderlich und Daten können über iCloud heruntergeladen werden. Es besteht jedoch die Möglichkeit, bei der Einrichtung ein iPhone zum Zweck der Datenübertragung zu koppeln.

Bei Bedarf kann auch ein iPhone angeschlossen werden, das als Tastatur für das Headset dient, obwohl ein gestenbasiertes Tippsystem enthalten ist.

Das kommende Mixed-Reality-Headset von Apple wird WiFi 6E-Unterstützung bieten, die neueste WiFi-Spezifikation. Apple plant angeblich die Implementierung von WiFi 6E, um ein hochwertiges, immersives Erlebnis mit solider drahtloser Konnektivität zu bieten. WiFi 6E bietet alle Vorteile von WiFi 6, fügt jedoch zusätzlich zu den 2,4-GHz- und 5-GHz-Bändern ein 6-GHz-Spektrum hinzu, um die Bandbreite zu erhöhen und Interferenzen zwischen Geräten zu verringern.

Bei Apples AR/VR-Headset könnte es zu einer weiteren Verzögerung kommen, da Apple mit Entwicklungsproblemen konfrontiert ist, die überwunden werden müssen. Laut Bloomberg hat Apple die Veröffentlichungspläne für das Headset inzwischen mehrfach verschoben. Apple hatte ursprünglich geplant, das Headset im Jahr 2021 auf den Markt zu bringen und es im Jahr 2022 auszuliefern, verschob dies dann aber auf die WWDC 2022 und verschob die Veröffentlichung des Geräts anschließend noch einmal auf 2023.

Mindestens einer der für das Headset entwickelten Chips entspricht dem M1 Pro der neuesten MacBook-Pro-Modelle und die thermischen Anforderungen des Chips verursachen Probleme bei der Wärmeableitung. Aufgrund der Verzögerung plant Apple, sich während der Worldwide Developers Conference 2023 auf das Headset zu konzentrieren. Apple wird Entwickler ermutigen, mit der Entwicklung von Augmented- und Virtual-Reality-Apps für den „rOS“ App Store zu beginnen.

Apple arbeitet schon seit langem an Augmented- und Virtual-Reality-Technologien und das Unternehmen verfügt über ein riesiges Team von Mitarbeitern, die kopfgetragene AR/VR-Produkte entwickeln. Man geht davon aus, dass AR/VR-Geräte in Zukunft das iPhone ersetzen werden, was bereits in 10 Jahren der Fall sein könnte.

Das iPhone ist das profitabelste und wichtigste Produkt von Apple. Die Tatsache, dass die AR/VR-Headset-Technologie das iPhone ersetzen wird, gibt uns eine Vorstellung davon, wie wichtig sie für die Zukunft von Apple ist.

Gerüchte besagen, dass das ursprüngliche Headset-Design einen Lüfter und leistungsstarke Prozessoren beinhaltete, das Gerät aber zu schwer war. Bei früheren Designs hätte das Headset auch die Rechenleistung eines angeschlossenen iPhone oder Mac nutzen müssen, aber Apple hat das Design geändert und dem Headset selbst High-End-Chips hinzugefügt.

Es wurde beschrieben, dass frühe Prototypen ein 8K-Display für jedes Auge hatten, und es gab ein Gerücht, das besagte, dass das Headset über eine Hochgeschwindigkeits-Funktechnologie mit kurzer Reichweite namens 60 GHz WiGig eine Verbindung zu einer „dedizierten Box“ herstellen würde. Angetrieben wird die Box von einem maßgeschneiderten 5-Nanometer-Prozessor von Apple, der „leistungsstärker ist als alles, was derzeit erhältlich ist“. Die Box ähnelt offenbar einem PC-Tower, es wird aber „kein echter Mac-Computer sein“.

Interne Meinungsverschiedenheiten prägten und veränderten im Laufe der Zeit Apples Ziele für sein AR-Headset, und Gerüchte besagen, dass Apple sich nicht für das „Box“-Design entschieden hat, weil der frühere Apple-Designer Jony Ive kein Gerät verkaufen wollte, für das ein separater, stationärer Zusatz erforderlich wäre volle Funktionalität.

Ich wollte ein Headset mit weniger leistungsstarker Technologie, das direkt in das Gerät integriert werden kann, aber der Leiter des AR/VR-Teams, Mike Rockwell, wollte das leistungsstärkere Gerät. Es war eine monatelange Pattsituation, und Tim Cook stellte sich schließlich auf die Seite von Ive und änderte die Richtung des Headset-Designs von Apple.

Einige Apple-Mitarbeiter sollen über den Nutzen des AR/VR-Headsets und seinen hohen Preis besorgt sein. Es besteht die Befürchtung, dass es sich um eine „Lösung auf der Suche nach einem Problem“ handelt und einige Mitarbeiter aufgrund von Zweifeln an deren Potenzial aus den Projekten ausscheiden.

Laut einem Leaker sagte ein Apple-Tester, der das Headset verwendet hat, dass Apple in den letzten Monaten einen großen Entwicklungssprung gemacht habe und von den Fähigkeiten des Headsets „überwältigt“ sei. „Der Sprung, den sie seit [Ende letzten Jahres] gemacht haben, ist riesig“, sagte die Quelle. „Ich war so skeptisch; jetzt bin ich überwältigt von der Art ‚Nimm mein Geld‘.“

Zum Thema AR/VR bemerkte Tim Cook kürzlich, dass es „die Kommunikation der Menschen erheblich verbessern und Menschen dazu befähigen könnte, Dinge zu erreichen, die sie vorher nicht erreichen konnten“. Er schlug auch vor, dass es sich gut für die Zusammenarbeit und die Weiterentwicklung eignen würde mit Ideen. und dass es die Kreativität beschleunigen könnte.

Cook sagte, dass es bei allem, was Apple getan habe, „eine Menge Skeptiker“ gegeben habe, und deutete an, dass Apple in Zukunft mit dem AR/VR-Headset „die primäre Technologie kontrollieren“ werde.

Apple wird das Headset voraussichtlich auf der Worldwide Developers Conference vorstellen und später im Jahr zum Verkauf anbieten. Die diesjährige WWDC-Keynote-Veranstaltung 2023 findet am Montag, den 5. Juni, statt.

Wir gehen davon aus, dass das Headset erst Ende 2023 zum Verkauf angeboten wird. Gerüchten zufolge wird Apple im Oktober mit der Massenproduktion des Geräts beginnen, wobei die Einheiten rechtzeitig zu den Feiertagen im Dezember verfügbar sein sollen.

Der Preis für das Headset könnte bei etwa 3.000 US-Dollar beginnen, was es deutlich teurer macht als ein iPhone. Zunächst richtet es sich nicht an allgemeine Verbraucher, sondern wird als Gerät für Entwickler, Content-Ersteller und Profis positioniert.

Berichten zufolge kostet die Herstellung des AR/VR-Headsets von Apple allein rund 1.500 US-Dollar, und die Komponentenkosten werden zu einem höheren Gerätepreis führen. Die microOLED-Displays sind mit etwa 280 bis 320 US-Dollar die teuerste Komponente im AR/VR-Headset. Die Kameramodule kosten etwa 160 US-Dollar, der Hauptprozessor und der Bildsignalprozessor liegen bei etwa 120 bis 140 US-Dollar.

Apple rechnet damit, pro Einzelhandelsgeschäft nur ein Headset pro Tag zu verkaufen, und hat den Lieferanten mitgeteilt, dass es im ersten Jahr der Verfügbarkeit mit einem Umsatz von sieben bis zehn Millionen Einheiten rechnet.

Apple arbeitet bereits an einer Version des AR/VR-Headsets, die preislich günstiger sein soll. Das erste AR/VR-Headset wird etwa 3.000 US-Dollar kosten, aber Apple möchte ein Modell entwickeln, das preislich näher am iPhone liegt.

Apple-Ingenieure planen, günstigere Komponenten zu verwenden, um den Preis zu senken, aber das preisgünstigere Headset wird über die gleiche allgemeine AR/VR-„Mixed-Reality“-Funktionalität verfügen wie das Headset, das 2023 auf den Markt kommt. Die Chips im Gerät werden auf dem gleichen Niveau sein das iPhone anstelle der Mac-Level-Chips, die im ersten AR/VR-Headset verwendet wurden, und Apple verwendet möglicherweise auch interne Displays mit niedrigerer Auflösung und billigere Materialien.

Derzeit befindet sich die Entwicklung des günstigeren Headsets noch im Anfangsstadium und Apple hat noch keinen funktionierenden Prototyp erstellt. Ein solches Headset könnte im Jahr 2025 auf den Markt kommen, und Foxconn arbeitet bereits daran.

Laut Apple-Analyst Ming-Chi Kuo wird das AR/VR-Headset der zweiten Generation ähnlich wie beim iPhone sowohl als High-End- als auch als Low-End-Modell erhältlich sein. Es wird erwartet, dass Apple ein weiteres günstigeres Modell und ein Nachfolgemodell zum höherwertigen und teureren Modell der ersten Generation anbieten wird.

Die Arbeit von Apple an virtueller und erweiterter Realität reicht mehrere Jahre zurück, aber ab März 2015 kamen Gerüchte auf, als die Nachricht kam, dass Apple ein kleines Team von Leuten habe, die an erweiterter Realität arbeiten. Im Jahr 2015 und Anfang 2016 wuchs das Team von Apple, da das Unternehmen Mitarbeiter mit Fachkenntnissen in der AR/VR-Technologie einstellte und mehrere damit verbundene Akquisitionen tätigte.

Das AR/VR-Team von Apple umfasst mehrere hundert Ingenieure aus ganz Apple, die alle über Fachkenntnisse in virtueller und erweiterter Realität verfügen. Das Team arbeitet in Büroparks in Cupertino und Sunnyvale, und Apple prüft mehrere Hardware- und Softwareprojekte unter dem Codenamen „T288“.

Apples Augmented-Reality-Team vereint „die Stärken seiner Hardware- und Software-Veteranen“ und wird von Mike Rockwell geleitet, der von Dolby kam. Ehemalige Mitarbeiter von Unternehmen wie Oculus, Amazon (aus dem VR-Team), Lytro, Microsoft, dem 3D-Animationsunternehmen Weta Digital und Lucasfilm arbeiten bei Apple an AR.

Der ehemalige Hardware-Engineering-Chef von Apple, Dan Riccio, wechselte im Januar 2021 in eine neue Rolle, in der er Apples Arbeit an einem AR/VR-Headset überwacht. Das Projekt stand vor Entwicklungsherausforderungen, und Apple-Führungskräfte glauben, dass Riccios Fokus hilfreich sein könnte.

Kim Vorrath, Software-Managerin bei Apple, gehört ebenfalls zum Augmented-Reality-Team und wird als „mächtige Kraft“ beschrieben, die dafür sorgt, dass die Mitarbeiter Fristen einhalten und gleichzeitig Fehler aufspüren.

Apple hat eine Reihe namhafter AR/VR- und KI-Experten eingestellt, darunter den Informatikprofessor Doug Bowman, den ehemaligen Magic-Leap-Ingenieur Zeyu Li, den ehemaligen Oculus-Forschungswissenschaftler Yury Petrov, den AR-Experten und ehemaligen NASA-Mitarbeiter Jeff Norris, den VR-App-Experten Sterling Crispin, und VR-Kamerahersteller Arthur van Hoff.

Viele Mitglieder des AR/VR-Teams von Apple sind möglicherweise durch Übernahmen zum Unternehmen gekommen. Seit 2015 hat Apple mehrere Unternehmen aufgekauft, die AR/VR-bezogene Produkte entwickelten, und einige seiner AR/VR-Akquisitionen liegen sogar mehrere Jahre zurück.

Akonia Holographics

Apple kaufte im August 2018 Akonia Holographics, ein Startup, das Linsen für Augmented-Reality-Brillen herstellt. Akonia Holographics bewirbt die „weltweit erste kommerziell erhältliche volumenholografische Reflexions- und Wellenleiteroptik für transparente Anzeigeelemente in Datenbrillen.“

Die von ihm hergestellten Displays sollen die HoloMirror-Technologie des Unternehmens für „ultraklare Vollfarbleistung“ verwenden, um die „dünnsten und leichtesten am Kopf getragenen Displays der Welt“ zu ermöglichen.

Vrvana

Im November 2017 kaufte Apple Vrvana, ein Unternehmen, das ein Mixed-Reality-Headset namens Totem entwickelt hat. Totem, das nie der Öffentlichkeit zugänglich gemacht wurde, wurde entwickelt, um sowohl Augmented- als auch Virtual-Reality-Technologien in einem einzigen Headset zu kombinieren und vollständige VR-Funktionen mit Pass-Through-Kameras zu vereinen, um bildschirmbasierte Augmented-Reality-Funktionen zu ermöglichen.

Totem verwendete im Wesentlichen eine Reihe von Kameras, um Bilder aus der realen Welt auf sein integriertes 1440p-OLED-Display zu projizieren, ein etwas einzigartiger Ansatz, der es von Konkurrenzprodukten wie Microsofts HoloLens unterscheidet, das ein transparentes Display verwendet, um virtuelle und erweiterte Realität zu kombinieren. Apple könnte planen, einen Teil der Technologie von Totem in einem zukünftigen Produkt zu verwenden.

PrimeSense

Apple kaufte 2013 das in Israel ansässige 3D-Körpererkennungsunternehmen PrimeSense, was Spekulationen darüber auslöste, dass bewegungsbasierte Funktionen in das Apple TV implementiert würden. Die 3D-Tiefentechnologie und Bewegungserkennungsfunktionen von PrimeSense wurden in der ersten Kinect-Plattform von Microsoft verwendet.

PrimeSense nutzt Nahinfrarotlicht, um ein unsichtbares Licht in einen Raum oder eine Szene zu projizieren, das dann von einem CMOS-Bildsensor gelesen wird, um ein virtuelles Bild eines Objekts oder einer Person zu erstellen. Dies ermöglicht bewegungsbasierte Steuerungen für Softwareschnittstellen, ist aber auch in der Lage, beispielsweise virtuelle Objekte zu messen und relative Abstände oder Größen bereitzustellen, was für Augmented-Reality-Anwendungen wie interaktives Spielen, Indoor-Mapping und mehr nützlich ist. Die PrimeSense-Technologie kann auch hochpräzise 360-Grad-Scans von Personen und Objekten erstellen, die möglicherweise für Virtual-Reality-Anwendungen nützlich sind.

Metaio

Apple hat im Mai 2015 das Augmented-Reality-Startup Metaio übernommen. Metaio hat ein Produkt namens Metaio Creator entwickelt, mit dem sich Augmented-Reality-Szenarien in nur wenigen Minuten erstellen lassen. Bevor die Software von Metaio von Apple gekauft wurde, wurde sie von Unternehmen wie Ferrari verwendet, die einen Augmented-Reality-Showroom eingerichtet haben.

Auch in Berlin kam die Metaio-Technologie zum Einsatz, um Besuchern des Geländes der Berliner Mauer per Smartphone oder Tablet zu ermöglichen, zu sehen, wie die Gegend aussah, als die Berliner Mauer noch stand. Die Technologie von Metaio könnte möglicherweise zur Implementierung von Augmented-Reality-Funktionen in Apple-Apps wie Maps genutzt werden.

Faceshift

Apple erwarb Faceshift im August 2015 und markierte damit seinen zweiten Augmented-Reality-Kauf im Jahr 2015. Vor der Übernahme durch Apple arbeitete Faceshift mit Spiele- und Animationsstudios an einer Technologie, mit der Gesichtsausdrücke mithilfe von 3D-Sensoren schnell und präzise erfasst und in animierte Gesichter umgewandelt werden können Echtzeit. Faceshift arbeitete auch an einem verbraucherorientierten Produkt, das es Menschen ermöglichen würde, ihre Gesichter in Skype in Echtzeit in Cartoon- oder Monstergesichter zu verwandeln.

Die Technologie von Faceshift bietet ein breites Spektrum möglicher Anwendungsfälle, und Apple scheint die Funktion zu nutzen, um Animoji in iPhones zu betreiben, die mit dem nach vorne gerichteten TrueDepth-Kamerasystem ausgestattet sind.

emotional

Emotient, ein Unternehmen, das Tools zur Gesichtsausdrucksanalyse entwickelt, wurde im Januar 2016 von Apple übernommen. Die Technologie von Emotient nutzt künstliche Intelligenz und maschinelles Lernen, um menschliche Emotionen zu lesen, Funktionen, die von Werbetreibenden in der realen Welt verwendet wurden, um emotionale Reaktionen darauf zu bestimmen Anzeige.

Es gibt Dutzende Dinge, die Apple mit Emotient tun könnte, von einer besseren Gesichtserkennung in der Fotos-App über die Analyse von Kundengefühlen in Apple-Einzelhandelsgeschäften bis hin zum Entsperren von iOS-Geräten, aber es bietet auch potenzielle AR/VR-Anwendungen. Wie Faceshift könnte die Technologie von Emotient verwendet werden, um Gesichtsausdrücke zu analysieren und zu transformieren, um virtuelle Avatare zu erstellen, die für Social-Media-Zwecke und Spiele nützlich sind. Für Animoji wurde wahrscheinlich emotionale Technologie verwendet.

Flyby-Medien

Flyby Media wurde Anfang 2016 gekauft und ist ein weiteres Unternehmen, das sich mit Augmented Reality beschäftigt. Flyby hat eine App entwickelt, die mit dem mit 3D-Sensoren ausgestatteten „Project Tango“-Smartphone von Google funktioniert und es ermöglicht, Nachrichten an reale Objekte anzuhängen und von anderen mit einem von Googles Geräten angezeigt zu werden.

Beispielsweise könnte eine Person ein Wahrzeichen wie die Golden Gate Bridge in San Francisco „scannen“ und eine daran angehängte Nachricht schreiben. Eine Person, die die Brücke später besucht, könnte dann die Brücke mit der Flyby-App scannen, um die Nachricht zu sehen. Die Flyby-App erregte wahrscheinlich die Aufmerksamkeit von Apple, weil sie in der Lage war, verschiedene gescannte Objekte zu erkennen und zu verstehen, eine Technologie, die Apple auf vielfältige Weise in Apps wie Fotos und Karten nutzen konnte.

Echtes Gesicht

Im Februar 2017 kaufte Apple RealFace, ein Unternehmen für Cybersicherheit und maschinelles Lernen, das sich auf Gesichtserkennungstechnologie spezialisiert hat, die möglicherweise für zukünftige Augmented-Reality-Funktionen verwendet werden könnte.

RealFace hat eine Gesichtserkennungstechnologie entwickelt, die künstliche Intelligenz für eine reibungslose Gesichtserkennung integriert. Die RealFace-Technologie wurde wahrscheinlich im iPhone X eingesetzt, Apples erstem Smartphone mit Gesichtserkennungsfunktionen in Form von Face ID.

NextVR

Apple hat im Mai 2020 NextVR übernommen, ein in Kalifornien ansässiges Unternehmen, das virtuelle Realität mit Sport, Musik und Unterhaltung kombiniert und VR-Erlebnisse zum Ansehen von Live-Events auf VR-Headsets von PlayStation, HTC, Oculus, Google, Microsoft und anderen Herstellern anbietet.

Räume

Im August 2020 kaufte Apple das VR-Startup Spaces, ein Unternehmen, das Virtual-Reality-Erlebnisse entwickelte, die Menschen in Einkaufszentren und an anderen Orten erleben konnten, wie zum Beispiel „Terminator Salvation: Fight for the Future“. Spaces hat auch Virtual-Reality-Erlebnisse für Videokommunikations-Apps wie Zoom geschaffen, was Apple möglicherweise in ein zukünftiges AR/VR-Produkt integrieren könnte.

Ventil

Laut der taiwanesischen Website DigiTimes arbeitet Apple für sein angebliches AR-Headset mit dem Spieleentwickler Valve zusammen. Valve veröffentlichte im April 2019 sein erstes VR-Headset, Valve Index.

Valve arbeitete zuvor mit Apple zusammen, um native VR-Headset-Unterstützung für macOS High Sierra bereitzustellen und nutzte dabei die eGPU-Unterstützung mit einer Mac-Version der SteamVR-Software.

Apple hat mehrere Patente angemeldet, die sich direkt auf ein Virtual-Reality-Headset beziehen und alle mehrere Jahre zurückreichen. Auch wenn die Technologie wahrscheinlich etwas darüber hinaus fortgeschritten ist, bieten sie einen interessanten Einblick in die Ideen, die Apple in der Vergangenheit erforscht hat.

Eine Patentanmeldung aus dem Jahr 2008 befasste sich mit einem relativ einfachen „persönlichen Anzeigesystem“, das beim Ansehen von Videos das Erlebnis eines Kinobesuchs nachahmen soll.

Ein zweites Patent beschrieb ein „Head Mounted Display System“ mit einer „Lasermaschine“, die Bilder auf ein klares Glasdisplay projizierte, das über den Augen getragen wurde, ähnlich einer Brille. In dieser Konfiguration wird das Headset an einen tragbaren Videoplayer wie einen iPod angeschlossen, um Rechenleistung bereitzustellen.

Ein drittes Patent, das ursprünglich im Jahr 2008 angemeldet wurde, hatte ein ähnliches Design und deckte ein brillenähnliches Video-Headset ab, mit dem Benutzer Filme und andere Inhalte ansehen können. Darin wurden zwei verstellbare optische Module beschrieben, die am Auge des Benutzers ausgerichtet sind und eine Sehkorrektur ermöglichen und die Anzeige von 3D-Inhalten ermöglichen könnten. Apple beschrieb dies als Angebot eines persönlichen Medienerlebnisses.

Ein viertes Patent aus dem Jahr 2008 betraf einen Video-Headset-Rahmen ähnlich dem Google Glass, der es einem Benutzer ermöglichen würde, sein iPhone oder seinen iPod in das Headset zu schieben, um Videos bereitzustellen. Das Headset wurde als Augmented-Reality-Produkt beschrieben, mit dem Benutzer beispielsweise ein Video ansehen oder E-Mails abrufen und dabei ihre Umgebung im Auge behalten können.

Über die Headset-bezogenen Patente hinaus hat Apple auch Patente angemeldet, die andere Möglichkeiten beschreiben, wie Virtual- und Augmented-Reality-Funktionen in seine Geräte implementiert werden könnten. Eine Patentanmeldung aus dem Jahr 2009 betraf beispielsweise mit Kameras ausgestattete 3D-Displays, deren Perspektive sich je nach relativer Position eines Benutzers änderte.

Ein solches Display würde Kopfbewegungen erkennen und es einem Benutzer ermöglichen, seinen Kopf zu bewegen, um ein 3D-Bild aus verschiedenen Winkeln zu betrachten, während gleichzeitig Elemente der Benutzerumgebung einbezogen werden.

In den Patenten aus den Jahren 2010 und 2012 wurde die Verwendung von Bewegungssensoren beschrieben, um mithilfe von Augmented-Reality-Techniken eine 3D-Schnittstelle für iOS-Geräte zu erstellen. Apple beschrieb die Benutzeroberfläche als einen „virtuellen Raum“, der durch Manipulation der Ausrichtung des Geräts über eingebaute Sensoren oder Gesten navigiert wird.

Im Jahr 2011 meldete Apple ein Patent für eine Augmented-Reality-Funktion in der Karten-App an, die sich auf die Kartierung der Entfernung zu wichtigen Sehenswürdigkeiten bezieht. Mit der Kamera könnte ein Benutzer die Umgebung um sich herum betrachten und in Echtzeit Schätzungen des Abstands zwischen zwei Punkten sowie Einblendungen relevanter Informationen erhalten.

Ein 2014 angemeldetes und 2017 erteiltes Patent betrifft ein mobiles Augmented-Reality-System, das mithilfe von Kameras, einem Bildschirm und einer Benutzeroberfläche Objekte in der Umgebung erkennen und mit virtuellen Informationen überlagern kann. Apple beschreibt das System als ideal für ein Head-Mounted-Display, zeigt aber auch den Einsatz in Smartphones.

Apple hat an Virtual-Reality-Technologie gearbeitet, die in autonomen Fahrzeugen eingesetzt werden könnte. Mehrere Apple-Patente beschreiben ein System, das ein ins Auto integriertes Virtual-Reality-System mit einem VR-Headset umfasst, das getragen wird, um Unterhaltung zu bieten und die Übelkeit beim Autofahren bei Aufgaben wie Lesen und Arbeiten während der Fahrt zu lindern.

Eine Patentanmeldung vom Juli 2020 deckt mögliche Eingabemethoden mit Apple Glasses ab und beschreibt ein System, bei dem die Brille mithilfe von Infrarot-Wärmesensoren erkennt, wenn jemand ein reales Objekt berührt, sodass die Brille dann Steuerelemente auf eine reale Oberfläche projizieren kann.

Mit dieser Methode könnte die Apple Glasses in der AR-Steuerungsschnittstelle auf jedes tatsächliche Objekt in der realen Welt projizieren und so einen Mixed-Reality-Overlay-Effekt erzielen.

Apple hat im Februar 2021 eine Reihe von Patenten im Zusammenhang mit seiner Arbeit an einem angeblichen Mixed-Reality-Headset angemeldet, wobei die Patente Designelemente, Objektivanpassung, Eye-Tracking-Technologie und Software abdecken.

Apple hat verschiedene Methoden entwickelt, um den Tragekomfort eines Headsets zu erhöhen und es gleichzeitig sicher zu halten und vor Licht zu schützen. Darüber hinaus gibt es ein detailliertes Linsenanpassungssystem, das die Linsen mithilfe von Flüssigkeit nahtlos verschiebt, um die Passform für jeden Benutzer individuell anzupassen.

Apple beschreibt außerdem ein Eye-Tracking-System, das Infrarotlicht zur Positionserkennung verwendet, und es gibt auch ein Patent, wie Dokumente mithilfe des Headsets und der Gestenerkennung in einem virtuellen 3D-Raum bearbeitet werden können.

Apple verfügt über patentierte Systeme zum Aufzeichnen von Videos über ein Headset, bei denen integrierte Blickverfolgungssensoren einen Hinweis darauf liefern könnten, wohin eine Person gerade blickt, und die eine integrierte Kamera anweisen könnten, die Szene aufzuzeichnen, in der sich die Augen des Benutzers befinden. anstatt einfach aufzuzeichnen, was sich vor dem Benutzer befindet.

Eine weitere im Februar 2021 eingereichte Patentanmeldung zeigte, dass Apple an einem am Finger montierten Gerät mit einer Reihe von Sensoren und haptischem Feedback forscht, das als Steuergerät für ein Mixed-Reality-Headset verwendet werden soll.

Das Steuergerät hat eine Form, die es Benutzern ermöglicht, Objekte in ihrer Umgebung auf natürliche Weise zu spüren und genau zu bestimmen, wie der Benutzer seinen Finger bewegt und mit Oberflächen interagiert. Das System soll so genau sein, dass es erkennen kann, wie stark ein Benutzer auf eine Oberfläche drückt und in welche Richtung diese Kraft genau wirkt, und als Reaktion darauf ein haptisches Feedback liefert.

In Verbindung mit einem AR- oder VR-Headset könnte dieses am Finger montierte Gerät laut Apple „einem Benutzer das Gefühl vermitteln, auf einer physischen Tastatur zu interagieren, wenn der Benutzer mit dem Finger auf eine Tischoberfläche tippt“ oder „einem Benutzer ermöglichen, einen Joystick zu verwenden“. -Typ-Eingabe“ für Spiele, bei denen nur die Bewegung der Fingerspitzen des Benutzers verwendet wird.

Apple-Analyst Ming-Chi Kuo glaubt, dass Apple Augmented-Reality-„Kontaktlinsen“ planen könnte, die irgendwann in den 2030er Jahren auf den Markt kommen könnten. Laut Kuo werden die Linsen die Elektronik aus der Ära des „Visible Computing“ in das „Invisible Computing“ bringen. Derzeit gibt es für die Kontaktlinsen „keine Sichtbarkeit“ und es handelt sich nicht um ein garantiertes Produkt, das Apple entwickeln wird.

Apple entwickelte auch Augmented-Reality-„Apple Glasses“, die etwa ein Jahr nach dem Headset auf den Markt kommen sollten, aber das Projekt wurde auf Eis gelegt, damit sich das Unternehmen stattdessen auf eine günstigere Version des AR/VR-Headsets konzentrieren kann. Die Markteinführung der Apple Glasses wird frühestens im Jahr 2027 erwartet.

Eine zukünftige Version des AR/VR-Headsets könnte über Eingabehilfen verfügen, die Menschen helfen sollen, die an Augenkrankheiten und Sehproblemen leiden.