Erste Schritte bei der visionOS-Entwicklung

visionOS ist Apples Betriebssystem für Spatial Computing und treibt Apple Vision Pro an. Der Einstieg als visionOS-Entwickler bedeutet, neue Interaktionsparadigmen, ein eigenständiges Architekturmodell und räumliche Designprinzipien zu erlernen, die sich grundlegend von der Entwicklung für Flachbildschirme unterscheiden.

Dieses Handbuch behandelt den praktischen Weg zur visionOS-Entwicklung für Ingenieure, die von iOS, macOS oder anderen XR-Plattformen kommen.

Die visionOS-Architektur verstehen

visionOS-Apps können in drei Modi existieren, und das Verstehen hiervon ist der Ausgangspunkt für alles andere:

Windowed (Shared Space): Ihre App läuft neben anderen Apps als flache oder 3D-Fenster, die in der physischen Umgebung des Benutzers schweben. Dies ist die Standardeinstellung für Produktivitäts-Apps und der häufigste Modus für Apps, die sich wie vertraute Software in einem räumlichen Kontext anfühlen.

Volumetric (Shared Space): Ihre App nimmt einen begrenzten 3D-Raum in der Umgebung des Benutzers ein. Andere Apps sind noch sichtbar und zugänglich. Dies funktioniert für Apps mit 3D-Inhalten, die physische Tiefe benötigen, ohne vollständige Immersion zu erfordern.

Full Space: Ihre App übernimmt das gesamte Sichtfeld, ähnlich wie bei einer VR-Erfahrung. Andere Apps sind verborgen. Dies ist für Spiele, Simulationen, immersive Medien und jede Erfahrung geeignet, bei der die volle Aufmerksamkeit des Benutzers auf der Anwendung liegen sollte.

Die meisten Enterprise-Anwendungen beginnen im Windowed- oder Volumetric-Modus. Full Space ist für Erfahrungen reserviert, die echte totale Immersion erfordern.

Core Frameworks

SwiftUI auf visionOS

SwiftUI ist das primäre UI-Framework für visionOS. Apple hat es mit 3D-spezifischen Komponenten erweitert, einschließlich RealityView zum Einbetten von 3D-Inhalten, Model3D zum Laden von USDZ-Modellen und räumlichen Layout-Modifiern zum Positionieren von Inhalten im 3D-Raum.

Wenn Sie SwiftUI für iOS kennen, ist der Übergang zu visionOS natürlicher als der Wechsel von einer anderen XR-Plattform. Das mentale Modell ist ähnlich, erweitert um drei Dimensionen.

RealityKit

RealityKit verwaltet das 3D-Rendering, die Physiksimulation, Animation und räumliches Audio für visionOS. Wichtige Konzepte:

RealityView bettet RealityKit-Inhalte in SwiftUI ein. Entity-Component-System (ECS)-Architektur organisiert 3D-Objekte. ARKit-Integration bietet Umgebungsverankerung, Flächenerkennung und Hand-Tracking über die Sensoren des Geräts.

ARKit auf visionOS

ARKit unterstützt die Umgebungsverstehungsfähigkeiten von visionOS. Wichtige Fähigkeiten:

Flächenerkennung identifiziert horizontale und vertikale Oberflächen in der physischen Umgebung. Räumliche Anker speichern die Position von digitalen Inhalten relativ zum physischen Raum über Sitzungen hinweg. Szenenrekonstruktion erstellt ein Netz der umgebenden Umgebung.

Der Zugriff auf ARKit-Sensoren erfordert explizite Benutzergenehmigung. visionOS hat strenge Datenschutzanforderungen bezüglich Kamera, LiDAR, Eye-Tracking und Umgebungsscanning. Planen Sie Ihre Genehmigungsanforderungsabläufe sorgfältig.

Einrichten Ihrer Entwicklungsumgebung

Sie benötigen einen Mac mit macOS 14 Sonoma oder später, Xcode 15.2 oder später und optional ein Apple Vision Pro-Gerät zum Testen auf Hardware. Der Xcode-Simulator ermöglicht UI-Entwicklung und grundlegende Tests ohne Gerät, kann aber räumliches Audio, Eye-Tracking oder Umgebungsbewusstsein nicht simulieren.

Erstellen Sie Ihr erstes visionOS-Projekt

Öffnen Sie Xcode und erstellen Sie ein neues Projekt. Wählen Sie die visionOS-Plattform aus. Sie sehen drei Startvorlagen: Windowed App (startet im Shared Space mit Standardfenstern), 3D App (startet im Shared Space mit RealityKit-Integration) und Immersive Space App (startet im Full Space).

Für die meisten Enterprise-Anwendungen beginnen Sie mit der Windowed App-Vorlage und fügen schrittweise volumetrische oder immersive Funktionen hinzu, wenn sich Ihr Verständnis der Plattform vertieft.

Wichtige WWDC-Sessions

Apples WWDC-Sessions bleiben die zuverlässigste technische Referenz für visionOS-Entwicklung:

"Meet SwiftUI for spatial computing" behandelt die Erweiterungen von SwiftUI für visionOS. "Develop your first immersive app" führt Sie durch ein komplettes Projekt von der Erstellung bis zur Bereitstellung. "Create accessible spatial experiences" behandelt das VisionAccessibility Framework. "Design spatial UI" bietet die Prinzipien für das räumliche Interface-Design.

Diese Sessions sind kostenlos unter developer.apple.com/videos verfügbar.

Spatial Design Principles

Das räumliche Design auf visionOS folgt Prinzipien, die Apple in den Human Interface Guidelines für visionOS dokumentiert hat. Wichtige für Entwickler, die von anderen Plattformen kommen:

Windows folgen dem Benutzer. visionOS-Fenster sind an den Benutzerraum gebunden und repositionieren sich, wenn der Benutzer sich bewegt. Versuchen Sie nicht, Fenster in der physischen Umgebung zu fixieren, es sei denn, Sie benötigen explizit räumliche Verankerung.

Inhalt in einer komfortablen visuellen Zone. Apple empfiehlt, primäre Inhalte innerhalb von 1-2 Metern und einem 180-Grad-Bogen um den Benutzer zu platzieren. Inhalte, die hinter oder weit entfernt vom Benutzer platziert sind, erzeugen Unbehagen.

Konkurrieren Sie nicht mit der Umgebung des Benutzers. Im gemeinsamen Raum existiert Ihre App neben dem Zimmer des Benutzers. Verwenden Sie Tiefe, Unschärfe und visuelles Gewicht, um eine Hierarchie zu etablieren, ohne die physische Umgebung des Benutzers zu überlasten.

Eye Tracking ist kein Cursor. Augen sind ein Eingabesignal für die Auswahl, kein Cursor, der kontinuierlich nachverfolgt wird. Entwerfen Sie für verweildauerbasierte Auswahl oder Blick-plus-Gesten-Bestätigung, nicht für kontinuierliches Eye-Cursor-Tracking.

Testing auf Device

Der visionOS Simulator deckt die meisten UI-Entwicklungsaufgaben ab, kann jedoch mehrere kritische Erfahrungen nicht simulieren: räumliche Audiopositionierung, die tatsächlichen Sichtfeldeinschränkungen des Geräts, Hand-Tracking mit echten Händen und alles, das die Passthrough-Kamera oder LiDAR erfordert.

Für Anwendungen, bei denen räumliche Platzierung, physische Interaktion oder Umgebungserkennung wichtig sind, ist Device-Testing nicht optional. Budgetieren Sie Hardware, wenn Sie Produktionsanwendungen erstellen.

Häufige Anfängerfehler

Nicht im Simulator testen in verschiedenen Space-Modi: Der Simulator ermöglicht es Ihnen, zwischen Fenster-, Volumen- und immersiven Modi zu wechseln. Testen Sie alle Modi, die Ihre App unterstützt.

UIKit-Muster direkt importieren: UIKit und SwiftUI für flaches iOS müssen für visionOS angepasst werden. Hover-Effekte, Langdruck-Menüs und Touch-Muster müssen für Eye-and-Pinch-Interaktion überdacht werden.

Räumliches Audio ignorieren: visionOS Spatial Audio ist ein Kernbestandteil der Immersion. Anwendungen, die räumliches Audio durchdacht hinzufügen, fühlen sich dramatisch präsenter an als diejenigen, die nur Stereo-Ausgabe verwenden.

Vergessen, dass sich Benutzer in einem physischen Zimmer befinden: UI-Elemente, die auf den Benutzer zufliegen, unerwartete Vollraum-Starts oder Erfahrungen, die das Umgebungsbewusstsein eliminieren, wirken desorientierend und hinterlassen einen schlechten ersten Eindruck.

Ressourcen zum Weiterlesen

Die Apple Developer Dokumentation unter developer.apple.com/visionos bietet die offizielle Referenz für alle Frameworks.

Die Human Interface Guidelines für visionOS enthalten Apples räumliche Designprinzipien und sind es wert, vollständig gelesen zu werden, bevor Sie mit der UI-Designarbeit beginnen.

Die Apple Developer Forums haben einen aktiven visionOS-Bereich, in dem Apple-Ingenieure auf technische Fragen antworten.

ShapesXRs Fallstudie zur visionOS räumlichen UI-Implementierung von Treeview bietet ein reales Beispiel für die Anwendung dieser Prinzipien in einer produktiven Enterprise-Anwendung.

Der Einstieg in die visionOS-Entwicklung erfordert Zeit, um plattformspezifische Muster zu erlernen, anstatt bestehende Fähigkeiten direkt anzupassen. Die Entwickler, die am schnellsten auf der Plattform erfolgreich sind, sind diejenigen, die visionOS als neues Paradigma und nicht als Erweiterung der iOS-Entwicklung betrachten. Die Human Interface Guidelines, WWDC-Sessions und On-Device-Tests sind der zuverlässigste Weg nach vorne.

Siehe auch: Apple Vision Pro on Reality Atlas