Apple позволит Vision Pro «видеть» за вас.

Apple представила новые функции доступности для гарнитуры Vision Pro, которые могут превратиь ее в замену зрения после запуска visionOS позднее в этом году. Обновление использует основную камеру гарнитуры для увеличения видимого изображения или для включения живых, основанных на машинном обучении, описаний окружения. Новая функция увеличения работает как с виртуалными, так и с реальними объектами. В качестве примера в анонсе Apple показан вид от первого лица, где пользователь Vision Pro переходит от чтения увеличенного изображения реальной кулинарной книги к приложению Reminders, также увеличенному для облегчения чтения. Это привлекательное применение Vision Pro, освобождающее одну руку для тех, кто мог бы выполнить то же самое с помощью сопоставимых функций смартфона.

Также в рамках обновления функция VoiceOver от Apple будет “описывать окружение, находить объекты, читать документы и многое другое” в visionOS. Компания выпустит API, чтобы предоставить одобренным разработчикам доступ к камере Vision Pro для приложений доступности. Это может быть использовано для таких вещей, как “живая, индивидуалная помощь в визуальной интерпретации в приложениях, таких как Be My Eyes, предоставляя пользователям больше возможностей для понимания своего окружения без помощи рук”.

Возможно, это не кажется значительным сейчас, учитывая, по сообщениям, скромные объемы продаж Vision Pro, но эти функции могут оказаться полезными в будущих носимых устройствах Apple, о которых ходят слухи, таких как AirPods с камерой или новые умные очки Apple, похожие на Meta Ray-Ban.

Наконец, Apple сообщает, что добавляет новый протокол в visionOS, iOS и iPadOS, поддерживающий интерфейсы мозг-компьютер (BCI) с использованием функции Switch Control, которая обеспечивает альтернативные методы ввода, такие как управление аспектами телефона с помощью движений головы, зафиксированных камерой iPhone. Согласно отчету Wall Street Journal, Apple работала над этим новым стандартом BCI с Synchron, компанией, разрабатывающей мозговые имплантаты, позволяющие пользователям выбирать значки на экране силой мысли. В отчете отмечается, что технология Synchron не позволяет выполнять такие действия, как перемещение курсора мыши, что было достигнуто Neuralink Илона Маска.