Microsoft Copilot теперь может «видеть» содержимое вашего экрана в Edge.

Copilot Vision, AI-ассистент от Microsoft, способный интерпретировать происходящее на экране и помогать в работе с приложениями, теперь доступен для бесплатного использования в браузере Edge. Об этом заявил Мустафа Сулейман (Mustafa Suleyman), генеральный директор Microsoft AI, на платформе Bluesky.

Vision представляет собой «голосовой опыт», то есть взаимодействие с ним осуществляется посредством голосовых команд, после которых пользователь ожидает ответа от Copilot. Сулейман отмечает, что при активации функции Copilot Vision способен «видеть» то, что отображается на экране пользователя. Он предлагает использовать Copilot Vision для получения пошаговых инструкций во время приготовления пищи или для анализа описаний вакансий с последующей подготовкой к собеседованию или написанием сопроводительного письма.

Согласно странице поддержки Microsoft, Copilot Vision может выделять определенные области экрана для облегчения поиска релевантной информации, однако он не переходит по ссылкам и не выполняет никаких действий от имени пользователя. Более широкие возможности Copilot Vision, работающие на системном уровне, по-прежнему доступны только подписчикам Copilot Pro. С подпиской Vision выходит за пределы браузера Edge, позволяя использовать его для помощи в работе с функциями Photoshop или программ для видеомонтажа, а также для получения подсказок в процессе игры, например, в Minecraft.

Чтобы опробовать Copilot Vision, необходимо открыть ссылку на веб-сайт Microsoft в браузере Edge. Это должно привести к появлению запроса на активацию функции. После предоставления разрешения можно открыть боковую панель Copilot на веб-сайте, нажать на значок микрофона, и начнется сеанс Vision, что будет обозначено звуковым сигналом и изменением цветовой схемы браузера.

В некоторых случаях, как это произошло при тестировании, браузер может не сразу предложить активировать функцию, или элементы управления могут не отобразиться. Компания Microsoft заявляет, что логирует ответы Copilot, но не собирает пользовательские запросы, изображения или контент страницы во время сеанса Copilot Vision. Когда пользователь готов прекратить демонстрацию экрана Copilot, он может завершить сеанс или закрыть окно браузера.