Gemini теперь может видеть ваш экран и оценивать ваши вкладки

Google запускает новые функции компьютерного зрения для Gemini Live. Теперь помощник искусственного интеллекта может "видеть" экран вашего телефона или видеопоток с камеры. Эти обновления реализуются благодаря Project Astra, зонтичной программе исследований и разработок в области ИИ от Google.

Наконец-то Gemini Live от Google получает дар зрения. Технологический гигант тихо начал внедрять функции, которые превращают ваш скромный смартфон в всевидящее око для помощника искусственного интеллекта. Новые возможности были обнаружены пользователем Reddit, который позже поделился видео с демонстрацией этих функций. Обновление позволяет Gemini просматривать экран или объектив камеры и обрабатывать то, что он видит.

Запуск знаменует дебют проекта Astra от Google, о котором так много говорили и ждали. Судя по видео, "глаза" Gemini могут анализировать ваш экран в режиме реального времени с помощью кнопки "Поделиться экраном с Live". Gemini давно умел переваривать статические скриншоты, но обновление поддерживает непрерывный взгляд на ваш экран, наблюдая за тем, что вы делаете на телефоне – к лучшему или к худшему. Другой инструмент превращает камеру вашего телефона в глаз Gemini. Google продемонстрировал, что ИИ может точно различать цвета и объекты.

Пока неясно, будет ли конечный продукт соответствовать платоническому идеалу демонстраций.

Новая функция сначала становится доступной для подписчиков Gemini Advanced, которые платят 20 долларов в месяц за план Google One с дополнительным ИИ. Судя по показанному пользователем Reddit телефону Xiaomi, выпуск демократичен. Ранее Google намекнул, что владельцы Pixel и Galaxy S25 получат более быстрый или лучший доступ к Project Astra.

Существуют другие помощники искусственного интеллекта с аналогичными инструментами для "видения", но они в основном связаны с сторонними приложениями, такими как Microsoft Copilot, ChatGPT, Grok и даже новое приложение HuggingSnap от Hugging Face. Наличие встроенного в Android ИИ реального времени с подключением к экрану и камере, безусловно, поможет привлечь пользователей, заинтересованных в помощнике ИИ, хотя бы попробовать Gemini.

При этом Google важно отметить время выхода функции, поскольку она пытается вырваться вперед среди помощников ИИ. Хотя Amazon активно рекламирует свое новое обновление "Alexa Plus", оно еще не доступно. В то же время обновленная Siri от Apple неоднократно откладывалась.

Это дает Google временное, но очень реальное преимущество в гонке помощников ИИ. Gemini, несмотря на все ранние сбои и драму с переименованием (RIP Bard), сейчас делает то, чего ни Alexa, ни Siri не могут пока сделать. Google обещал, что Project Astra будет "помощником следующего поколения", которым все захотят пользоваться весь день. Так что следите за новыми функциями, которые появятся в ближайшие недели.