Компания Google анонсировала внедрение технологии Magic Pointer в сервис Gemini, интегрированный в браузер Chrome. Новая разработка на базе искусственного интеллекта призвана изменить привычный способ взаимодействия с веб-страницами, позволяя системе распознавать объекты, на которые указывает пользователь.
Контекстное понимание и интуитивное управление
Разработчики из подразделения Google DeepMind подчеркивают, что дизайн компьютерного курсора практически не менялся на протяжении последних 50 лет. Целью проекта Magic Pointer является создание интуитивного интерфейса, который позволяет использовать возможности нейросетей без прерывания рабочего процесса. Вместо копирования текста или составления объемных текстовых запросов пользователю достаточно навести курсор на нужный элемент на экране и задать уточняющий вопрос.
Система способна анализировать контекст того, на что указывает пользователь, и определять намерение. Примеры практического применения технологии включают:
- Сравнение нескольких товаров на странице интернет-магазина простым выделением.
- Визуализация объектов в интерьере, например, расстановка мебели в режиме дополненной реальности.
- Быстрая интерпретация фрагментов кода, абзацев текста или изображений.
Интеллектуальная работа с данными
Ключевая особенность Magic Pointer заключается в трансформации статических пикселей на экране в интерактивные объекты. Gemini получает способность распознавать даты, адреса, локации и другие данные, представленные в любом цифровом формате, включая видеоролики или рукописные заметки. Ожидается, что взаимодействие станет более естественным: вместо сложных команд можно будет использовать простые фразы вроде «объясни это» или «исправь это», опираясь на физическое указание объекта.
Ограничения и доступность
Наиболее продвинутые функции Magic Pointer будут реализованы в готовящихся к выпуску ноутбуках Googlebooks. Версия для браузера Chrome на текущем этапе, вероятно, получит ограниченный набор базовых инструментов. На данный момент сроки глобального развертывания функции не уточняются, а процесс внедрения может носить поэтапный характер.
* — деятельность компании запрещена на территории РФ
