Яндекс научил Алису описывать изображения в интернете

Нейросеть Алиса в Яндекс Браузере получила новую возможность — анализировать изображения в интернете и формировать их текстовые описания. Эта функция открывает незрячим и слабовидящим пользователям доступ к визуальному контенту: теперь они могут узнавать, что изображено на иллюстрациях в статьях, фотографиях товаров в онлайн‑магазинах или снимках в социальных сетях.Как это работает: Алиса определяет содержимое картинки и при необходимости предоставляет детализированную информацию. К примеру, рассмотрев фото платья в интернет‑магазине, она опишет его ключевые характеристики — цвет, фасон и особенности посадки.

Технологической основой нововведения стала нейросетевая мультимодальная модель, способная одновременно обрабатывать как текстовые, так и графические данные. В отличие от простых систем распознавания объектов, она анализирует изображение комплексно: выявляет взаимосвязи между элементами, учитывает контекст и смысловые нюансы. Благодаря этому генерируемые описания получаются ёмкими и содержательными — они достоверно передают суть изображения и помогают незрячим пользователям сформировать точное представление о его содержании.

А теперь наш комментарий. Как незрячий человек в принципе сможет пользоваться Яндекс браузером? Чтобы получить описание, нужно выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки — либо навести на изображение фокус программы экранного доступа. По нашему мнению процедура непосильная для незрячих людей. Получается Яндекс придумал эту функцию больше для инфоповода, чем для реальной заботы о незрячих.