Устройство способно не просто идентифицировать изображения, но и извлекать текстовые фрагменты с них.
Компания Google опубликовала в своем блоге отчет об успехах приложения Google Lens за прошедший год. На старте в его библиотеке хранилось 250 тысяч объектов, сейчас их суммарное количество превышает миллиард, и, ко всему прочему, программа обзавелась новыми функциями.
Значительное количество объектов было получено благодаря сервису Google Shopping, созданного для поиска товаров в онлайн-магазинах. Алгоритм Google Lens сопоставляет изображения с тысячами записей в поисковой системе, поэтому распознавание объекта по фотографии происходит быстро. Такой подход позволил добавить большой объем информации, но имеет и ограничения. В частности, он не распознает старинные предметы, которые не представлены в онлайн-магазинах, такие как ретроконсоли или кассетные плееры. Соответственно, Google Lens также не сможет их идентифицировать.
Специалисты компании также указывают на то, что алгоритм пока не всегда функционирует безупречно. Это объясняется рядом причин, включая неточное соответствие фотографий пользователей изображениям, используемым для обучения модели, а также углом съемки и качеством фотографий. Они сообщают о ведении работ по устранению данной проблемы, в частности, путем предоставления искусственному интеллекту большего количества изображений, полученных с помощью камер мобильных устройств.
Изначально Google Lens умело предоставлять сведения о заведениях, идентифицируя их по изображениям вывесок. В настоящее время разработчики расширили функциональность приложения, обучив его распознавать текст. Теперь Lens может скопировать текст, выделенный на фотографии, учитывая при этом разнообразие языков и шрифтов, благодаря данным, полученным из базы Google Books, на которых проводилось обучение. Для различения схожих символов, таких как ноль и буква «о», алгоритм проверяет написание в сети.
Теперь в приложении есть функция поиска по стилю, благодаря которой можно найти похожие товары, используя фотографию. При этом программа будет осуществлять поиск среди предложенных образцов из магазина, поэтому важно правильно выбирать ракурс. В России Google Lens интегрирован в приложение «Google Фото».
Весной корпорация Google анонсировала пару экспериментов, которые помогут искусственному интеллекту лучше понимать семантическую связь между словами. Несмотря на серьезную задачу, сами программы оформлены в виде игр, в которых ответы участников постоянно совершенствуют способности алгоритма.