Google наделила свою поисковую систему новой и весьма забавной функцией с говорящим названием «hum to search» — теперь каждый раз, когда в голове начинает беспрерывно играть песня, название которой никак нельзя вспомнить, можно попробовать напеть ее мотив прямо в поиске.

Функциональность, представляющая собой своего рода человеческую версию Shazam, стала одним из главных анонсов презентации Search On, посвященной последним достижениям компании в области ИИ.

«У всех было такое, что в голове застряла мелодия, но ее текста не помним. Теперь, в такие моменты, вам просто нужно напеть для поиска, и наши модели ИИ смогут подобрать мелодию и найти нужную песню».

из заявления Google

В Google говорят, что, используя алгоритмы машинного обучения, натренировали нейронную сеть таким образом, чтобы она могла по набору звуков определить потенциальные совпадения песен.  компании особо подчеркивают, что для использования функции вовсе не обязательно иметь идеальный музыкальный слух. По соответствующему запросу или, корректнее сказать, голосовому напеву, система выдаст наиболее вероятные варианты.

В Google объясняют принцип работы технологии так:

«Мелодия песни похожа на отпечаток пальца: каждая из них имеет свою уникальную идентичность. Мы создали модели машинного обучения, которые могут связать напев, свист или пение с соответствующим «отпечатком пальца»».

Используемые Google модели машинного обучения, способные распознавать песни на основе различных источников, в том числе людей, которые поют, свистят или напевают мелодии, а также студийных записей, превращают звук в числовую последовательность, соответствующую мелодии песни.

Алгоритмы также убирают все другие детали, такие как сопроводительные инструменты, тембр и тон голоса, оставляя основной цифровой отпечаток песни. Эти отпечатки система прогоняет по базе с тысячами песен со всего мира, определяя потенциальные совпадения в режиме реального времени.

В основе лежат разработки команды AI Research по технологии распознавания музыки. Еще в 2017 года на смартфонах Pixel 2 дебютировала программа Now Playing, использующая для распознавания музыки глубокие нейронные сети. Спустя год эта технология пришла в SoundSearch в приложении Google, одновременно компания увеличила охват на каталог с миллионами песен. Функция hum to search — дальнейшее эволюционное развитие технологии с возможностью распознания по одному напетому мотиву.

Функциональность уже доступна в мобильном приложении Google на Android и iOS. Получить доступ к ней можно как в самом приложении (нужно только установить последнюю версию), так и через виджет Поиска Google. Чтобы активировать функцию, необходимо коснуться значка микрофона и произнести головную команду «что это за песня?» или нажать кнопку «Найти песню», после чего напевать мелодию в течение 10-15 секунд.