Нейросеть научили определять настроение музыки в коротких видео

Исследователи под руководством Лю Чжици создали алгоритм, объединяющий возможности акустического анализа и обработки естественного языка. В отличие от существующих систем, предназначенных для полноценных музыкальных композиций, SALF-Net адаптирована под специфику контента TikTok и аналогов. Модель использует два независимых канала восприятия: акустический блок, обученный на обширных библиотеках, и языковую модель для анализа текстов песен. Архитектура позволяет системе сохранять точность даже при отсутствии лирики, опираясь исключительно на ритмические и тембральные характеристики трека.

В ходе тестирования на базе из 30 000 размеченных пользователями роликов разработка опередила технологические решения от Alibaba и NVIDIA. Точность классификации SALF-Net достигла 61,8%, при этом количество ошибок оказалось в два раза ниже, чем у конкурентов. Система способна не только подбирать базовые метки вроде «энергичной» музыки, но и дополнять их контекстуальными категориями, например «мотивирующей» или «вечериночной», ориентируясь на психологическую шкалу Рассела для оценки эмоциональных координат.

Высокая скорость работы позволяет модели обрабатывать до 12 миллионов роликов в сутки на одной видеокарте среднего класса. Облегченная версия алгоритма тратит всего 7 миллисекунд на анализ одного фрагмента при сохранении 95% эффективности. Несмотря на успехи, разработчики отмечают необходимость дальнейшего совершенствования: текущий словарь меток ограничен английским языком и не учитывает быстро меняющиеся тренды интернет-культуры.