YouTube заслуговує на оплески: адже відеоплатформа тепер може автоматично включати [APPLAUSE] та інші звукові ефекти до субтитрів відео. Розширення підписів, оголошене в четвер, 23 березня, стало можливим завдяки глибоким нейронним мережам, формі штучного інтелекту.
Наразі YouTube може автоматично позначати лише оплески, музику та сміх, але ці три звукові ефекти були описами, які творці вмісту додавали вручну над будь-яким іншим шумом із закритими титрами. Остання функція базується на функції автоматичних субтитрів, запущеній у 2009 році для тексту, але додає перші звукові ефекти до системи.
YouTube заявляє, що програма працює подібно до виявлення об'єктів на зображеннях, але зіткнулася з кількома труднощами через розпізнавання об'єктів. Щоб програма розпізнавала лише ці три звуки, інженери YouTube повинні були навчити програму виявляти ці звуки, тимчасово відокремлювати їх, а потім вставляти цей розпізнаний звук до титрів.
Система також мала тенденцію боротися зі звуковими ефектами, які виникали одночасно з іншими звуками, такими як сміх та розмови. Ще однією проблемою було знайти достатньо великий набір даних для навчання системи, яка ще не була адекватно позначена ручним введенням даних.
Мережа глибокого навчання послідовно аналізує короткі сегменти і здатна передбачити ймовірність цих звукових ефектів зі швидкістю близько 100 кадрів в секунду. Однак інженери YouTube побудували систему таким чином, що надалі дозволять додавати до системи додаткові звукові ефекти.
То навіщо оплески, музика та сміх? Окрім того, що вони є найчастіше ручно налаштованими мітками в системі близьких субтитрів, кожен із цих звуків також має лише одне значення. "Кільце", пояснив YouTube, пропонуючи приклад, може бути дзвоном із дзвінка, телефону чи сигналізації, що представляє абсолютно новий виклик для програмного забезпечення.
За даними YouTube, щодня переглядається понад 15 мільйонів відео з автоматичними субтитрами. Під час тесту останнього оновлення автоматичних титрів дві третини заявили, що ярлики звукових ефектів покращують загальний досвід.
