Як Samsung втілив AR-емоджи в життя в Galaxy S9

AR Emoji, вбудований у додаток для камери Samsung Galaxy S9, дозволяє використовувати фронтальну камеру для створення та надсилання цифрових аватарів мультфільмів. Подібно до концепції Animojis від Apple, AR Emoji фіксує ваші рухи обличчя та відображає їх у вигляді персонажа чи тварини. Але завдяки функції «Створи мої смайлики» ви також можете створити одного із себе, просто зробивши селфі - дозволяючи вибрати тон шкіри, наряд, зачіску, колір волосся та окуляри.

За допомогою AR Emoji Samsung вирішив вирішити проблему, яку він вважає проблемою - знайти спосіб замінити існуючі смайли на інтерактивні. Компанія хотіла зробити це простим способом, надаючи користувачам потрібні інструменти для фіксації емоцій, але все ж дозволяла їм легко ділитися результатами на різних платформах обміну повідомленнями.

Отже, як Samsung створив свої AR Emojis? Для початківців це дісталося безпосередньо експертам з 3D-анімації, які оживили деяких найпопулярніших персонажів Голлівуду.

Від великого екрану до камери смартфона

Щоб забезпечити нову функцію, Samsung співпрацював із Loom.ai - стартапом із Сан-Франциско, що спеціалізується на 3D-анімації. Програмне забезпечення компанії дозволяє користувачам створювати повністю персоналізовані та настроювані 3D-аватари з однієї фотографії, без спеціального обладнання та датчиків глибини. Завдяки партнерству та набору для розробки програмного забезпечення (SDK) Samsung поєднала технологію Loom.ai з технологією камери S9 (доповнена) реальність та розпізнавання обличчя), щоб зробити можливим власні AR Emoji.

Samsung хоче знайти спосіб замінити існуючі смайли на інтерактивні.

Бачення Loom.ai починалося з фільмів - точніше з мультфільмів та супергероїв. Раніше працюючи в таких популярних компаніях, як DreamWorks та Lucasfilm, засновники Loom.ai - Махеш Рамасубраманян та Кіран Бхат - допомогли вивести на великий екран таких відомих персонажів, як Шрек та Халк.

Щоб внести особистість у цих персонажів, вони використовували технологію фіксації вистави, щоб включити акторів, які їх зіграли, - записуючи рухи актора, а не їх зовнішній вигляд. Але побачивши, як глядацька аудиторія реагує на їхні 3D-твори, Рамасубраманян і Бхат вирішили перейти на цю технологію далі - за межі Голлівуду - заснувавши Loom.ai, яка зосереджена на смартфонах.

"Люди миттєво реагують на те, що ці персонажі оживають, коли ними керують людські актори", - сказав Рамасубраманян, який виконує обов'язки генерального директора та співзасновника компанії Digital Trends. "Ми запустили Loom.ai з метою, щоб нам потрібно було знайти простий спосіб, щоб кожна людина могла бачити себе в 3D, і для цього нам довелося створити нову технологію".

AR Emoji Бренда Столяр / Цифрові тенденції

Для створення художніх фільмів для створення тривимірного аватара потрібне безліч обладнання - дороге обладнання та програмне забезпечення, макіяж та обстановка в студії. Але Loom.ai знайшов спосіб спростити процес фіксації рис людини без звичайних інструментів; натомість його запатентована технологія використовує одну фотографію та глибоке навчання для аналізу зображення. Якщо на фотографії немає міміки, алгоритм глибокого навчання розглядає пікселі та автоматично створює обличчя, яке інкапсулює правильний рух м’язів.

"Коли партнерство Samsung розгорнулося, ми мали шанс впровадити цю складну технологію на пристрої, що, на нашу думку, вже є досить переконливим інженерним завданням", - сказав Бхат, технічний директор та співзасновник Loom.ai, Digital Trends. "Це великий стрибок технологій у тому, що можна взяти деякі з цих ідей та прагнень з великого екрану та перенести їх на мобільний телефон".

Для забезпечення AR Emoji Samsung заручився допомогою Loom.ai - стартапу із Сан-Франциско, що спеціалізується на 3D-анімації.

Включення цієї технології в апаратне забезпечення Galaxy S9 вимагало від Loom.ai перебудови своїх алгоритмів для запуску на пристрої. Але Loom.ai не створив AR Emoji поодинці: і Ramasubramanian, і Bhat надають Samsung значних зусиль для оптимізації програмного забезпечення. Надаючи SDK для інтеграції у смартфони, засновники Loom.ai вважають, що Samsung може зробити структуру набагато багатшою, додавши більше контенту та опцій налаштування в майбутньому.

Як Galaxy S9 створює цифровий аватар

Отже, як саме S9 (і S9 Plus) створює AR Emojis? Хоча Samsung не розкрила свого секретного соусу, вона дала Digital Trends погляд під капот.

Відпрацьовуючи технологію Loom.ai, камера телефону знімає та обробляє 2D-зображення в 3D. Для подальшого вдосконалення S9 використовує додаткове програмне забезпечення - відстеження обличчя та технологію Blend Shape від Samsung - для надання міміки для AR Emoji.

як Samsung оживив ar emojis у галактиці s9 Disney Emoji Partnership 2Міккі Маус AR Emoji крупним планом на Samsung Galaxy S9

Тоді у вас залишиться мультиплікаційна версія самого себе, яка може викликати 18 різних виразів - які Samsung планує повільно розширювати до 54 - починаючи від радості та задоволення, закінчуючи смутком і гнівом. Усі дані також є локальними для пристрою і більше ніде не зберігаються.

Працюючи разом, технологія відстеження обличчя відстежує в реальному часі понад 100 рис обличчя (наприклад, підморгування чи посмішка), щоб вловити окремі емоції, тоді як Blend Shape допомагає надати більший їх спектр - що поєднує вирази на основі 75 основних рис обличчя людини . Samsung заявляє, що для Blend Shape вона проводила щонайменше 100 тестів щотижня в своїх лабораторіях, щоб переконатися, що є достатньо даних, які спокушали б користувачів. (Blend Shape також використовується для створення своїх смайлів від Disney AR, таких як Міккі та Мінні Маус.)

У нашому власному тесті AR Emoji більшість із нас вважали, що наші персонажі виглядають вкрай неточними. Один письменник відчув, що доступних варіантів відтінку шкіри бракує, і темношкірих тонів на вибір немає. Інші відчували, що їх AR Emoji не схожий ні на що, що робило редагування аватару більше клопотом, ніж приємним завданням.

За даними Loom.ai, створення точного AR Emoji значною мірою залежить від способу зйомки селфі. Користувачі повинні робити фотографії так само, як фотографії паспорта. "Вам потрібне рівномірне освітлення, нічого не закриває ваше обличчя, і нейтральний вираз, щоб ми могли додати вирази пізніше", - пояснив Рамасубраманян. "Справа в тому, що люди трохи звикають до цього, а потім бачать можливості його анімації та використання".

Рамасубраманян також заявив, що користувачі повинні поводитися з цим так, як вони робили б будь-яке селфі - тобто, ви можете робити безліч фотографій, поки ви не будете задоволені фотографією. Оскільки AR Emoji дозволяє створювати декілька аватарів, ви можете порівняти їх, щоб знайти той, який вам найбільше подобається. Кожна створена вами версія також зберігається на вашому телефоні, тому ви можете змінити використовувану версію залежно від вашого настрою.

Останнє оновлення AR Emoji включає додаткові зачіски, головні убори, такі як хіджаб, та інші варіанти. В даний час оновлення розповсюджується на розблоковані версії Samsung Galaxy S9 та S9 Plus у Кореї, Китаї та Європі. Пристрої європейських перевізників та розблоковані пристрої в США повинні мати доступне оновлення для завантаження цього тижня. Оновлення для американських операторських пристроїв розпочнеться впродовж найближчих тижнів. Samsung заявляє, що AR Emoji буде продовжувати розвиватися і в майбутньому, але наразі не стежить за точними деталями.

Останні повідомлення