Реконструкция мимики неандертальца на основе 3d сканирования работ М.М. Герасимова.


7 декабря 2017

Ключевые слова: 3d сканирование, лицевая анимация, 3d аватары, 3d skinning, 3d rigging, мимика, face capture.

             В исторической науке широко известен метод М.М. Герасимова реконструкции лица по костным останкам[1]. Метод восстановления лица по черепу получил широкое распространение в антропологии, а число успешных реконструкций ископаемых людей и исторических лиц исчисляется сотнями. Наследие Герасимова и его метода реконструкции лица получил широкое распространение и в работах его последователей и учеников [2].

При трехмерном сканировании работ выполненных по методу Герасимова появляется научно аргументированная трехмерная модель, которая в дальнейшем может использоваться как основа для создания мимической реконструкции на основе симуляции работы мышц и взаимосвязи особенностей работы мышц с костными останками.

            Однако в при создании такой реконструкции появляется целый ряд вопросов, который требует детального исследования, основными из которых являются: взаимосвязь характерных черт и особенности мимики по описательным источникам для персонажа, биомеханика работы мышц и их взаимосвязь с костными данными, проблема соотношения художественности и научности в таких реконструкциях.

            При использовании технологии захвата мимики посетителя в музее, на интерактивной витрине,  такие мимические реконструкции “трехмерные аватары” могут наглядно представить персонажа и его характерные особенности в интересном для посетителя и увлекательном формате, а будучи представленными в виде видео “оживить” скульптуру, бюст, маску или реконструкцию образа.

            В обсуждениях на тему метода Герасимова множество раз затрагивался вопрос возможности использования компьютерных технологий для реконструкции, но исходя из общих интонаций звучания можно сказать что профессиональных скульпторов он не устраивает в силу того что является непривычным.[3] Несмотря на то что на сегодняшний день существует большое количество программ для так называемого “скульптинга” - лепки трехмерных моделей в специальных редакторах, метод обычной художественной лепки остается более привычным. [4]

            С распространением трехмерного сканирующего оборудования появилась возможность его комплексного использования для реконструкции по методу Герасимова вместе с современными технологиями пост-обработки, применяемые в сфере кино и при разработки игр. Это касается возможностей скелетной анимации, мимической анимации, и создания шейдеров и текстур, которые могут передать не только пространственные характеристики реконструкции, но и оптико-цветовые свойства тканей тела.

            Одной из таких интересных кинематографических технологий можно привести пример технологию реалистичного создания кожи SSS (subsurface scattering, или подповерхностного рассеивания), который с высокой степенью реалистичности может передавать характеристики кожи. Впервые эта технология была использована в фильме “Прометей” (реж. Ридли Скотт, 2012), и сейчас широко распространилась в кинематографе и трехмерных технологиях.

neander2

Рис.1. Итоговая статичная реконструкция: добавлен шейдер кожи, морщины, добавлены волосы.

           

            Конечном результатом такой работы по “оживлению” реконструкций является интерактивная реконструкция, которая будучи выставленной в музее работает в режиме “зеркала” копируя мимику посетителей и примеряя ее на реконструкцию.
            В основе этой технологии используются так называемые blendshape[5] модели - заранее смоделированные при помощи трехмерного скульптинга выражения лица трехмерного скана (так называемые мимические паттерны), которые при помощи специального программного обеспечения сопоставляются с выражениями лица посетителя. Наиболее известные программы для безмаркерного захвата мимики это Faceshift[6], Brekel Face Pro[7], Faceware[8] и др. Захват мимики посетителя производится при помощи датчика глубины kinect или аналогичных сенсоров глубины.[9] Готовая интерактивная инсталляция была опробована на фестивале “Ученые против мифов 5” и вызвала активный интерес посетителей.[10]

neander3

Рис.2. Интерактивная инсталляция с мимической реконструкции бюста неандертальца, использовался трехмерный скан работы М.М. Герасимова

 

Хотелось бы подробнее остановиться на этапах процесса работы по анимированию и созданию мимической реконструкций на основе реконструкций бюстов по методу Герасимова, а также на используемом программном обеспечением для такой работы.

 

neander4

Рис.3. Настройка шейдеров кожи и рисование текстур. Autodesk 3DS MAX и Corona Render/

 

 

В самом начале работы было проведено трехмерного сканирования бюста неандертальца, выставленного в Государственном Дарвиновском музее в зале “Эволюция человека”. Для сканирования использовался трехмерный сканер Artec Eva[11]. Этот сканер является универсальным решением для сканирования объектов средних и больших габаритов. Заявленная точность сканера составляет 0.1 мм. В своей работе сканер использует технологию структурированной подсветки, которая позволяет проводить работы по оцифровке в реальном времени. Также технология структурированной подсветки позволяет получить текстуры для трехмерной модели с равномерно засвеченной поверхностью. Трехмерный сканер использовался в связке с программным обеспечением Artec Studio 9. Это программное обеспечение позволяет обрабатывать полученные трехмерные фрагменты, сопоставлять их. В программе есть уникальные алгоритмы для исправления и коррекции геометрии, а также  пост-обработки модели для получения наилучших результатов.

 

neander5

Рис.4. Сканирование реконструкции М.М. Герасимова в Дарвиновском музее.

 

Следующий этап - это так называемая ретопология (изменение геометрических форм трехмерной модели) и оптимизация получившейся в процессе сканирования модели. а также оснастка трехмерного скана отверстиями для глаз. Поскольку программное обеспечение предназначено в первую очередь для работы с низкополигональные объектами необходимо сильно сократить плотность полигональной сетки. Для этого используется метод переноса детализации с высокополигональной модели (так называемое "запекание" карты нормалей с высокополигональной модели на низкополигональную). Для ретопологии использовалась специальное программное обеспечение Instant Meshes – бесплатная программа для автоматической ретопологии мешей: создания равномерной сетки из треугольников или квадов. Она является практической реализацией метода, предложенного в статье «Instant Field-Aligned Meshes» (Wenzel Jakob, Marco Tarini, Daniele Panozzo, Olga Sorkine-Hornung), представленной на SIGGRAPH Asia 2015 специалистами из Швейцарской высшей технической школы Цюриха.[12]

Далее, для скульптинга 42 эмоций и обработки отверстий для глаз и рта был использован графический планшет и бесплатный сервис для онлайн скульптинга Sculpt Gl[13]. Итоговые модели были объединены в blendshapes при помощи модификатора morphing в программе Autodesk 3ds Max.  Видео о том как это выглядит можно посмотреть по ссылке на YouTube в конце статьи.

neander6
Рис.5. Ретопология и оптимизация трехмерного скана при помощи программного обеспечения Instant Meshes.

 

Самым сложным и трудоемким этапом после моделирования был так называемый скиннинг -  оснастка трехмерной модели костями и отстройка деформации модели и ее связь с костной системой. Для этих целей система анимации при помощи костей в 3ds max и модификатор skin. Это довольно кропотливая работа, и ее приходилось несколько раз переделывать для того чтобы места сгиба модели реалистично передавали поведение кожи и шейных суставов.

neander7

Рис.4. Для того чтобы трехмерная модель реалистично деформировалась ее нужно
настроить: эти этапы называются риггинг (ос
настка костями) и скиннинг (деформации)

 

В качестве заключения можно отметить, что пока в нашей работе есть большая степень художественной составляющей, и сейчас мы начинаем работу с специалистами по методу Герасимова для того чтобы можно было построить деформации поверхностей не на основе ручного моделирования, в при помощи особенностей работы мышечной ткани. Итоговый процесс анимации мимики и интерактивного взаимодействия можно посмотреть по ссылке на Youtube.[14]

 

Ахтамзян А.И.
Ольшанский Д.В.
Ахтамзян Н.И.
Отдел мультимедиа и интернет проектов
Дарвиновского музея


[1] Герасимов М. М. Восстановление лица по черепу" (Современный и ископаемый человек) // Труды Института этнографии АН СССР. Нов. сер. 28, М., 1955.

[2] См. например Д.В. Пежемский Опыты М.М. Герасимова по восстановлению внешнего облика древнерусских князей

[3] Taylor, R.G. & Angel, C. (2005). Facial Reconstruction and Approximation. Computer Graphic Facial Reconstruction. 177-185.

[4] ZBrush is the 3D industry's standard digital sculpting application URL: http://pixologic.com/ (дата обращения: 30.11.2017).

[5] Применение Blend Shapes (форм смешивания) для анимации URL: https://docs.unity3d.com/ru/530/Manual/BlendShapes.html (дата обращения: 28.11.2017).

[6] После покупки программного обеспечения компанией Apple перестал существовать http://faceshift.com (дата обращения: 28.11.2017)

[7] Brekel Pro Face 2 URL: http://brekel.com/brekel-pro-face-2/ (дата обращения: 28.11.2017).

[8] Faceware prides itself and its products on core principles. URL: http://facewaretech.com/company/ (дата обращения: 28.11.2017).

[9] Kinect - бесконтактный сенсорный игровой контроллер URL: https://ru.wikipedia.org/wiki/Kinect (дата обращения: 28.11.2017).

[10] Фестиваль "Ученые против мифов 5" URL: http://antropogenez.ru/scientists-against-myths/ (дата обращения: 30.11.2017).

[11] Artec Eva Быстрый 3D-сканер для профессионалов URL: https://www.artec3d.com/ru/portable-3d-scanners/artec-eva (дата обращения: 30.11.2017).

[12] Instant Meshes: A free quad-based autoretopology program URL: https://github.com/wjakob/instant-meshes (дата обращения: 30.11.2017).

[13] SculptGL - A WebGL sculpting app - Stephane Ginier URL: https://stephaneginier.com/sculptgl/ (дата обращения: 30.11.2017).

[14] Интерактивный 3D-Аватар неандертальца сделанный с трехмерного скана в музее URL: https://youtu.be/NuZ8kB37v2k (дата обращения: 30.11.2017).


neander1


Комментарии могут оставлять только зарегистрированные пользователи