Membentuk Ulang Tipe Tubuh Manusia dengan AI

Sebuah kolaborasi penelitian baru dari China menawarkan metode baru untuk membentuk ulang tubuh manusia dalam gambar, dengan menggunakan jaringan penyandi saraf kembar terkoordinasi, dipandu oleh model parametrik, yang memungkinkan pengguna akhir untuk memodulasi berat, tinggi, dan proporsi tubuh dalam GUI interaktif.

Modulasi parametrik bentuk tubuh, dengan slider mengubah tiga fitur yang tersedia. Source: https://arxiv.org/pdf/2203.10496.pdf

Karya ini menawarkan beberapa peningkatan dibandingkan proyek serupa baru-baru ini dari Alibaba, karena dapat mengubah tinggi dan proporsi tubuh serta berat badan dengan meyakinkan, dan memiliki jaringan saraf khusus untuk ‘inpainting’ latar belakang (yang tidak ada) yang dapat terungkap oleh gambar tubuh yang ‘lebih ramping’. Ini juga meningkatkan metode parametrik sebelumnya yang terkenal untuk pembentukan ulang tubuh dengan menghilangkan kebutuhan akan intervensi manusia yang ekstensif selama perumusan transformasi. Berjudul NeuralReshaper, arsitektur baru ini menyesuaikan templat manusia 3D parametrik ke gambar sumber, dan kemudian menggunakan distorsi dalam templat untuk mengadaptasi gambar asli ke parameter baru. Sistem ini mampu menangani transformasi tubuh pada figur yang berpakaian maupun setengah berpakaian (misalnya pakaian pantai). Transformasi jenis ini saat ini sangat menarik minat sektor penelitian AI fashion, yang telah menghasilkan sejumlah platform jaringan saraf berbasis StyleGAN/CycleGAN dan umum untuk virtual try-ons yang dapat menyesuaikan item pakaian yang tersedia dengan bentuk dan tipe tubuh dari gambar yang dikirimkan pengguna, atau membantu dengan kesesuaian visual. Makalah ini berjudul Single-image Human-body Reshaping with Deep Neural Networks, dan berasal dari peneliti di Zhejiang University di Hangzhou, dan School of Creative Media di City University of Hong Kong.

Pemasangan SMPL

NeuralReshaper menggunakan Skinned Multi-Person Linear Model (SMPL) yang dikembangkan oleh Max Planck Institute for Intelligent Systems dan rumah VFX terkenal Industrial Light and Magic pada tahun 2015.

Manusia Parametrik SMPL dari kolaborasi Planck/ILM 2015. Source: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Pada tahap pertama proses, model SMPL dihasilkan dari gambar sumber yang diinginkan untuk dilakukan transformasi tubuh. Adaptasi model SMPL ke gambar mengikuti metodologi dari metode Human Mesh Recovery (HMR) yang diusulkan oleh universitas di Jerman dan AS pada tahun 2018. Tiga parameter untuk deformasi (berat, tinggi, proporsi tubuh) dihitung pada tahap ini, bersama dengan pertimbangan parameter kamera, seperti panjang fokus. Keypoint 2D dan keselarasan siluet yang dihasilkan menyediakan selubung untuk deformasi dalam bentuk siluet 2D, sebuah langkah optimasi tambahan yang meningkatkan akurasi batas dan memungkinkan inpainting latar belakang yang otentik lebih lanjut dalam pipeline.

Tahapan pemasangan SMPL: kiri, gambar sumber; kedua, hasil optimasi yang diperoleh dari metode yang diuraikan dalam penelitian 2016 yang dipimpin oleh Max Planck Institute for Intelligent Systems; ketiga, hasil inferensi langsung dari model pra-latihan untuk End-to-end Recovery of Human Shape and Pose; keempat, hasil yang diperoleh setelah optimasi keypoint 2D; dan akhirnya, kelima, pemasangan selesai setelah optimasi siluet (lihat di atas).

Deformasi 3D kemudian diproyeksikan ke ruang gambar arsitektur untuk memfasilitasi medan warping padat yang akan mendefinisikan deformasi. Proses ini memakan waktu sekitar 30 detik per gambar.

Arsitektur NeuralReshaper