Mengganti objek atau warna pakaian di dalam sebuah foto diam kini sudah menjadi hal biasa lewat fitur inpainting. Namun, bagaimana jika kamu sudah terlanjur memiliki sebuah klip video yang sedang bergerak, lalu kamu ingin mengganti cangkir di atas meja menjadi vas bunga, menambahkan aksesori kacamata pada karakter, atau mengubah jenis jaket yang dikenakan tokoh di dalam video tersebut tanpa harus merender ulang videonya dari nol?
Di sinilah Pika memperkenalkan salah satu inovasi penyuntingan video generatifnya yang paling menarik: Pikaswaps (dan fitur modifikasi Pikaaddition). Fitur ini membawa konsep sapuan kuas inpainting langsung ke atas kanvas video bergerak. Namun, mari kita uji secara jujur: seberapa rapi objek baru yang ditempelkan oleh Pikaswaps mampu mengikuti goyangan kamera dan bayangan di dalam video asli?
Bagaimana Cara Kerja Pikaswaps di Dalam Pika?
Proses mengganti atau menyisipkan objek ke dalam video dirancang agar tidak memerlukan keahlian pelacakan gerak (motion tracking / rotoscoping) manual seperti di Adobe After Effects:
- Unggah Video dan Tandai Objek pada Frame Pertama: Pengguna memasukkan klip video pendek, lalu menggunakan kuas seleksi (atau klik deteksi objek otomatis) untuk menandai benda atau pakaian yang ingin diganti.
- Ketikkan Deskripsi Objek Pengganti atau Unggah Gambar Referensi: Pengguna dapat menuliskan objek baru di kolom teks maupun mengunggah foto benda spesifik yang ingin dimasukkan ke dalam adegan tersebut.
- Pelacakan Gerak dan Pencahayaan Otomatis: Sistem AI melacak pergerakan area yang diseleksi dari detik pertama hingga detik terakhir, menggantinya dengan objek baru, dan menyesuaikan bayangannya di setiap bingkai video.
Di Mana Letak Keunggulannya Saat Ini?
Dalam pengujian untuk memodifikasi properti adegan dan eksperimen kreatif pada video pendek, Pikaswaps memberikan beberapa kemudahan yang sangat mengesankan:
- Pelacakan Perspektif dan Cahaya yang Cukup Cerdas: Ketika kamera di video asli bergerak mendekat atau sedikit bergoyang, objek baru yang disisipkan ikut membesar dan bergoyang mengikuti lantai atau meja di bawahnya, tidak tampak melayang diam di layar.
- Memperbaiki Properti yang Rusak di Video AI Lain: Ini adalah kegunaan rahasia yang sangat berguna! Jika kamu membuat video di generator lain dan hasilnya sudah 95% bagus kecuali bentuk cangkir di meja yang terlihat aneh, kamu bisa membawa video tersebut ke Pikaswaps hanya untuk mengganti cangkirnya saja menjadi rapi.
- Eksplorasi Variasi Produk dengan Cepat: Memudahkan kreator mencoba beberapa variasi objek di atas satu rekaman video dasar yang sama.
Keterbatasan Teknis Saat Diuji
Karena memodifikasi video bergerak jauh lebih rumit dibandingkan foto diam, ada beberapa batasan teknis pada Pikaswaps yang perlu diwaspadai:
- Garis Tepi Area Seleksi Terkadang Bergetar (Edge Flickering): Jika objek pengganti memiliki ukuran yang jauh lebih besar atau lebih kecil dibandingkan objek lama yang dihapus, area latar belakang di pinggiran objek tersebut terkadang terlihat sedikit bergetar atau kabur saat video diputar.
- Kesulitan jika Objek Tertutup Tangan yang Melintas (Occlusion): Apabila di tengah video ada tangan karakter yang melintas di depan pakaian atau benda yang sedang di-swap, AI terkadang bingung apakah tangan tersebut harus berada di depan atau ikut tertimpa oleh objek baru.
- Durasi Video yang Didukung untuk Modifikasi Masih Pendek: Fitur ini dirancang bekerja paling optimal pada potongan klip pendek berdurasi beberapa detik, bukan untuk video panjang sekaligus.
Alat Tambal Sulam Video yang Sangat Fungsional
Pikaswaps di Pika membuktikan bahwa penyuntingan video masa depan tidak lagi mengharuskan kreator memotong masker (masking) bingkai demi bingkai secara manual.
Tips terbaik saat menggunakan Pikaswaps: pilihlah objek pengganti yang memiliki ukuran siluet kurang lebih sebanding dengan objek lama yang ingin kamu ganti, dan gunakan pada klip di mana objek tersebut tidak sering tertutup oleh gerakan tangan yang cepat—hasilnya akan menyatu jauh lebih bersih dan meyakinkan!