Apa itu NeRF?
Neural radiance field (NeRF) adalah jaringan neural yang dapat merekonstruksi adegan tiga dimensi yang kompleks dari serangkaian gambar dua dimensi. Gambar tiga dimensi diperlukan dalam berbagai simulasi, game, media, dan aplikasi Internet untuk Segala (IoT) untuk membuat interaksi digital menjadi lebih realistis dan akurat. NeRF mempelajari geometri adegan, objek, dan sudut pemandangan tertentu. Kemudian, alat ini melakukan render tampilan 3D fotorealistik dari sudut pandang baru, yang secara otomatis menghasilkan data sintetis untuk mengisi kekosongan.
Apa saja kasus penggunaan neural radiance field?
NeRF dapat melakukan render adegan kompleks dan menghasilkan gambar untuk berbagai kasus penggunaan.
Grafik komputer dan animasi
Dalam grafik komputer, Anda dapat menggunakan NeRF untuk membuat efek visual, simulasi, dan adegan yang realistis. NeRF menangkap, melakukan render, dan memproyeksikan lingkungan, karakter, serta gambar lain yang seperti aslinya. NeRF biasanya digunakan untuk meningkatkan grafis video-game dan animasi film VX.
Pencitraan medis
NeRF memfasilitasi pembuatan struktur anatomi komprehensif dari pemindaian 2D, seperti MRI. Teknologi mereka dapat merekonstruksi representasi realistis jaringan dan organ tubuh sehingga memberikan konteks visual yang berguna bagi dokter dan teknisi medis.
Virtual reality
NeRF adalah teknologi penting dalam simulasi realitas virtual dan realitas tertambah. Karena dapat memodelkan adegan 3D secara akurat, NeRF memfasilitasi pembuatan dan penjelajahan lingkungan virtual yang realistis. Tergantung pada arah tampilan Anda, NeRF dapat menampilkan informasi visual baru dan bahkan melakukan render objek virtual di ruang nyata.
Citra satelit dan perencanaan
Citra satelit menyediakan berbagai gambar yang dapat digunakan NeRF untuk menghasilkan model permukaan bumi yang komprehensif. Ini berguna untuk kasus penggunaan reality capture (RC) yang memerlukan digitalisasi lingkungan dunia nyata—Anda dapat mengubah data lokasi spasial menjadi model 3D yang sangat detail. Misalnya, rekonstruksi citra udara menjadi render lanskap umumnya digunakan dalam perencanaan kota karena memberikan referensi yang berguna untuk layout dunia nyata dari suatu area.
Gambar berikut menunjukkan contoh model bangunan 3D.
Bagaimana cara kerja neural radiance field?
Gambar 3D yang di-render komputer dan dibuat melalui berbagai teknik grafis digital, memiliki beberapa properti berbeda yang menentukan kualitas dan realisme mereka. Misalnya:
- Aspek geometris, seperti posisi, orientasi, dan skala model 3D dalam adegan
- Aspek pencahayaan, seperti bayangan, tingkat kecerahan, warna, dan pantulan
- Tingkat transparansi dan translusen yang menunjukkan bagaimana cahaya menembus bahan, seperti kaca atau kabut
- Volume dan densitas, seperti densitas asap atau awan
- Tekstur yang mirip dengan bahan, seperti kain, kayu, atau logam
Pilihan warna dan distribusinya juga memainkan peran utama dalam dampak visual gambar. Bayangan menentukan cara area permukaan yang berbeda disinari sehingga menciptakan kesan kedalaman dan bentuk.
NeRF menggabungkan teknik grafis komputer dengan arsitektur jaringan neural untuk menangani semua aspek-aspek tersebut.
Gambar berikut adalah contoh gambar 3D yang di-render komputer.
Arsitektur neural radiance field
NeRF menggunakan aspek neural yang disebut multilayer perceptron (MLP)—arsitektur jaringan neural yang sepenuhnya terhubung—untuk membuat representasi adegan 3D. MLP adalah model dasar dalam jaringan neural dan deep learning. MLP dilatih untuk memetakan koordinat spasial dan melihat arah nilai warna dan densitas. MLP menggunakan serangkaian struktur matematika yang mengatur input—seperti posisi dalam ruang 3D atau arah tampilan 2D—untuk menentukan nilai warna dan densitas pada setiap titik dalam gambar 3D.
Jaringan juga belajar cara mengubah tingkat kecerahan dan warna sinar dalam adegan. Dengan mengembangkan pemahaman tentang sinar, yang dikenal sebagai pemodelan radians, jaringan ini dapat menampilkan warna dan densitas yang berbeda dari perspektif yang berbeda.
Tipe neural radiance field
Versi NeRF paling awal sulit dioptimalkan dan diperlambat, serta membutuhkan input dari foto untuk mencocokkan pencahayaan menggunakan sinar kamera yang sama. Oleh karena itu, beberapa variasi pada teknologi awal telah dikembangkan.
PixelNeRF
Salah satu bentuk baru NeRF paling awal adalah PixelNeRF (CPVR 2021). Deployment ini memperkenalkan arsitektur konvolusi penuh yang dapat menyesuaikan kondisi input gambar tunggal. Pendekatan ini menghilangkan kebutuhan atas banyak tampilan yang dikalibrasi dan terorganisasi serta mengurangi total sumber daya komputasi yang dibutuhkan. Pendekatan baru ini menyederhanakan proses pembuatan dan optimisasi NeRF.
Mega-NeRD
Mega-NeRD (CVPR 2022) adalah kerangka kerja NeRF lain yang sangat berguna saat bekerja dengan adegan berskala besar. Mega-NeRD menawarkan algoritma pengklasteran geometris alternatif dan struktur jaringan renggang yang memungkinkan untuk memproses gambar dengan kondisi pencahayaan yang beragam. NeRF yang dioptimalkan ini menggunakan sparse neural radiance grid (SNeRG) untuk menangkap dan melakukan render lingkungan dunia nyata secara efektif.
NSVF
Neural Sparse Voxel Field (NSVF) adalah NeRF yang dapat melewati semua piksel kosong selama fase rendering, yang meningkatkan kecepatan rendering. Teknik ini mempelajari struktur piksel dalam sel jaringan sehingga memungkinkannya untuk membuat gambar berkualitas tinggi tanpa memerlukan sudut pandang tertentu.
Plenoptic voxel
Alih-alih menggunakan jaringan neural multilayer perceptron, inovasi Plenoptic Voxel (2021) menggunakan grid 3D yang jarang. Dengan grid ini, Anda dapat meningkatkan kecepatan rendering simulasi baru sekaligus mempertahankan ketelitian visual melalui interpolasi voxel.
Bagaimana neural radiance field melakukan render gambar?
Rendering neural adalah istilah untuk proses pembuatan gambar oleh NeRF. NeRF menggunakan berbagai teknik untuk mengubah data mentah menjadi representasi 3D yang mendetail.
Rendering grafik
Teknik rendering di bidang grafik komputer memungkinkan model NeRF untuk memproyeksikan dan memanipulasi adegan secara geometris. Misalnya:
- Ray casting menyimulasikan perspektif pengguna untuk melakukan komputasi visibilitas objek
- Ray tracing memperluas konsep ini dengan menyimulasikan perilaku fisik cahaya, termasuk pantulan, pembiasan, dan bayangan
- Rasterisasi mengubah informasi vektor 3D menjadi piksel pada layar 2D, yang menggunakan berbagai algoritma untuk menyimulasikan efek pencahayaan dan tekstur secara efisien
Rendering volume
Rendering volume adalah salah satu strategi penting. Algoritma menentukan nilai merah, hijau, biru, dan alfa (densitas volume) untuk setiap piksel dalam ruang atau gambar 3D. Angka-angka ini memetakan ke posisi yang sesuai dalam gambar 2D.
Teknik lain adalah sintesis tampilan, yang beroperasi berbanding terbalik dengan rendering volume. Teknik ini membangun tampilan 3D dari serangkaian gambar 2D. Sintesis tampilan menciptakan layout setengah bola yang merepresentasikan objek menggunakan berbagai gambar yang diambil dari sudut yang berbeda. Proses ini menyesuaikan setiap gambar 2D ke posisinya masing-masing di sekitar objek, merekonstruksinya dalam 3D.
Bagaimana AWS dapat mendukung kebutuhan bidang pancaran neural Anda?
Amazon Web Services (AWS) menawarkan dua layanan untuk mendukung kebutuhan NeRF Anda.
AWS RoboMaker adalah layanan simulasi berbasis cloud yang dapat Anda gunakan untuk menjalankan, menskalakan, dan mengotomatiskan simulasi tanpa mengelola infrastruktur apa pun. AWS RoboMaker membangun lingkungan simulasi bangunan menjadi lebih cepat dan terjangkau dengan menyediakan dunia simulasi dan berbagai aset 3D. Anda dapat menggunakan aset simulasi tersebut untuk membangun lingkungan simulasi agar sesuai dengan tingkat ketepatan yang diperlukan. Dengan AWS RoboMaker WorldForge, Anda dapat menghasilkan ratusan dunia simulasi hunian dalam ruangan 3D yang bervariasi dan ditentukan oleh pengguna dalam hitungan menit.
AWS IoT TwinMaker adalah layanan yang menciptakan kembaran digital dari sistem dunia nyata, seperti bangunan, pabrik, peralatan industri, dan jalur produksi. Layanan ini memberikan kemampuan untuk menggunakan data yang ada dari berbagai sumber, membuat representasi virtual dari lingkungan fisik apa pun, dan menggabungkan model 3D yang ada dengan data dunia nyata. Dengan AWS IoT TwinMaker, Anda dapat memanfaatkan kembaran digital untuk menciptakan tampilan holistik operasi Anda lebih cepat dan dengan sedikit usaha.
Mulai bidang pancaran neural di AWS dengan membuat akun sekarang juga.
