NeRF ถือเป็นการก้าวล้ำไปอีกขั้นในการจับภาพโลก 3 มิติอย่างรวดเร็วด้วยภาพ 2 มิติที่สมจริง วันนี้นักวิจัย AI

เปลี่ยนคอลเลกชันของภาพนิ่งให้เป็นฉาก 3 มิติแบบดิจิทัลในเวลาไม่กี่วินาทีกระบวนการนี้เรียกว่าการเรนเดอร์ผกผัน กระบวนการนี้ใช้ AI ในการประมาณพฤติกรรมของแสงในโลกแห่งความเป็นจริง ทำให้นักวิจัยสามารถสร้างฉาก 3 มิติขึ้นมาใหม่จากภาพ 2 มิติจำนวนหนึ่งที่ถ่ายในมุมต่างๆ ได้ ทีมวิจัยของ NVIDIA ได้พัฒนาวิธีการทำงานนี้ให้สำเร็จเกือบจะในทันที ทำให้เป็นหนึ่งในรุ่นแรกในประเภทเดียวกันที่ผสมผสานการฝึกอบรมโครงข่ายประสาทเทียมแบบเร็วพิเศษและการเรนเดอร์ที่รวดเร็ว

NVIDIA ใช้วิธีนี้กับเทคโนโลยีใหม่ยอดนิยมที่เรียกว่า neural radiance field หรือ NeRF ผลลัพธ์ที่ได้เรียกว่า Instant NeRF เป็นเทคนิค NeRF ที่เร็วที่สุดในปัจจุบัน โดยสามารถเร่งความเร็วได้มากกว่า 1,000 เท่าในบางกรณี โมเดลต้องใช้เวลาเพียงไม่กี่วินาทีในการฝึกกับภาพนิ่งจำนวนไม่กี่โหล รวมทั้งข้อมูลเกี่ยวกับมุมกล้องที่ถ่ายด้วย และสามารถเรนเดอร์ฉาก 3 มิติที่เป็นผลลัพธ์ได้ภายในเวลาสิบมิลลิวินาที

NeRFs ใช้โครงข่ายประสาทเทียมเพื่อแสดงและแสดงฉาก 3 มิติที่เหมือนจริงโดยอิงจากคอลเลกชั่นอินพุตของภาพ 2 มิติ

การรวบรวมข้อมูลเพื่อป้อน NeRF นั้นเหมือนกับการเป็นช่างภาพพรมแดงที่พยายามจับภาพชุดของคนดังจากทุกมุม — โครงข่ายประสาทเทียมต้องการภาพที่ถ่ายจากหลายตำแหน่งรอบฉากสองสามโหล รวมถึงตำแหน่งกล้องของแต่ละตำแหน่ง ภาพเหล่านั้นในฉากที่มีผู้คนหรือองค์ประกอบที่เคลื่อนไหวอื่นๆ ยิ่งถ่ายได้เร็วเท่าไหร่ ก็ยิ่งดีเท่านั้น หากมีการเคลื่อนไหวมากเกินไปในระหว่างกระบวนการจับภาพ 2D ฉาก 3D ที่สร้างโดย AI จะเบลอ

จากจุดนั้น NeRF จะเติมช่องว่างโดยพื้นฐานแล้วฝึกโครงข่ายประสาทเทียมขนาดเล็กเพื่อสร้างฉากขึ้นใหม่โดยทำนายสีของแสงที่แผ่กระจายไปในทิศทางใด ๆ จากจุดใดก็ได้ในพื้นที่ 3 มิติ เทคนิคนี้ยังสามารถแก้ไขการบดเคี้ยวได้ — เมื่อวัตถุที่เห็นในภาพบางภาพถูกสิ่งกีดขวาง เช่น เสาในภาพอื่นๆโมเดลนี้ได้รับการพัฒนาโดยใช้NVIDIA CUDA ToolkitและTinyCUDANeural Networks library เนื่องจากเป็นโครงข่ายประสาทเทียมที่มีน้ำหนักเบา จึงฝึกและทำงานบน NVIDIA GPUตัวเดียว—ทำงานเร็วที่สุดบนการ์ดที่มี NVIDIA Tensor Cores

เทคโนโลยีนี้สามารถนำไปใช้ในการฝึกหุ่นยนต์และรถยนต์ที่ขับด้วยตนเองให้เข้าใจขนาดและรูปร่างของวัตถุในโลกแห่งความเป็นจริงได้ด้วยการจับภาพ 2 มิติหรือวิดีโอของพวกมัน นอกจากนี้ยังสามารถใช้ในสถาปัตยกรรมและความบันเทิงเพื่อสร้างการเป็นตัวแทนดิจิทัลของสภาพแวดล้อมจริงได้อย่างรวดเร็วซึ่งผู้สร้างสามารถปรับเปลี่ยนและสร้างได้นอกเหนือจาก NeRF แล้ว นักวิจัยของ NVIDIA กำลังสำรวจว่าจะใช้เทคนิคการเข้ารหัสอินพุตนี้เพื่อเร่งความท้าทายด้าน AI ได้อย่างไร ซึ่งรวมถึงการเรียนรู้แบบเสริมกำลัง การแปลภาษา และอัลกอริธึมการเรียนรู้เชิงลึกสำหรับวัตถุประสงค์ทั่วไป

---

อ่านบทความอื่น ๆ เพิ่มเติมได้ที่ trans-mail.net