3D video konferans aracı uzaktaki bir kullanıcının ekranı kontrol etmesine olanak tanır

İki kişi aynı odada olmadığında fiziksel bir şey üzerinde işbirliği yapmak çok zor olabilir, ancak yeni bir telekonferans sistemi, karmaşık donanımda hata ayıklama gibi karmaşık görevlere yardımcı olmak için uzaktaki bir kullanıcının 3 boyutlu sahne görünümünü değiştirmesine olanak tanır.

SharedNeRF adı verilen sistem, uzaktaki bir kullanıcının ortak çalışanın fiziksel alanını deneyimlemesine yardımcı olmak için biri yavaş ve fotogerçekçi, diğeri anlık ancak daha az doğru olan iki grafik işleme teknolojisini birleştiriyor.

Sistemi geliştiren bilgi bilimi alanında doktora öğrencisi Moz Sakashita, “Bu bir paradigma değişimi olacak” dedi. “İnsanların daha önce mümkün olmayan ve video sistemleri aracılığıyla iletilmesi çok zor olan görevler üzerinde tek bir açıyla çalışmasına olanak tanıyacak.”

Sakashita, telekonferans aracını 2023'te Microsoft'ta stajyer olarak tasarladı ve burada daha önce Cornell'de bilgisayar bilimi uzmanı olan Andrew Wilson '93 ile çalıştı. Sakashita çalışmayı sunacak.”SharedNeRF: Gerçek zamanlı ve uzaktan işbirliği için fotogerçekçi, bağımlı görüntülemeden yararlanılıyor“, 16 Mayıs Bilgisayar Makineleri Birliği (ACM) Bilgisayar Sistemlerinde İnsan Faktörleri CHI Konferansı'nda (CHI'24). Makale mansiyon ödülü aldı.

Wilson, “Mutfak musluğunu onarmak veya elektrik devresi kurmak gibi fiziksel nesneleri içeren bir görevi yerine getirirken günümüzün video konferans sistemleri oldukça modası geçmiş durumda” dedi. “Son zamanlarda bilgisayar grafikleri ve görüntüleme teknolojilerinde bir yenilik dalgası yaşandı. SharedNeRF, bu teknolojilerin yalnızca konuşan kafalardan fazlasını görüntülerken ortaya çıkan sorunları çözmek için kullanılmasına yönelik ilk keşifler arasında yer alıyor.

Sakashita'nın laboratuvardaki lisansüstü araştırması François GimbertierAnne S., Cornell College'da bilgi bilimi profesörü. Bowers Bilgisayar ve Bilgi Bilimleri ve Tasarım Teknolojisi Bölümü birden fazla fakülteden oluşmaktadır ve uzaktan işbirliğini desteklemek için yeni teknolojiler geliştirmeye odaklanmaktadır.

SharedNeRF, Nöral Radyasyon Alanı (NeRF) adı verilen bir grafik görüntüleme yöntemini kullanarak uzaktan işbirliğine yeni bir yaklaşım getiriyor. NeRF, 2D görüntüleri kullanarak bir sahnenin 3D temsilini oluşturmak için yapay zekayı kullanıyor. Her yönden görülebilen, yansımalar, şeffaf nesneler ve ince dokularla tamamlanan inanılmaz derecede gerçekçi görüntüler oluşturur.

SharedNeRF sisteminde yerel bir işbirlikçi, sahneyi kaydetmek için kafasına monte edilmiş bir kamera takıyor. Ortaya çıkan görüntüler, 3 boyutlu sahneyi izleme noktasını istediği zaman döndürebilen uzaktaki ortak çalışana görüntüleyen bir NeRF derin öğrenme modeline beslenir.

Sahne değiştiğinde, görünümü güncellemek için bir NeRF modelini tetikler. Ancak bu güncelleme biraz zaman alıyor – yaklaşık 15 saniye – bu nedenle Sakashita'nın ekibi, NeRF tarafından oluşturulan ayrıntılı görselleri daha hızlı bir teknik olan nokta bulutu oluşturmayla birleştirdi. Kullanıcının önüne monte edilen başa takılan bir kamera ve renk ve derinliği algılayan ikinci bir RGB-D kamera, sahneyi uzaydaki bir dizi nokta olarak yakalar. Bu yöntem, bir sahnenin hareket eden eller gibi dinamik kısımlarını hızlı bir şekilde aktarabilir.

Uzaktaki kullanıcı, iki ekran teknolojisini entegre ederek NeRF aracılığıyla sahneyi farklı açılardan yüksek kalitede görüntüleyebiliyor ve aynı zamanda nokta bulutları aracılığıyla sahnedeki gerçek zamanlı hareketleri görebiliyor.

SharedNeRF aynı zamanda yerel işbirlikçinin kafasının bir avatarını da görüntüler, böylece uzaktaki kullanıcı nereye baktığını görebilir.

Yedi gönüllü, bir ortakla ortak bir çiçek düzenleme projesi üstlenerek SharedNeRF'i test etti. Standart bir video konferans aracıyla veya yalnızca nokta bulutu görünümüyle karşılaştırıldığında beş gönüllü SharedNeRF'i tercih etti. Herkes sistemin tasarım detaylarını görmelerine yardımcı olduğu ve gördükleri üzerinde daha iyi kontrol sahibi olmalarını sağladığı konusunda hemfikirdi.

Sakashita, “İnsanların bakış açılarını bağımsız olarak değiştirebilmeyi gerçekten takdir ettiklerini gördük” dedi. Birçoğu ayrıca çiçek aranjmanını yakınlaştırıp uzaklaştırabilmenin ve yerel işbirlikçiye hangi manzarayı görmek istediklerini açıklamak zorunda kalmamanın keyfini çıkardı.

Şu anda SharedNeRF yalnızca bireysel işbirliği için tasarlandı, ancak araştırmacılar bunun birden fazla kullanıcıyı kapsayacak şekilde genişletilebileceğini öngörüyor. Teknoloji aynı zamanda eğitim sunumları veya ameliyatlar gibi etkinlikleri kaydetmek ve arşivlemek için de kullanılabilir, böylece öğrenciler bunları farklı açılardan yeniden izleyebilirler.

Sakashita, görüntü kalitesini iyileştirmek ve sanal veya artırılmış gerçeklik teknolojileri aracılığıyla daha sürükleyici bir deneyim sağlamak için gelecekte çalışmaların gerekli olacağını söyledi.

Patricia Waldron, Cornell Anne S.'de kadrolu yazardır. Bilgisayar ve Bilgi Bilimlerini Güçlendirir.