Rendering Synthetic Objects into Legacy Photographs

Authors: Kevin Karsch, Varsha Hedau, David Forsyth, Derek Hoiem

Abstract: We propose a method to realistically insert synthetic objects into existing photographs without requiring access to the scene or any additional scene measurements. With a single image and a small amount of annotation, our method creates a physical model of the scene that is suitable for realistically rendering synthetic objects with diffuse, specular, and even glowing materials while accounting for lighting interactions between the objects and the scene. We demonstrate in a user study that synthetic images produced by our method are confusable with real scenes, even for people who believe they are good at telling the difference. Further, our study shows that our method is competitive with other insertion methods while requiring less scene information. We also collected new illumination and reflectance datasets; renderings produced by our system compare well to ground truth. Our system has applications in the movie and gaming industry, as well as home decorating and user content creation, among others.

21 hozzászólás

_alesi_

Ahogy a korábbi posztban is reflektáltam a dologra: erős kamuszagot érzek.
Nem azt mondom, hogy lehetetlen, de gyanúsan egyszerűen hozzák létre a végeredményt. Ráadásul a leírásokban is csak nagy vonalakban és elég szabatosan magyarázzák el a hátterét a megoldásnak.

Az például nehezen hihető, hogy egy sima LDR kép alapján könnyedén létrehoznak olyan végeredményt, amihez eddig HDR lightprobe kellett.

Malachi

minél általánosabbá, könnyebben elérhetővé válnak az ilyen alkalmazások, annál kevésbé fogok elhinni BÁRMIT, amit a neten látok. fényképen. vagy mozgóképen.

ez nem jó szerintem. is everything a lie?

utó

Malachi: az egy dolog, hogy a neten nem hiszel el semmit, annak nincs olyan nagy tétje. De ha ez tényleg ilyen egyszerű (lesz), akkor videofelvételeket sem nagyon lehet többé bizonyítékként használni. Meg persze a tömegek manipulálása mindenféle célokra is izgalmas téma. Kicsit tényleg félelmetes belegondolni…

utó

A másik gondolatom, hogy valahol valakiik ilyeneket tudnak alkotni, én meg milyen kis pondró vagyok. 🙂 Persze az is igaz, hogy ezek az egyetemi emberek éveken, de talán évtizedeken keresztül dolgoznak egy-egy ilyen projekten, talán mást sem csinálnak.

Bár lehet, hogy az ilyen pénzhez közelibb területeken, mint ez, pörgősebb az akadémiai élet, van szponzor meg eredményorientáltság meg minden.

codered

utó: megfelelő mennyiségű utómunkával elég komoly dolgokat lehet szinte bármilyen videófelvételbe varázsolni és nem fogod észrevenni. Van viszont mód arra, hogy “vízjelezéssel” legalábbis nyilvánvalóvá válhasson, ha utólag manipuláltak egy felvételt, ehhez már rendelkezésre áll a technológia.

Ez a videó viszont szerintem nem kamu, az ehhez hasonló maszkoló toolok már régóta rendelkezésre állnak. A (real-time) renderelés is elég könnyen megoldható már. Azt viszont nem tudjuk, hogy mennyit szöszöltek a bevilágítással, azt szépen automatizálni azért még mindig kihívás lehet…

RRomeo

Nézzél ArtistPub-ot, és akkor ilyeneket mint ez kb. 1 hónappal korábban tudsz post-olni – van már FB oldalunk is 🙂

fraki

1. “erős kamuszagot érzek” Jaj nee, kezdődik a “Megfejtőemberek országa” 🙂

2. “Nézzél ArtistPub-ot, és akkor ilyeneket mint ez kb. 1 hónappal korábban tudsz post-olni” És az miért jó? 😀

klarky

@citrom: Szerintem azzal van csinálva. Legalábbis a kanna (0:59 -nél) nekem nagyon ismerős, és mintha abban ilyen lenne a default.

Jól rémlik?

codered

klarky: az a kanna egy ős 3D modell, 1975 óta van velünk:
http://en.wikipedia.org/wiki/Utah_Teapot
Sajna nem utal semmilyen konkrét 3D szoftverre, az Autodesk is csak azért tartja a szoftvereiben, mert kb hagyomány 🙂 Nomeg egy eléggé komplex tárgy, mindenféle tesztelésre szokták még használni.

Lenny

Pontosabban hetekig úgy voltam vele, hogy vannak benne CG részek (pl. fehér sci-fi folyosó) de a többi szép kameramunka. Aztán megláttam a videó leírását…

_alesi_

fraki: ha már megfejtőemberezés, akkor esetleg azt is leíratnád, hogy az általam felvetett problémát hogyan oldották meg?

Más:
-1:10-nél a sárkány. Honnan tudja a program, hogy a havon lévő sötét folt egy árnyék, ami később a sárkányra vetül?
-Amikor nem látható a képen a fényforrás, a program hogyan helyezi el azt? Szórt fény esetében mit csinál?

HD felbontásban talán jobban rá lehet jönni a mikéntre, de mint írtam, a dokumentációban is igen szűkszavúak, gyakran csak annyit írnak, hogy az ő megoldásuk a legjobb és pont.

codered

klarky: az AD által (is) megénekelt Droid Maker könyvben is volt róla szó, továbbra is ajánlott olvasmány, szinte mindenkinek 🙂

morello

_alesi_ nem tudja, hogy árnyék. Ha megnézed a sárkányra vetülő “fa árnyéka” sokkal kevésbé részletgazdag mint az eredeti fa árnyéka. Nagyjából körberajzolták a fát és megadták honnan jön a fény.

Lenny, hát… erre nem tudok mit mondani… köpni nyelni nem tudok.