Az agy képeinek vizualizációja

A bal oldali videó egy rövid klipsorozat, jobb oldalon pedig a tesztalany agyában (!) leképzett vetület mintája, amit a YouTube-ról összeszedett 18 milliós másodperces adatbázis, mint minta alapján állítottak össze — az eljárás nagyjából az, hogy a videókat mintavételezik, aztán az agyi folyamatokhoz hasonlókat kompozitálnak az adatbázisból.

A kísérletről itt lehet többet olvasni. Nekem nagyon tetszett az, hogy a készülékbe először maga a három tudós ült be, nem pedig ismeretlen tesztalanyokat kerestek a kísérlethez.

És gondolom itt nem állunk meg.

24 hozzászólás

Gábor

Ennek az embernek az agyában rossz video codec lett telepítve 🙂 Amúgy nekem egy kicsit kamu dolognak tűnik. Erről a csapatról nem lehet semmi infót találni a neten, a mainstream tudomány meg közelében sem járnak egy ilyen jellegű áttörésnek.

Z. T.

Azért ez még nagyon nem gondolatolvasás… Arról van szó, hogy megmutatnak az illetőnek egy csomó képet/videót, közben pedig monitorozzák az agyműködését. Egy adatbázisba eltárolják, hogy melyik képnél milyen agyi aktivitás-mintázat jelentkezett. Ezután pedig “megfordítják” a folyamatot, és egy ismeretlen képet mutatnak az embernek, majd az agyából leolvasott aktivitás-mintázatot dekomponálják az adatbázisban eltárolt mintázatok valamilyen súlyozott összegévé – hasonlóképpen mint mikor a hanghullámot dekomponálják egy Fourier-transzformációval szinusz- és koszinuszhullámok súlyozott összegévé. Végül pedig az így kapott súlyozással a mintázatokhoz tartozó eredeti képekből előállítják az ismeretlen mintázatnak “megfelelő” képet (gyakorlatilag egymásra pakolják őket a súlyuknak megfelelő opacityvel).

Én a dologban két problémát látok, ami elég nagy gátja lehet a továbbfejlesztésének, mégpedig az, hogy az agy működése alapvetően nemlineáris jellegű, tehát ha mutatsz valakinek egy A-képet, ami az agyában A’ választ generál, és hasonlóképpen veszünk egy B-képet B’ agyi válasszal, attól még korántsem biztos (sőt, leginkább hülyeség), hogy ha az agyban A’+B’ aktivitást mérünk, akkor az illető az A és B kép 50%-ban összemosott montázsát látja 😀

Szóval értitek, na.

Z. T.

Ja igen, a második problémáról megfeledkeztem: itt pedig arról van szó, hogy minden ember agya máshogy van “huzalozva”, tehát ha valaki meglát egy képet egy elefántról, akkor teljesen máshol tüzelnek az agyában a neuronok, hogy ha például gyermekkorában a szüleit megölte egy elefánt, mint akkor, ha csak egy vicces, ormányos állatnak tartja azt.

Tehát az egyik ember agyával felépített adatbázis mással való alkalmazhatósága erősen megkérdőjelezhető.

_alesi_

Múltkor a BBC-n futott egy dokumentumfilm a látással kapcsolatban. Ami számomra döbbenetes volt, hogy a beszélt nyelv is hatással van a látott színekre; Afrikában él egy törzs, melynek tagjai másképp csoportosítják a színeket(pl. a zöld és kék árnyalatai náluk egy szín). Egy kísérlet során odatettek eléjük 16 színt, melyből 15 azonos és egy eltérő volt. Az európai emberek azonnal kiszúrták a kakukktojást, míg a törzs tagjai egyszerűen nem látták a különbséget.

Z.T. meg eleve az fMRI-nek megvannak a korlátai, bár ezt a tanulmányban is kiemelték.

BGy

Csak egyszer futottam át, de így gyanúsnak tűnik. Már csak a színek miatt is. Ennyire nem bit alapú az ember.

DoberMann

Hát ez még nagyon távol van bármilyen jellegű gondolatolvasási módszertől.

Szindbad

Szerintem az ötlet zseniális, tulajdonképpen készítettek egy tanuló rendszert, amely megtanulja visszaállítani az agy vizuális területeinek aktivitásából az eredeti képeket. Az eredmény lenyűgöző, és nyilván óriási potenciál van benne.

utó

Gyors volt. Emellett van egy olyan nagyobb bajom is, hogy az első mondat a posztban szerintem tök értelmetlen. 🙂

Tisztábban kéne fogalmazni, de már ott félrementél szerintem, hogy alapvetően rosszul értelmezhettél valamit. Nem mentem bele mélyen, de szerintem annyi a történet, hogy vették a tesztalanytokat, adtak nekik egyenként egyszerre egy random videót ebből a nagy YouTube-os merítésből, és valahogy “kivetítették” az agyi aktivitásukat.

Hogy te pontosan hogy értetted, és mit akartál mondani, az nekem nem világos az első mondatodból… Most akkor honnan jön az a jobb oldali kép szerinted? Szerintem egy ember egy darab agyából, miközben egy darab videót néz. 🙂 Az eredeti szöveg sem valami kristálytiszta, de én azt veszem ki, hogy egy ember agyát “nézzük”, mert: “The left clip is a segment of the movie that *the subject* viewed while in the magnet.” Egyes szám, határozott névelő. 🙂

Természetesen ez nagyon érdekes dolog, meg tök jó, sőt, köszönöm a posztot.

utó

Áááá ne haragudj, szerintem én vagyok a hülye, törölném az előzőt, ha lehetne. 😀

A.

Vannak advancedebb megoldasok, pl. ez itt: http://www.youtube.com/watch?v=FLb9EIiSyG8

Itt tenyleg a neuronokrol veszik le a jelet, es nem csak az elore rogztitett fMRI adatbazis alapjan probalnak talalgatni, hogy mit lat a kiserleti alany. Mondjuk ide nem fog beulni tudos elsokent tesztelni 🙂

György

Nekem van egy nagyon rég óta dédelgetett álmom, azért osztom meg itt, mert az én életem során még lehet, hogy nem lesznek adottak a technikai feltételei a megvalósításának, de hátha az itteni olvasók egyik unokája(nak az unokája) már meg tudja csinálni:
Adott egy ~l Mpixeles kép (pl: 1024×768), 16 bites színmélységgel. Na most az ötletem az, hogy vegyük az összes pixel összes lehetséges kombinációját a teljes 16 bites színmélységen… Egy ez elképesztő(!!!) adatmennyiség, ill. a felesleges (mi is a felesleges…?) képek kiszűrését is pl. egy öntanuló MI-re kéne bízni, de így megkapnánk (szinte) az összes lehetséges, megvalósítható, elkészíthető, elképzelhető képet, amit csak lehet az Univerzumban. Az összes lehetséges kép, az összes lehetséges írás, szöveg, könyv, film/videó(!). Az összes ember és nem ember aki élt és aki élni fog(!) teljes életrajzi filmje meg lehetne. Az összes lehetséges igazság és hazugság. A Biblia filmes dokumantuma 2000+ évvel ezelőttről, stb.
Ha a fantáziánk nagyon elszáll, akkor közte lennének az alábbi anyagok is:
– kézikönyv a Földnek, hogyan legyen a Galaxis ura,
– videó, ahogy a Szabadság szobrot lecserélik egy több kilóméter magas Schaffer Józsi szoborra, és az egész világ Őt ünneplni,
– filmanyag mindarról a működő és legális módszerről, hogy egy héten belül milliomos legyen az ember,
… és a többit mindenkinek a fantáziájára bízom 🙂

Z. T.

György, ugye sosem szeretted a matekot? Mindjárt rávilágítok, hogy miből gondolom…

Az egyszerűség kedvéért tegyük fel, hogy nem 1024×768-as 16 bites képeket akarunk generálni, hanem 100×100-as 1 bites monokróm képeket. Egy ilyen képet 100×100 = 10.000 bitnyi adat ír le, ami azt jelenti, hogy ilyen képből 2^10.000 darab különböző létezik, ami tízes alapra átírva kb. 10^3.000 (tekintve, hogy 2^10 = 1024 ami kb. 10^3).

Csak az összehasonlítás végett, az ismert univerzum elemi részecskéinek számára felső becslésként 10^87-et szoktak emlegetni.

Remélem érthető, hogy miért volt meggondolatlanság amit leírtál.

György

Z.T.: kalkulációt még sosem végeztem erre vonatkozólag (azt sejtettem, hogy irdatlan nagy szám lehet), de senki nem írta, hogy mindezt az adathalmazt el is kellene tárolni… egy számítási felhőként is tekinthetünk rá, amelyben kombinációs minták, mint kiindulási állapotok alapján lehetne készítgetni a képeket. Tudom, hogy ennek a kivitelezése, szelektálása jelenlegi tudásunk szerint nonszensz, de ki tudja, 100… 1000 év múlva.
Mellesleg tényleg ebben rejlene a “mindentudás”, de a Nagy Alkotó rendkívül bölcsen a lehetetlenség határáig emelte a lécet 🙂

misran

Szerintem nagyon jó ötlet Györgyé. De meg kell spékelni egy algoritmussal, ami ezt letömöríti 1 bitre. Innentől gyerekjáték a tárolás..

🙂

Z. T.

György: 1.000.000.000 év múlva is baromság lesz. Tekintsünk el attól, hogy még 100×100-as monokróm képeknél is annyi időbe telne az adatok feldolgozása, hogy egy Trabanttal bejárhatnánk keresztül-kasul a galaxist mire elkészülnénk vele. Szóval tegyük fel, hogy megvannak az “értelmes” képek, ezután mit csinálsz vele? Van mondjuk végeláthatatlan mennyiségű kép matematikai formulákkal, amiknek a 99.999999%-a hibás, vagy eleve értelmetlen. Ezeket hogyan szűröd ki? Van ugyancsak milliárdszor milliárdnyi kép amin Schaffer József szerepel meztelenül, csak mindegyiken más méretű a fasza… Honnan tudod, hogy melyik az igazi?

Tehát ilyen “mindentudás” most is a rendelkezésünkre áll:
Az Alfa Centauri harmadik bolygójának holdján két tehén kefél.
Az Alfa Centauri harmadik bolygójának holdján két koala kefél.
Az Alfa Centauri harmadik bolygójának holdján két kenguru kefél.
Az Alfa Centauri harmadik bolygójának holdján két emu kefél.
Az Alfa Centauri harmadik bolygójának holdján két orrszarvú kefél.
Az Alfa Centauri harmadik bolygójának holdján két tintahal kefél.
Az Alfa Centauri harmadik bolygójának holdján két kismajom kefél.

Már csak meg kell írnod az algoritmust ami kiválogatja a helyes állításokat, és te leszel a világ ura :D:D:D

Kha

ember: na akkor mi is az a 42?
gép: öö.. hát az a békafing szagával kapcsolatos..
ember: és az milyen?
gép: passz.. 🙁

György

Z.T.: ez a beszéd, ezt már szeretem 🙂 A dolog megvalósíthatatlanságától függetlenül én azért szeretnék megkukkantani generált alternatív világképekbe… (könnycsepp)

3k-

nagyon érdekes ötlet! úgy látom, h ezek csak az első lépései a technológiának. ha sikerülne egy kielégítő minőségű agy-kép dekódert készíteni, akkor is azt a mindig kalibrálni kellene az aktuális júzer agyához. ZT-nek igaza van abban, h mindegyikünk agya máshogyan van “huzalozva”. vagy a saját konfigurációját mindenki hordozná, mint egy sim kártyát vagy az online fiókunkhoz lenne kötve. 🙂