Kesan McGurk: mengapa mata anda boleh menjejaskan apa yang anda dengar?

Apabila anda kelihatan teruk digelar filem asing, ia adalah sangat mudah untuk melihat bahawa bunyi yang dikeluarkan dari mulut pelakon tidak bertepatan dengan pergerakan bibir mereka.

Dalam erti kata lain, walaupun mata dan telinga kita dirangsang pada masa yang sama semasa filem itu, otak kita mesti melakukan kerja yang benar-benar baik, memberi perhatian kepada yang hampir sama pergerakan bibir dan bunyi.

Apakah kesan McGurk yang

Tetapi otak juga boleh dikelirukan. Dalam ilusi semasa dikenali sebagai kesan McGurk, pemerhatian pergerakan bibir manusia boleh menipu otak untuk mendengar bunyi yang salah.

kesan McGurk berlaku apabila terdapat konflik antara ucapan visual, iaitu, pergerakan mulut dan bibir seseorang, dan ucapan pendengaran mewakili bunyi yang seseorang mendengar. Dan ia boleh membawa kepada persepsi mesej yang sama sekali berbeza.

Satu kajian menggunakan model komputer

Dalam kajian baru, neuroscientists daripada "Baylor" College of Medicine di Houston telah cuba untuk menawarkan penjelasan kuantitatif sebab kesan McGurk itu. Mereka telah membangunkan satu model komputer yang dapat meramalkan dengan tepat apabila kesan McGurk yang patut atau tidak patut berlaku pada manusia, menurut keputusan yang diterbitkan pada 16 Februari dalam jurnal PLOS Pengkomputeran Biologi.

Kesan demonstrasi McGurk digunakan dalam kajian ini, para peserta telah diminta untuk meninggalkan mata tertutup sambil mendengar video yang menunjukkan seseorang, menjadikan beliau bunyi "ba-ba-ba". Kemudian, peserta diminta untuk membuka mata mereka dan melihat dengan teliti di muara seseorang dalam video, tetapi tiada audio. Peserta kesan visual kelihatan seolah-olah lelaki itu berkata "ha-ha-ha." Pada peringkat terakhir eksperimen telah diterbitkan semula video yang sama, tetapi kali ini bunyi dihidupkan dan pihak yang menawarkannya melihat. Sensitif kepada rakyat kesan McGurk telah melaporkan bahawa kali ketiga mereka telah mendengar bunyi "da-da-da," yang tidak sesuai dengan apa-apa isyarat auditori atau visual, yang dilihat sebelum ini.

Ini berlaku kerana otak yang cuba untuk memutuskan apa yang, pada pendapatnya, bunyi yang lebih dekat dengan apa yang dilihatnya secara visual. Apabila peserta menutup matanya lagi, dan ahli-ahli sains telah diterbitkan semula bunyi video, dia sekali lagi mendengar bunyi asal "ba-ba-ba".

kesan pertama kali digambarkan dalam eksperimen yang dijalankan pada tahun 1976 oleh ahli psikologi Harry Mc Gurk dan John MacDonald. Dia menunjukkan bahawa maklumat visual disediakan oleh pergerakan mulut, boleh mempengaruhi dan mentakrif semula cara seseorang menyangka bahawa dia dengar.

ramalan ilusi

"Kesan McGurk - adalah, ilusi pelbagai deria yang kuat - kata penulis bersama kajian John Magnotti, seorang pelajar kedoktoran di jabatan pembedahan saraf di" Baylor ". - Otak menganggap ucapan auditori dan visual dan menggabungkan mereka untuk mencipta sesuatu yang baru ".

Apabila orang berkomunikasi secara bersemuka, otak terlibat dalam aktiviti yang kompleks, kerana dia cuba untuk membuat keputusan bagaimana untuk menggabungkan gerakan bibir dengan bunyi ucapan yang didengar, kata Magnotti.

Dalam kajian itu, penyelidik telah cuba untuk memahami mengapa otak adalah lebih mampu untuk meletakkan beberapa suku kata untuk mentafsir bunyi yang didengar dengan betul, tetapi ada yang tidak.

kesimpulan sebab dan akibat

Untuk memahami ini, mereka bergantung pada idea model, yang dikenali sebagai kesimpulan sebab dan akibat, atau proses di mana otak manusia memutuskan sama ada bunyi ucapan audio dan visual yang dibuat oleh sumber yang sama. penyelidik lain telah membangunkan model untuk membantu meramalkan bila boleh berlaku kesan McGurk, tetapi kajian baru ini adalah yang pertama untuk memasukkan hubungan sebab-akibat dalam pengiraan mereka, kata Magnotti. Faktor dalam kesimpulan sebab dan akibat yang boleh meningkatkan ketepatan model yang baru berbanding yang sebelumnya, yang juga untuk meramalkan ilusi.

Untuk mengesahkan ketepatan ramalan model mereka, penyelidik mengambil 60 peserta dan meminta mereka untuk mendengar beberapa ucapan auditori dan visual dari penceramah tunggal. Kemudian, para peserta telah diminta untuk memutuskan apa jenis bunyi yang mereka dengar :. "Ba", "da" dan "ga"

Keputusan mereka menunjukkan bahawa model yang dibangunkan dengan pasti boleh meramalkan apabila kebanyakan peserta dalam eksperimen itu akan menguji kesan McGurk itu. Tetapi, seperti yang diharapkan dalam pengiraan mereka, ia telah dikenal pasti orang-orang yang tidak terdedah kepada ini dikongsi Magnotti.

Menariknya, apabila ujian yang sama telah dijalankan dengan pelajar di China, bukan Amerika Syarikat, ia telah terbukti bahawa kesan McGurk kerja-kerja dalam bahasa-bahasa lain.

permohonan praktikal model komputer yang digunakan

Magnotti berkata, pada pendapatnya, model komputer yang dibangunkan untuk kajian ini juga boleh menjadi penggunaan yang praktikal. Sebagai contoh, model ini mungkin berguna untuk syarikat-syarikat yang membuat komputer yang membantu mengenal pasti, seperti Laman Utama Google atau Amazon Echo.

Jika teknologi ini adalah kamera, mereka boleh mengintegrasikan orang dalam pergerakan bibir, mereka berkata, untuk meningkatkan ketepatan sistem pengecaman pertuturan itu.

Model ini juga boleh membantu kanak-kanak dengan implan koklea, meningkatkan pemahaman mekanisme dengan penyelidik visual ia memberi kesan kepada apa yang mendengar, kata Magnotti.