Oct, 1, 2023

Vol.30 No.2, pp. 84-88


Review

  • Korean Journal of Biological Psychiatry
  • Volume 19(3); 2012
  • Article

Review

Korean Journal of Biological Psychiatry 2012;19(3):121-7. Published online: Mar, 1, 2012

Characteristics of Telepresence by Multisensory Feedback and Related Neural Mechanism in Patients with Schizophrenia : A Functional MRI Study

  • Kiwan Han, PhD1;Soo-Hee Choi, MD2;Il Ho Park, MD3;Hyeongrae Lee, PhD4;Sun I. Kim, PhD4; and Jae-Jin Kim, MD1,2,5;
    1;Severance Biomedical Science Institute, Yonsei University College of Medicine, Seoul, 2;Institute of Behavioral Science in Medicine, Yonsei University College of Medicine, Seoul, 3;Department of Psychiatry, Myongji Hospital, Kwandong University, Goyang, 4;Department of Biomedical Engineering, Hanyang University, Seoul, 5;Department of Psychiatry, Yonsei University College of Medicine, Seoul, Korea
Abstract

Objectives : The multimodal telepresence systems have been adopted in a variety of applications, such as telemedicine, space or underwater teleoperation and videoconference. Multimedia, one of the telepresence systems, has been used in various fields including entertainment, education and communication. The degree of subjective telepresence is defined as the probability that a person perceives to be physically in the remote place when he/she experiences a multisensory feedback from the multimedia. The current study aimed to explore the neural mechanism of telepresence related to multisensory feedback in patients with schizophrenia.

Methods : Brain activity was measured using functional magnetic resonance imaging while fifteen healthy controls and fifteen patients with schizophrenia were experiencing filmed referential conversation at various distances (1 m, 5 m and 10 m). Correlations between the image contrast values and the telepresence scores were analyzed.

Results : Subjective telepresence was not significantly different between the two groups. Some significant correlations of brain activities with the telepresence scores were found in the left postcentral gyrus, bilateral inferior frontal gyri, right fusiform gyrus, and left superior temporal sulcus. There were no main effects of group and distance.

Conclusion : These results suggest that patients with schizophrenia experience telepresence as appropriately as healthy people do when exposed to multimedia. Therefore, patients with schizophrenia would have no difficulty in immersing themselves in multimedia which may be used in clinical training therapies.

Keywords Telepresence;Schizophrenia;Multimedia;Brain function;Functional MRI.

Full Text

Address for correspondence: Jae-Jin Kim, MD, Department of Psychiatry, Yonsei University Gangnam Severance Hospital, 211 Eonju-ro, Gangnam-gu, Seoul 135-720, Korea
Tel: +82-2-2019-3341, Fax: +82-2-3462-4304, E-mail: jaejkim@yonsei.ac.kr

ㅔㅔ


현존감(presence)은 Marvin Minsky(1979)에 의해 제안된 이론적 개념으로 사람들이 가상현실이나 멀티미디어 등의 매체를 통해 매개된 환경과 상호작용을 하면서 경험하게 되는 현상으로 설명된다.1)2) Lombard와 Ditton3)은 현존감을 매개된 환경을 경험하면서 매개되지 않은 것으로 착각하는 것이라고 정의하였다. 이러한 현존감은 매체의 유형에 따라 원격현존감(telepresence)과 가상현존감(virtual presence), 두 가지 유형으로 구분될 수 있다. 원격현존감은 자신이 실재 현 위치가 아닌 다른 물리적 장소에 있는 것처럼 느낄 때 경험하게 되고, 가상현존감은 가상현실(virtual reality)처럼 컴퓨터에 의해 만들어진 실존하지 않는 가상의 장소에 있는 것처럼 느낄 때 경험하게 된다.2) 매체의 종류와 관계없이 사용자들은 매체를 통한 시각, 청각, 촉각 등의 다감각적 정보를 통해 현존감을 경험하게 된다.
다중양식 원격현존감 시스템(multimodal telepresence systems)은 원격의료(telemedicine), 우주공간이나 심해에서의 원격조정(teleoperation), 화상회의(videoconference) 등 다양한 분야에서 활용되고 있다. 전형적인 다중양식 원격현존감 시스템에서 지역(local) 사용자는 인터페이스를 통해 원격환경으로 정보를 전송하게 되고, 원격환경으로부터 입력한 정보에 대한 반응을 시각, 청각, 촉각 등의 신호를 통해 되먹임(feedback)을 받게 된다.4) 이러한 다감각적 되먹임을 통해 사용자는 원격환경에 대해 증가된 몰입감을 경험할 수 있게 된다.5)6)7)
가상현실 시스템에서 가상현존감의 역할처럼, 멀티미디어의 효율성은 매체로부터의 다감각적 되먹임에 의해 유발되는 주관적 원격현존감에 의해 결정된다.8)9) 사용자의 주관적 원격현존감을 측정하기 위해서는 주로 심리학적 검사가 이용되고 있다.10) 원격현존감은 다감각적 정보를 통해 경험하게 되는데, 이러한 정보를 처리하는 것과 관련된 주의집중이나 지각 및 다른 인지기능의 영향을 받는 것으로 알려져 있다.11)
조현병(schizophrenia)은 환각, 망상, 와해된 언어, 와해된 행동 등이 주요 증상으로, 부적절한 감정표현, 조직화된 사고의 장애, 대인관계 혹은 사회적 관계에서의 문제 등을 동반하기도 한다.12) 조현병은 인지기능의 저하와 함께 여러 지각 기능이나 주의집중의 장애를 동반하기 때문에13) 멀티미디어 등의 매체를 수용함에 있어 정상인과는 다른 원격현존감을 경험할 것으로 생각된다.
3차원 컴퓨터 그래픽과 실시간 상호작용 기법, 입체사운드 효과, 몰입형 디스플레이 장치 등의 가상현실 기술이 발전함에 따라 다양한 치료기법들의 의학적 응용이 확대되고 있다. 실례로 특정 공포증이나14)15)16)17) 사회공포증,18) 외상 후 스트레스 장애19)20)를 대상으로 하는 노출치료나, 자폐성향,21) 주의력결핍,22) 기질성 뇌장애23) 등의 평가나 재활치료에도 활용되고 있다. 가상현실 기술의 적용 확대와 더불어 가상현존감의 신경학적 토대나 뇌기능의 이해에 대한 중요성이 증가되고 있으며,24) 최근 연구에서 배외측 전전두피질(dorsolateral prefrontal cortex)이 가상환경에서 가상현존감의 경험과 관련이 있는 것으로 밝혀졌다.25) 가상현실 기술의 도입 이전부터 멀티미디어의 의학적 활용은 활성화되었으나, 그에 비해 원격현존감에 대한 신경학적 연구는 전무한 실정이다.
본 연구에서 저자들은 멀티미디어에 노출되었을 때 경험하게 되는 원격현존감과 관련된 뇌 영역을 규명하고, 정상인과 조현병 환자 간에 원격현존감과 관련된 뇌 영역에 차이가 있는지, 이러한 뇌 영역들이 다감각적 정보에 따라 차이가 있는지 분석해 보고자 하였다. 이를 위해 본 연구에서는 멀티미디어로부터 제시되는 다감각적 정보의 양의 크기를 조절한 대화상황의 동영상(video clip) 과제를 피험자가 경험하는 동안 기능자기공명영상(functional magnetic resonance imaging, 이하 fMRI)을 촬영하여 원격현존감과 상관성을 갖는 영역들을 추출함으로써, 각각의 집단 및 영상자료로부터 제시되는 다감각적 정보의 양의 크기에 따라 비교 분석하고자 하였다.

ㅔㅔ

연구 대상
본 연구에 참여한 피험자는 정신과적, 내과적 질환이 없는 15명의 정상인 성인과 인지기능이 비교적 양호하고 과제를 이해하여 수행할 수 있는 정도의 기능을 보이는 조현병 환자 15명으로 구성되었다(Table 1). 두 집단의 평균연령은 각각 28.2세[standard deviation(이하 SD) = 3.0]와 29.4세(SD = 6.2), 평균교육수준은 각각 15.1년(SD = 2.5)과 13.6년(SD = 2.0)으로, 두 변수 모두에서 집단 간 차이는 유의하지 않았다. 단축형 Korean version of the Wechsler Adult Intelligence Scale로 측정한 지능은 각각 106.7(SD = 8.8)과 97.7(SD = 11.1)로 정상 성인군에서 유의하게 높았다(t = 2.44, p = 0.02). 환자군에서 양성 및 음성 증후군 척도의 총점 평균은 68.1(SD = 14.0)이었다. 본 연구는 임상시험심사위원회의 승인을 받았으며, 모든 피험자에게 서면 동의서를 받았다.

과제 및 실험 설계
실험과제는 27초 길이로 제작된 영상자료들로 구성되었다. 각 영상자료는 두 명의 여성이 벤치에 앉아 대화를 하는 설정으로, 등장인물들은 수시로 정면을 쳐다보면서 피험자와 관련된 내용의 대화를 주고받는 상황을 연출하였다. 실험자극으로부터 제시되는 시청각 정보의 양을 통제하기 위해 영상자료는 1 m, 5 m, 10 m 등, 총 세 가지의 거리에서 촬영되었다. 1 m 거리에서 촬영된 영상물은 대화내용을 명확하게 들을 수 있고, 등장인물의 얼굴도 잘 관찰할 수 있는 수준이었다. 5 m 거리에서 촬영된 영상물은 대화내용을 부분적으로 들을 수 있고, 등장인물의 몸짓 정도를 관찰할 수 있는 수준이었다. 10 m 거리에서 촬영된 영상물은 대화내용을 전혀 들을 수 없고, 등장인물의 몸짓도 구분하기 힘들 정도로 제작되었다. 이상 세 가지의 조건 별로 각각 네 개의 시나리오로 대화상황을 구성하였다. 실험자극은 대화상황을 실제 지켜보는 것처럼 느껴지도록 눈앞에 제시하기 위해 머리 부분 탑재형 디스플레이(head mounted display)를 이용하였다. 대화상황에 몰입할 수 있도록 방음이 가능한 헤드폰 안쪽으로 이어 플러그를 장착하여, fMRI로 인한 소음을 차단하고 컴퓨터 시스템으로부터 제시되는 청각자극이 선명하게 전달되도록 하였으며, 예비실험을 통해 의미전달에 지장을 주지 않을 정도로 소음이 차단되었음을 확인하였다.
fMRI 실험은 총 2회의 세션으로 구성되었다. 각 세션은 6분 33초의 길이로, 27초 길이의 대화상황 블록(block) 6개와 27초 길이의 배경만 있는 통제 블록 3개가 무작위로 배열되었다. 각 자극 블록 전후에는 15초 길이의 주시(fixation) 블록이 제시되었다. 통제 블록에서 사용된 영상물은 동일한 배경에서 등장인물 없이 5 m 거리에서 촬영되었다. 피험자는 fMRI 촬영 후 경험한 상황에 대해 설문지를 통해 원격현존감 점수를 보고하였다. 설문지는 원격현존감 설문지 중 가장 빈번히 사용되고 있는 Nowak과 Biocca26)의 원격현존감 척도(Telepresence Scale)를 사용하였다.

fMRI 영상 촬영 및 영상 데이터 전처리
1.5T MRI 장비(Signa Eclipse ; GE Medical System, Milwaukee, MN, USA)를 사용하여 blood oxygenate level dependent 신호를 횡단면(axial) 방향으로 얻는 fMRI를 시행하였다(64 × 64 × 30 matrix with 3.75 × 3.75 × 5 mm spatial resolution ; echo time = 14.3 ms ; repetition time = 3000 ms ; field of view = 240 mm ; slice thickness = 5 mm ; flip angle = 90° ; number of slices = 30). fMRI 촬영은 두 세션으로 나누어 진행되었으며, 두 세션 중간에 T1 강조영상이 획득되었다. T1 강조영상은 fast spoiled gradient-echo sequence로 관상면(coronal) 방향으로 촬영되었다(256 × 256 × 116 matrix with 0.94 × 0.94 × 1.5 mm spatial resolution ; echo time = 1.8 ms ; repetition time = 8.5 ms ; field of view = 240 mm ; slice thickness = 1.5 mm ; flip angle = 12° ; number of slices = 116).
fMRI 데이터 분석에는 Analysis of Functional NeuroImages(이하 AFNI)27)가 이용되었다. 먼저 처음 15초의 데이터를 제거한 후, 머리 움직임의 영향을 보정하기 위하여, 첫 번째 영상을 기준으로 나머지 전체 영상을 정합(registration)하였다. Magnetic resonance 신호의 비정상적인 값을 제거하기 위해서 3포인트 저역필터[low pass filter, 0.15 × (a - 1) + 0.7 × (a) + 0.15 × (a + 1)]를 사용하여 시간적 평활화(temporal smoothing)를 시행하였다. 기능영상 데이터를 Talairach 표준공간으로 변환하기 위해, AFNI에서 제공하는 Montreal Neurological Institute N27 template에 T1 강조영상을 공간표준화한 후, 여기서 생성된 파라미터를 이용해 기능영상들을 2 × 2 × 2 mm3의 해상도에서 이중선형 보간법(bilinear interpolation)으로 공간표준화하였다. 마지막으로 가우시안 필터(Gaussian filter)를 사용한 공간적 평활화(spatial smoothing)는 full width at half maximum을 8 mm로 하여 시행하였다.

영상 데이터의 통계분석
전처리된 개개인의 fMRI 데이터를 일반선형모델(general linear model)을 사용하여 각 조건에 대해서 개인별 뇌 활성화 영상으로 변환한 후, 배경에 대한 효과를 제거하기 위해 각 조건별 뇌 활성화 영상에서 통제조건의 뇌 활성화 영상을 감산한 대조영상을 얻었다. 정상군과 환자군 공통으로 원격현존감과 상관성을 보이는 뇌 영역을 살펴보기 위해 원격현존감 점수와 모든 조건의 대조영상을 평균한 영상과의 상관분석을 시행하였다. 상관분석의 결과는 uncorrected p < 0.001의 복셀 수준 및 100 mm3 이상의 클러스터 수준으로 관찰하였다.
원격현존감과 관련된 영역을 추출하고 해당 영역들의 뇌 활성화가 집단이나 시청각적 정보의 양에 따라 차이를 보이는지를 알아보기 위해서 먼저 상관분석의 결과로 나온 각 영역을 관심영역(region of interest, 이하 ROI)으로 하여, 각 조건별 뇌 활성화 차이 값을 얻었다. 이 값들을 사용하여 2 × 3 repeated measure ANOVA분석을 수행하였다.

ㅔㅔ

피험자들의 원격현존감 점수 평균은 정상 성인군에서 18.8 (SD = 7.7), 환자군에서 17.5(SD = 7.3)였다. t-검정 결과, 두 집단 간의 원격현존감 점수에 유의미한 차이는 없었다(t = 0.46, p = 0.65).
대화상황을 경험하는 조건에서 통제조건의 뇌 활성화를 뺀 대조영상의 뇌 활성화 차이와 피험자의 원격현존감 점수와의 상관분석 결과, 정적 상관관계가 uncorrected p < 0.001에서 유의미하게 나타나는 영역들을 발견하였다. 즉, Table 2에 제시된 바와 같이, 좌측 중심후이랑(left postcentral gyrus), 우측 하전두이랑(right inferior frontal gyrus), 좌측 하전두이랑(left inferior frontal gyrus), 우측 방추이랑(right fusiform gyrus), 좌측 상측두고랑(left superior temporal sulcus) 등이 모두 유의한 상관관계를 보였다.
이 영역들을 관심영역으로 하여 각 조건별 뇌 활성화 차이 값의 2 × 3 repeated measure ANOVA분석 결과, 좌측 중심후이랑에서 집단(F(1, 27) = 1.52, p = 0.23) 및 거리(F(2, 54) = 0.56, p = 0.58)에 대한 주효과나 이들 간의 상호작용효과(F(2, 54) = 1.58, p = 0.54)는 나타나지 않았다. 우측 하전두이랑과 좌측 하전두이랑 역시 집단(F(1, 27) = 0.09, p = 0.76 ; F(1, 27) = 0.66, p = 0.43) 및 거리(F(2, 54) = 0.05, p = 0.95 ; F(2, 54) = 0.04, p = 0.96)에 대한 주효과나 이들 간의 상호작용효과(F(2, 54) = 0.14, p = 0.87 ; F(2, 54) = 0.15, p = 0.87)는 나타나지 않았다. 우측 방추이랑의 경우, 집단(F(1, 27) = 0.21, p = 0.65) 및 거리(F(2, 54) = 2.35, p = 0.11)에 대한 주효과는 없었으나, Fig. 1에서 보이는 것처럼 이들 간의 유의한 상호작용효과(F(2, 54) = 3.82, p = 0.03)가 나타났다. 좌측 상측두고랑에서는 집단(F(1, 27) = 0.17, p = 0.68) 및 거리(F(2, 54) = 0.04, p = 0.96)에 대한 주효과나 이들 간의 상호작용효과(F(2, 54) = 1.12, p = 0.34)는 나타나지 않았다.

ㅔㅔ

본 연구에서는 멀티미디어를 경험할 때, 피험자가 보고하는 원격현존감과 상관관계가 있는 뇌 영역을 알아보기 위해 피험자와 관련된 내용의 대화를 주고받는 상황을 제시하면서 fMRI를 촬영하였다. 일반적으로 주의집중이나 지각 등의 인지기능이 원격현존감을 경험하는 것과 연관이 있는 것으로 알려져 있다.11) 따라서 본 연구에서는 정상인과 인지기능이 떨어지는 조현병 환자 간에 원격현존감과 관련된 뇌 영역에 차이가 있는지, 그리고 이러한 뇌 영역들이 다감각적 정보에 따라 영향을 받는지 분석하기 위해 대화상황을 관찰하는 거리를 달리하여 멀티미디어로부터 제시되는 다감각적 정보의 양을 조절하였다.
실험 결과 정상인군과 조현병 환자군에서 원격현존감과 상관관계를 보이는 뇌 영역은 중심후이랑, 하전두이랑, 방추이랑, 상측두고랑 등으로 나타났다. 이 영역들 중, 특히 방추이랑에서 집단이나 거리의 주효과는 없었지만 이들 간의 유의한 상호작용 효과를 보였다. 방추이랑은 주로 얼굴의 지각을 처리하는 기능과 관련이 있는 것으로 알려져 있으며,28)29) 얼굴 표정에서 정서를 인지하는 기능과도 관련이 있는 것으로 확인되었다.30) 본 연구에서는 등장인물의 얼굴에 집중할수록 원격현존감을 낮게 경험하는 것으로 나타났는데, 이는 상대방의 얼굴에 집중할수록 대화내용에 집중하지 못했기 때문인 것으로 생각된다. 특히 거리가 멀어질수록 시각정보의 양이 줄어들게 되는데, 이때 피험자가 등장인물의 얼굴이나 표정에 집중하면서 원격환경에 몰입하는데 방해를 받았을 것으로 생각된다. 방추이랑에서 집단과 거리 사이에 유의한 상호작용 효과가 있었다는 결과로 보아, 정상인은 거리와 무관하게 얼굴표정 등의 상대방의 시각적 정보를 수용하려는 특성을 보이나, 조현병 환자들은 거리가 멀어질수록 시각적 정보의 양이 줄어드는 것에 영향을 받아 시각적 정보 수용에 소극적으로 반응하였던 것으로 생각된다. 얼굴 등의 시각정보에 집중할수록 멀티미디어의 컨텐츠에 집중하기 어려워지고, 원격현존감의 경험에 방해를 받게 되는데, 정상인의 경우 대화상황에서 시각적인 정보가 줄어들게 되면 원하는 정보를 얻기 위해 상대방의 얼굴에 더 집중을 하게 되고, 이는 오히려 원격현존감의 경험에 악영향을 미치는 것으로 생각된다. 하지만 조현병 환자의 경우, 시각정보의 양이 줄어들면 해당 자극에 집중하기가 어려워지고 쉽게 포기하게 되면서 원격환경 자체에 더 쉽게 집중할 것으로 생각된다.
한편, 상측두고랑의 유의한 결과도 그 기능을 생각할 때, 본 연구의 특징적 결과라 생각된다. 기존 연구에서 중간측두이랑(middle temporal gyrus)과 하측두이랑(inferior temporal gyrus)은 언어31)32)나 시각적 지각33)과 관련된 다양한 인지기능과 관련이 있는 것으로 알려져 있고,34) 상측두이랑(left superior temporal gyrus)은 청각을 포함해 언어와 관련된 중요한 역할을 하는 것으로 알려져 있다.35) 그리고 이들 간의 중간 영역인 상측두고랑은 이러한 시각과 청각 정보의 통합과 관련된 것으로 보고되었다.36) 따라서, 본 실험에서의 상측두고랑 상관성 결과는 피험자들이 멀티미디어를 경험할 때 다감각적 정보를 받아들이고 이를 적절히 통합할수록 원격환경에 잘 몰입할 수 있었음을 의미한다고 하겠다. 특히 본 연구에서는 원격환경으로부터 제시되는 다감각적 정보로 시각과 청각 자극만을 이용하였기 때문에, 상측두고랑의 활성화와 원격현존감간에 정적 상관성을 보인 것으로 생각된다.
방추이랑을 제외하면, 원격현존감과 상관관계를 보이는 영역 대부분에서 집단이나 거리의 주효과나 이들 간의 상호작용 효과는 없는 것으로 나타났다. 이러한 결과는 해당 영역들이 원격현존감을 경험하는 것과 관련이 있다는 것과 더불어, 조현병 환자들도 노출된 멀티미디어로부터 원격현존감을 경험하는데 어려움이 없었음을 시사한다. 조현병 환자들은 전두엽 기능저하뿐만 아니라 각종 뇌기능 장애로 인해 인지기능에 손상이 있고,37) 이에 따라 정상인과는 다른 원격현존감을 경험할 것으로 예측하였다. 하지만 본 실험을 통해 피험자들이 주관적으로 보고한 원격현존감 척도의 점수에서도 확인할 수 있듯이, 조현병 환자들은 정상인 수준의 원격현존감을 경험하였고, 이러한 결과는 원격현존감과 상관관계를 보이는 뇌 영역들의 활성화가 집단 간에 차이가 없음으로 다시 한번 확인되었다. 사람들은 멀티미디어로부터 다감각적인 정보를 수용하면서 원격환경에 대한 몰입감을 경험하게 된다.5)6)7) 이러한 원격현존감의 경험은 시각, 청각과 같은 정보를 통해 이루어지게 되는데, 이러한 정보들을 처리하는 것과 관련된 인지기능의 영향을 받는 것으로 알려져 있다.11) 하지만 본 연구에서는 멀티미디어로부터 제공되는 정보의 양에 따라 원격현존감과 상관관계를 보이는 뇌 영역의 활성화에는 차이가 없음을 확인하였다. 이는 다감각적 정보의 크기와 관련된 뇌 활성화는 대뇌피질의 일차감각영역과 연관이 있고, 일차감각영역을 통해 분석된 정보를 본 실험에서 발견한 영역들에서 처리하기 때문일 것으로 생각된다.
우리는 원격환경으로부터 시각, 청각, 촉각 등의 다감각적 신호를 통해 되먹임을 받게 되고, 이를 통해 원격현존감을 경험하게 된다.4) 되먹임 감각의 종류가 다양하고 실재적일수록 원격환경을 실재처럼 받아들이게 된다.38)39) 사실감을 극대화하기 위해 파노라마 3차원 영상이나 입체음향이 활용되기도 한다. 또한 원격환경과의 자연스러운 실시간 상호작용을 통해 몰입감을 극대화시킬 수 있다.39)40) 하지만 본 연구에서는 원격현존감을 유도하기 위해 시각, 청각 자극만을 이용한 대화상황을 제시하였고, 원격환경과의 상호작용 역시 미미하였다. 이러한 과제구성의 특성으로 인해 충분한 원격현존감이 유도되지 않았고, 연쇄적으로 집단별 원격현존감의 차이가 발견되지 않았을 가능성을 배제할 수 없다. 그럼에도 불구하고 현재까지 멀티미디어를 통해 전달되는 정보의 대부분이 시각과 청각정보이기 때문에, 본 연구의 결과가 의미를 가질 것으로 생각된다.
본 연구의 제한점으로는 첫째, 원격현존감을 유도하기 위한 자극으로 대화상황만을 사용했다는 것이다. 이런 이유로 원격현존감과 연관된 것으로 생각되는 뇌 영역들에 언어와 관련된 기능을 담당하는 뇌 영역이 포함된 것으로 생각된다. 우리가 멀티미디어를 경험할 때, 대부분의 경우 등장인물들의 대화를 통해 상황을 파악하기는 하지만, 일부 사회적이지 않은 내용의 자극에 대해서는 다른 해석이 필요할 것으로 생각된다. 둘째, 본 실험에서는 피험자의 대화상황 관찰 거리에 따라 시각정보와 청각정보의 양이 함께 변하는 세 가지 조건이 사용되었다. 만약 시각정보와 청각정보의 양이 서로 독립적으로 통제가 되었다면 각각의 정보가 원격현존감을 경험하는데 끼치는 영향을 비교해볼 수 있었을 것이다. 셋째, 원격현존감은 fMRI 촬영 후 설문지를 이용하여 일회만 측정되었다. 만약 각 실험조건별로 원격현존감 점수를 측정하였다면 좀더 의미 있는 결과를 도출할 수 있었을 것으로 생각된다. 마지막으로 환자군에서 정상인군보다 유의한 수준으로 낮은 지능을 보였다. 따라서 분석 과정에서 이러한 차이를 고려해 통계적으로 통제하였다.
결론적으로, 본 연구에서 영상물로 구성된 대화상황을 경험하는 동안 fMRI를 촬영해 원격현존감과 관련된 뇌 기능을 확인한 결과, 조현병 환자들은 정상인과 동등한 수준으로 원격현존감을 경험하였고, 관련된 뇌 기능에도 뚜렷한 차이는 발견되지 않았다. 이러한 사실은 기존에 환자들의 치료나 교육을 목적으로 의심 없이 행해지던 멀티미디어의 노출에서 조현병 환자들도 정상인과 동일하게 몰입하였음을 뜻하고, 이러한 멀티미디어 자극들이 동일한 효율을 가짐을 시사한다. 이처럼 조현병 환자들도 멀티미디어 자극처리에서 적절한 효율성을 나타낸다는 점에서, 이 환자들의 훈련 및 치료를 목적으로 한 다양한 멀티미디어 자극의 개발 및 컨텐츠 활용 증대가 환자들의 기능 향상에 실제로 효율적일 수 있다고 하겠다.

REFERENCES

  1. Heeter C. Being there: the subjective experience of presence. Presence (Camb) 1992;1:262-271.

  2. Sheridan TB. Further musings on the psychophysics of presence. Presence (Camb) 1996;5:241-246.

  3. Lombard M, Ditton T. At the heart of it all: the concept of presence. JCMC 1997;3.

  4. Shi Z, Zou H, Rank M, Chen L, Hirche S, Müller HJ. Effects of packet loss and latency on the temporal discrimination of visualhaptic events. IEEE Trans Haptics 2010;3:28-36.

  5. Steuer J. Defining virtual reality: dimensions determining telepresence. J Commun 1992;42:73-93.

  6. Hirzinger G, Brunner B, Dietrich J, Heindl J. Sensor-based space robotics-ROTEX and its telerobotic features. IEEE Trans Rob Autom 1993;9:649-663.

  7. Ferre M, Buss M, Aracil R, Melchiorri C, Balaguer C. Advances in Telerobotics. Berlin: Springer;2007.

  8. Biocca F, Levy MR. Communication in the Age of Virtual Reality. New York: L. Erlbaum Associates;1995.

  9. Schloerb DW. A quantitative measure of telepresence. Presence (Camb) 1995;4:64-80.

  10. Gescheider GA. Psychophysics: Method, Theory, and Application. 2nd ed. London: Psychology Press;1985.

  11. Draper JV, Kaber DB, Usher JM. Speculations on the value of telepresence. Cyberpsychol Behav 1999;2:349-362.

  12. Mueser KT, Jeste DV. Clinical Handbook of Schizophrenia. New York: Guilford Press;2008.

  13. van Os J, Kapur S. Schizophrenia. Lancet 2009;374:635-645.

  14. Rothbaum BO, Hodges LF, Kooper R, Opdyke D, Williford JS, North M. Effectiveness of computer-generated (virtual reality) graded exposure in the treatment of acrophobia. Am J Psychiatry 1995;152:626-628.

  15. North MM, North SM, Coble JR. Virtual reality therapy for fear of flying. Am J Psychiatry 1997;154:130.

  16. Garcia-Palacios A, Hoffman H, Carlin A, Furness TA 3rd, Botella C. Virtual reality in the treatment of spider phobia: a controlled study. Behav Res Ther 2002;40:983-993.

  17. Botella C, Villa H, García Palacios A, Quero S, Baños RM, Alcaniz M. The use of VR in the treatment of panic disorders and agoraphobia. Stud Health Technol Inform 2004;99:73-90.

  18. Klinger E, Bouchard S, Légeron P, Roy S, Lauer F, Chemin I, et al. Virtual reality therapy versus cognitive behavior therapy for social phobia: a preliminary controlled study. Cyberpsychol Behav 2005;8:76-88.

  19. Josman N, Somer E, Reisberg A, Weiss PL, Garcia-Palacios A, Hoffman H. BusWorld: designing a virtual environment for post-traumatic stress disorder in Israel: a protocol. Cyberpsychol Behav 2006;9:241-244.

  20. Rothbaum BO, Anderson P, Zimand E, Hodges L, Lang D, Wilson J. Virtual reality exposure therapy and standard (in vivo) exposure therapy in the treatment of fear of flying. Behav Ther 2006;37:80-90.

  21. Mitchell P, Parsons S, Leonard A. Using virtual environments for teaching social understanding to 6 adolescents with autistic spectrum disorders. J Autism Dev Disord 2007;37:589-600.

  22. Cho BH, Ku J, Jang DP, Kim S, Lee YH, Kim IY, et al. The effect of virtual reality cognitive training for attention enhancement. Cyberpsychol Behav 2002;5:129-137.

  23. Rose FD, Brooks BM, Rizzo AA. Virtual reality in brain damage rehabilitation: review. Cyberpsychol Behav 2005;8:241-262; discussion 263-271.

  24. Rey B, Alcañiz M, Tembl J, Parkhutik V. Brain activity and presence: a preliminary study in different immersive conditions using transcranial Doppler monitoring. Virtual Real 2010;14:55-65.

  25. Baumgartner T, Speck D, Wettstein D, Masnari O, Beeli G, Jäncke L. Feeling present in arousing virtual reality worlds: prefrontal brain regions differentially orchestrate presence experience in adults and children. Front Hum Neurosci 2008;2:8. doi: 10.3389/neuro.09.008. 2008.

  26. Nowak KL, Biocca F. The effect of the agency and anthropomorphism on users' sense of telepresence, copresence, and social presence in virtual environments. Presence (Camb) 2003;12:481-494.

  27. Cox RW. AFNI: software for analysis and visualization of functional magnetic resonance neuroimages. Comput Biomed Res 1996;29:162-173.

  28. McCarthy G, Puce A, Gore JC, Allison T. Face-specific processing in the human fusiform gyrus. J Cogn Neurosci 1997;9:605-610.

  29. Bokde AL, Lopez-Bayo P, Meindl T, Pechler S, Born C, Faltraco F, et al. Functional connectivity of the fusiform gyrus during a face-matching task in subjects with mild cognitive impairment. Brain 2006;129(Pt 5):1113-1124.

  30. Radua J, Phillips ML, Russell T, Lawrence N, Marshall N, Kalidindi S, et al. Neural response to specific components of fearful faces in healthy and schizophrenic adults. Neuroimage 2010;49:939-946.

  31. Tranel D, Damasio H, Damasio AR. A neural basis for the retrieval of conceptual knowledge. Neuropsychologia 1997;35:1319-1327.

  32. Chao LL, Haxby JV, Martin A. Attribute-based neural substrates in temporal cortex for perceiving and knowing about objects. Nat Neurosci 1999;2:913-919.

  33. Ishai A, Ungerleider LG, Martin A, Schouten JL, Haxby JV. Distributed representation of objects in the human ventral visual pathway. Proc Natl Acad Sci U S A 1999;96:9379-9384.

  34. Cabeza R, Nyberg L. Imaging cognition II: an empirical review of 275 PET and fMRI studies. J Cogn Neurosci 2000;12:1-47.

  35. Howard MA, Volkov IO, Mirsky R, Garell PC, Noh MD, Granner M, et al. Auditory cortex on the human posterior superior temporal gyrus. J Comp Neurol 2000;416:79-92.

  36. Beauchamp MS, Lee KE, Argall BD, Martin A. Integration of auditory and visual information about objects in superior temporal sulcus. Neuron 2004;41:809-823.

  37. Kim JJ, Mohamed S, Andreasen NC, O'Leary DS, Watkins GL, Boles Ponto LL, et al. Regional neural dysfunctions in chronic schizophrenia studied with positron emission tomography. Am J Psychiatry 2000;157:542-548.

  38. Turk M, Robertson G. Perceptual user interfaces. Commun ACM 2000;43:32-34.

  39. Stanney KM, Mollaghasemi M, Reeves L, Breaux R, Graeber DA. Usability engineering of virtual environments (VEs): identifying multiple criteria that drive effective VE system design. Int J Hum Comput Stud 2003;58:447-481.

  40. Bowman DA. Interaction techniques for common tasks in immersive virtual environments. Georgia: Georgia University of Technology;1999.