Oct, 1, 2023

Vol.30 No.2, pp. 84-88


Review

  • Korean Journal of Biological Psychiatry
  • Volume 12(2); 2005
  • Article

Review

Korean Journal of Biological Psychiatry 2005;12(2):165-72. Published online: Feb, 1, 2005

Comparison between Logistic Regression and Artificial Neural Networks as MMPI Discriminator

  • Jaewon Lee, MD1;Bum Seok Jeong, MD, PhD3;Mi Sug Kim,2;Jee Wook Choi, MD4; and Byung Un Ahn, MD2;
    1;Department of Biosystems, Korea Advanced Institute of Science & Technology(KAIST), Daejeon, 2;Department of Psychiatry, Gongju National Hospital, Gongju, 3;Department of Neuropsychiatry, School of Medicine, Eulji University, Daejeon, 4;Department of Psychiatry, School of Medicine, Catholic University, Daejeon Sungmo Hospital, Daejeon, Korea
Abstract

ObjectivesThe purpose of this study is to 1) conduct a discrimination analysis of schizophrenia and bipolar affective disorder using MMPI profile through artificial neural network analysis and logistic regression analysis, 2) to make a comparison between advantages and disadvantages of the two methods, and 3) to demonstrate the usefulness of artificial neural network analysis of psychiatric data.

Procedure
The MMPI profiles for 181 schizophrenia and bipolar affective disorder patients were selected. Of these profiles, 50 were randomly placed in the learning group and the remaining 131 were placed in the validation group. The artificial neural network was trained using the profiles of the learning group and the 131 profiles of the validation group were analyzed. A logistic regression analysis was then conducted in a similar manner. The results of the two analyses were compared and contrasted using sensitivity, specificity, ROC curves, and kappa index.

Results
Logistic regression analysis and artificial neural network analysis both exhibited satisfactory discriminating ability at Kappa index of greater than 0.4. The comparison of the two methods revealed artificial neural network analysis is superior to logistic regression analysis in its discriminating capacity, displaying higher values of Kappa index, specificity, and AUC(Area Under the Curve) of ROC curve than those of logistic regression analysis.

Conclusion
Artificial neural network analysis is a new tool whose frequency of use has been increasing for its superiority in nonlinear applications. However, it does possess insufficiencies such as difficulties in understanding the relationship between dependent and independent variables. Nevertheless, when used in conjunction with other analysis tools which supplement it, such as the logistic regression analysis, it may serve as a powerful tool for psychiatric data analysis.

Keywords Neural network;Logistic regression;MMPI(Minnesota Multiphasic Personality Inventory).

Full Text

교신저자:이재원, 305-701 대전광역시 유성구 구성동 373-1번지
교신저자:전화) (042) 869-4359, 전송) (042) 869-4310, E-mail) jaewon@raphe.kaist.ac.kr

서     론


  
인공신경망 분석(artificial neural network analysis)은 신경계를 모방한 전산화된 분석 도구로 비교적 최근에 소개되고 점점 이용이 늘어나면서 의학자료 분석에서도 유용한 분석도구로 사용되고 있는 방법이다.1)2)
   인공신경망은 생물의 신경계를 모방함으로써 얻게 된 인간의 뇌와 유사한 문제해결방식을 보이는데, 이 때문에 복잡한 비선형적(nonlinear) 관계를 병렬적(parallel)으로 분석하고 처리할 뿐 아니라 학습(learning)이 가능하고 일반화(generalization)능력이 뛰어나며 더불어 오류나 잡음(noise)에 강한 특징을 가지게 된다.2)
   위와 같은 특징은 방대하면서 비선형적인 관계를 가지는 의학자료의 분석에 용이하기 때문에 여러 의학연구에서는 이를 이용한 연구가 늘어나고 있는데, Dreiseitl 과 Ohno-Machado1)는 2002년 Medline index 검색으로 조사한 28,500건의 로지스틱 회귀분석(logistic regression) 이용 논문 중 약 1/3에 해당하는 8,500건이 인공신경망 분석을 이용한 논문이었다고 하였다. 
   정신과 영역에서 역시 인공신경망 분석이 이용된 연구를 찾아볼 수 있는데 국내의 연구는 아직 많지 않은 실정이고, 외국의 경우를 보면 1990년도 후반부터 정신과적 진단 및 치료, 증상분석 및 영상자료 처리 등 다양한 영역에 인공신경망 분석을 이용하고 있다. CIDI(Composite International Diagnostic Interview)와 같은 구조화된 면담 혹은 Eye-tracking performance의 결과를 분석하여 정신분열병 진단에의 유용성을 평가해 보기도 하고, 신경심리학적 검사를 분석하여 소아 뇌기능장애를 조기 진단하는데 이용을 해보는 등의 임상적으로 진단이 어려운 경우 도움이 되는 분석으로 인공신경망을 이용한 연구3)4)5)를 비롯하여 알쯔하이머형 치매를 staging하고 유형을 구분하거나6) 환청, 우울증상 및 자살사고 척도들을 분석하기도 하고,7)8)9) 심지어는 sertraline 등의 정신과 약물치료 효과 분석 또는 치료 방법을 제안하는데 인공신경망 분석을 이용한 경우도 있었다.10)11)12) 그 밖에도 중요한 정신과 자료 중 하나인 영상자료 분석에 응용되어 정신분열병 환자의 미상핵(caudate) 크기를 측정하는데 이용13)하는 등의 인공신경망 분석을 이용한 논문의 수는 계속 늘어나고 있다. 이러한 연구들 중에는 인공신경망의 분석 결과를 기존의 로지스틱 회귀분석 및 판별분석(Discriminant Analysis) 등의 통계방법과 비교하기도 하였는데 대체로 다수에서 기존의 회귀분석과 같은 통계방법보다 예측능력과 판별능력에서 더 나은 결과를 보여준다고 보고하고 있다.3)6)7) 인공신경망 분석은 일반적으로 과정이 복잡하고 해석이 어렵고 상관관계가 복잡한 문제에 대해서도 비교적 정확하게 분석을 해내는 경우가 많아 특히 정신과 진단이나 임상심리학적 검사의 해석처럼 오랜 시간 수련과 경험이 필요한 어려운 문제의 해결에 유용하게 이용될 수 있을 것으로 여겨진다.14)
   임상심리학적 검사 중 대표적 검사인 다면적 인성검사(MMPI:Minnesota Multiphasic Personality Inventory)는 오랜 기간 여러 연구를 통해서 정신과 질환의 진단에 유용함이 알려져 있으며, 특히 정신분열병과 성격장애 문제를 선별하는데 도움이 된다는 사실은 반복된 연구 결과로 이미 알려져 있다.15) 실제적으로 임상에서 정신분열병 환자의 증상을 평가하는데 사용되는 BPRS (Brief Psychiatric Rating Scale)와 PANSS(Positive And Negative Symptom Scale)는 MMPI의 척도들과 연관성을 보이는데 특히 임상척도 중 2번 Depression 척도, 4번 Psychopathic Deviate 척도, 7번 Psychasthenia척도와 같이 우울경향, 성격장애 및 긴장과 불안을 나타내는 척도들이 BPRS의 여러 항목과 연관성을 보이며,16)17) 망상과 관련된 항목은 6번 Paranoia 척도와 사고장애 항목은 F(Infrequency)척도 및 9번 Hypomania척도와의 상관성18)을 보이는 등 MMPI 프로파일이 정신분열병 증상에 상당 부분 관련되며, 정신분열병을 진단하는데 도움이 된다는 사실이 알려지기도 하였다. 그래서 경계성 인격장애와 우울증 및 정신분열병 환자를 MMPI결과로 구분19)하거나 정신분열병의 발병을 예측하는 등에 이용20)21)하려는 시도가 있었다고 생각된다. 하지만 MMPI 검사 단독으로는 제약 및 예외가 많고 MMPI 검사결과가 병으로 인하여 발생한 현상인지 아니면 병전 성격인지 구분이 어렵다는 단점22)도 있어 임상적인 이용이 쉽지만은 않은 것이 사실이다.
   저자들은 위와 같은 MMPI 검사의 특성상 인공신경망 분석과 같은 새로운 방법을 도입하여 프로파일 분석을 시행하는 것이 도움이 될 것이라 생각하여 국내 여러 정신과병원에서 기본적으로 시행되고 있는 MMPI 검사를 이용한 정신분열병과 양극성장애의 판별능력을 인공신경망 분석을 통하여 알아보고 기존의 로지스틱 회귀분석과 같은 통계분석과의 차이점 및 장단점을 알아보고자 하였다. 또한 정신과 자료분석에 있어서 인공신경망 분석의 유용성을 평가해보고 추후 다른 인공신경망 분석 연구의 기초를 마련하고자 하였다.

방     법

   국립공주병원에서 1998년도 7월부터 2003년 10월까지 실시한 1512건의 다면적 인성검사(MMPI)를 대상으로 분석하였다. 연구에 이용된 MMPI는 표준화된 한국판 550문항 자기보고식 검사였다. 검사 당시 진단이 정신분열병, 양극성장애인 자료만을 골라내어 의무기록으로 DSM-IV-TR의 정신분열병, 양극성장애 진단기준에 해당하는 경우만을 연구에 포함시켰고, 진단기준에 필요한 자료가 불충분한 경우는 모두 제외하였다. 또한 위의 자료 중 IQ 70이하의 정신지체의 경우와 무응답 척도의 점수가 높은 경우는 MMPI 결과에 영향을 주어 신뢰하기 어렵다고 판단되어 제외하였다. 양극성장애는 MMPI검사 당시 우울증 삽화 또는 조증 삽화의 경우가 혼합되어 있었으나 두 삽화 모두 양극성장애를 정신분열병과 구별하는 중요증상이라 판단되어 구분을 짓거나 배제하지는 않았다.
   위의 조건을 모두 만족하는 181명의 MMPI 프로파일을 얻었다. 정신분열병과 양극성장애는 각각 113명, 68명으로 양극성장애에 비하여 정신분열병의 경우가 더 많았으며 총 113명 정신분열병 중 남자는 66명, 여자는 47명이었으며, 68명의 양극성장애 중 남자는 36명, 여자는 32명이었다. 정신분열병과 양극성장애 양 군간 나이와 지능지수(IQ)는 정신분열병이 나이가 조금 많고 양극성장애 환자의 지능지수가 다소 높은 편이었으나 통계적으로 유의미한 차이는 없었다(표 1). 
   MMPI 프로파일 자료는 무응답척도를 제외한 타당성 척도인 L척도, F 척도, K 척도 3가지와 임상척도인 Hs 척도, D 척도, Hy 척도, Pd척도, Mf척도, Pa척도, Pt척도, Sc척도, Ma척도, Si척도의 10가지 척도로 구성되어 있으며 두 가지를 합한 총 13개의 척도가 분석에 사용되어 지는 것을 원칙으로 하였다. 
   이와 같이 얻어진 MMPI 프로파일 중에서 정신분열병 25명, 양극성장애 25명을 무작위 추출하여 50명으로 이루어진 학습군(learning group)을 구성하였으며, 나머지 131명의 프로파일은 검증군(validation group)으로 진단의 정확도를 알아보고 판별력을 검증하는데 이용하기로 하였다. 위의 자료를 각각 로지스틱 회귀분석, 인공신경망 학습을 실시하였으며, 2002년 Dreiseitl과 Ohno-Machado1)에 의해 제안된 로지스틱 회귀분석 및 인공신경망 분석 방법을 따랐다.

1. 로지스틱 회귀분석
  
로지스틱 회귀분석의 방법은 1991년도 Moldin등23)에 의해 실시된 정신분열병 환자와 양극성장애 환자의 MMPI 프로파일 로지스틱 회귀분석 연구를 토대로 하였다.
   저자들은 SPSS 11.0 PC-version를 이용하였고 학습군과 검증군으로 나눠진 131명의 자료는 MMPI 프로파일 13개의 척도 값(T-score)과 진단정보로 구성되어 있고, 다른 전처리 혹은 환산 없이 분석에 사용되었다. 진단정보 값은 정신분열병인 경우 1로, 양극성장애인 경우 0으로 하였다.
   학습군 처리는 50개의 학습군 각각의 척도 값을 독립변수(independent variable)로, 진단정보 값을 종속변수(dependent variable)로 하여 로지스틱 회귀분석하고 Beta값과 Intercept를 구하는 방법으로 하였다. 얻어진 Beta 값과 Intercept로 구한 방정식에 검증군의 13개 척도 값을 대입하여 결과값을 얻을 수 있었다.
   학습군의 로지스틱 회귀분석은 역방향 조건부(backward conditional)의 방법으로 중요하지 않은 변수를 제거해가면서 분석하는 방식을 이용하였으며 이러한 방법으로 불필요한 변수를 줄이는 것이 분석의 정확도를 높이는데 유용하다고 알려져 있다.1)
   검증군 131명의 로지스틱 회귀분석 결과값은 0에서 1사이의 확률값으로 나오게 되는데 0.5를 절단점(cut-off)으로 하여 0.5 초과는 정신분열병으로, 0.5 미만은 양극성장애로 판별한 것으로 여겨 0.5 초과는 1로, 0.5 미만은 0으로 변환한 결과값을 구할 수 있었다.

2. 인공신경망 분석
  
저자들은 인공신경망 분석을 위하여 Mathworks 사의 matlab 6.5판을 사용하였다. MMPI 프로파일 분석을 위해서 은닉층 (hidden layer)의 수가 1개인 3층의 역전파 인공신경망(Backpropagation neural network)을 이용하였다. MMPI 프로파일 13개 척도값의 입력을 위해 입력층 (input layer)의 노드(node) 수는 13개로 정하였고 결과값이 로지스틱 회귀분석과 같은 1개의 값이 출력되어야 하므로 출력층(output layer)은 1개로 구성되었다. 은닉층(hidden layer)의 노드 수는 경험적으로 결정되는 것이 바람직하다는 판단1) 하에 노드 수를 3개 가진 인공신경망부터 7개를 가진 것까지 총 5종류의 인공신경망을 사용하여 MMPI자료를 미리 분석해 보고 결과가 가장 좋은 인공신경망 은닉층 노드 수를 MMPI 프로파일 분석에 사용하기로 하였다.
   인공신경망은 학습군의 특징에 너무 수렴되어 전체를 대표하지 못하고 판별능력이 떨어지는 과대적합(overfitting)의 위험이 있으므로 이를 주의해야 한다.1) 저자들은 과대적합을 피하기 위하여 결과가 유사할 경우 은닉층 수가 적은 인공신경망을 이용하고 학습과정에서 조기중단(early stopping)의 방법을 이용하였다. 학습 알고리즘(Learning algorithm)은 비교적 성능이 뛰어난 Scaled conjugated gradient 알고리즘을 이용하였는데 빠르고 정확하게 결과를 출력해냈다.1) 분석에 이용된 인공신경망의 자세한 설정값(parameter)은 표 2와 같다.
   인공신경망 분석과정은 먼저 13개의 T척도를 전처리(preprocessing)하여 -1에서 1사이의 수로 만들고, 전처리된 자료 중 학습군으로 학습을 시킨 후 학습된 인공신경망에 검증군을 대입하여 결과를 얻어내는 순서로 진행되었다.
   MMPI 타당성척도와 임상척도가 50점을 기준으로 30
~70점 사이에 대부분 분포하므로 50점을 0으로 하여 대부분의 값이 -1과 +1사이에 분포하는 값이 되도록 하였다.
   50개의 학습군 자료 진단정보 값은 0(양극성장애)과 1(정신분열병)의 값을 갖는다. 본 연구에 사용된 인공신경망은 기본적으로 양극성 뉴런을 모델화한 것으로 전달함수(transfer function)가 시그모이드(sigmoid)함수로 되어있어 양극성 정보처리에 적합하므로 진단정보의 값을 -1에서 1 사이의 값으로 변환할 필요가 있으며 이 때문에 진단정보 값을 -1(양극성장애)과 1(정신분열병)로 변환한 목표 값(target data)이 인공신경망 학습에 사용되었다. 
   학습된 정도는 학습 횟수(epochs)보다는 표준오차평균(MSE:mean of squared error)이 정확할 것으로 판단되어 표준오차평균값(MSE)을 기준으로 하였다. 이는 조기중단(early stopping) 시점을 판단하고 인공신경망이 오류 없이 일반화가 되는지 알아보는데 중요한 정보를 제공해 주었다. 은닉층의 노드 수를 결정하여야 하기 때문에 먼저 은닉층이 3개, 4개, 5개, 6개, 7개가 존재하는 총 5개의 인공신경망을 설계하여 학습과 검증이 실시되었으며 5회씩 측정하여 비교한 결과 은닉층 노드 수가 5개인 경우 결과가 가장 좋았기 때문에 경험적으로 은닉층의 노드 수는 5개로 결정하였다(그림 1). 인공신경망이 새로 초기화되면 각각 시냅스 연결의 가중치(weight) 역시 초기화가 되는데 이때 무작위적으로 -1에서 1사이의 숫자가 가중치로 할당되기 때문에 매번 학습 시마다 인공신경망은 서로 약간씩 다른 모습들을 보인다. 이러한 점 때문에 저자들은 10회에 걸쳐 초기화-학습-검증을 반복해 보기로 하였다. 인공신경망은 성공적으로 학습되어 검증군의 분석결과가 목표 값의 범위인 -1에서 1사이의 숫자로 출력되었다. 결과값 중 -1은 양극성장애의 목표값이며 1은 정신분열병의 목표값으로 로지스틱 회귀분석과 마찬가지로 절단점(cut off)을 0으로 하여 0 초과의 양수로 표현된 경우 정신분열병으로, 0 미만의 음수로 표현된 경우 양극성장애로 판단한 것으로 하였다. 이를 정신분열병은 1로 양극성장애는 0으로 변환하여 결과를 비교하였다.

3. 로지스틱 회귀분석과 인공신경망 분석결과의 비교
  
로지스틱 회귀분석으로 얻어진 결과와 인공신경망 분석으로 얻어진 결과를 실제 진단과 비교하여 올바르게 정신분열병으로 진단해낸 정도를 민감도(sensitivity)와 신뢰도(specificity)로 측정하였으며, 이와 더불어 Kappa일치도 값과 ROC curve를 통해 얻은 AUC(Area under the curve) 값을 같이 비교하여 판별능력을 평가하고자 하였다.1)

결     과

   연구에 참여된 181명의 정신분열병, 양극성장애 환자의 MMPI 13개 척도의 T-점수 평균비교는 그림 2와 같다. 13개 척도 평균 비교에서 정신분열병은 신뢰성 척도가 양극성장애보다 높고 임상척도 6번 Paranoia 척도와 8번 Schizophrenia의 척도가 높은 값을 보여 편집형 정신분열병에서 많이 관찰되는 6-8/8-6 상승척도쌍을 나타냈다. 반면 양극성장애 환자의 경우는 2번 Depression 척도가 낮고 9번 Hypomania 척도 값이 높은 모습을 보여 병적인 기분불안정 상태를 짐작할 수 있었다.
   인공신경망 분석과정 중 10회에 걸쳐 시행된 학습과정에서 많은 학습 횟수(epochs) 없이 평균 50회 미만의 학습 횟수로도 표준오차평균(MSE) 값이 원하는 목표 값(goal)에 쉽게 도달하는 모습을 보여 학습이 큰 무리없이 잘 이루어짐을 알 수 있었다.
   로지스틱 회귀분석의 결과와 10회에 걸쳐 실시한 인공신경망 분석 결과 및 평균값은 표 3과 같다. 인공신경망 분석과 로지스틱 회귀분석에서 Kappa 일치도는 0.4 이상의 높은 값을 보여 두 분석법 모두 정신분열병과 양극성장애를 판별해내는 능력이 뛰어난 것으로 나타났다. 인공신경망의 10회 평균값과 로지스틱 회귀분석 결과를 비교해 보면 민감도(sensitivity), 특이도(specificity), Kappa일치도 및 AUC값 모두 인공신경망 분석이 로지스틱 회귀분석보다 나은 결과를 보였다. 특히 민감도를 제외한 특이도, Kappa일치도, AUC값은 인공신경망 10회 분석 모두에서 로지스틱 회귀분석 결과보다 우수한 것을 볼 수 있었다(표 3).

고     찰

   인공신경망 분석과 로지스틱 회귀분석은 다양한 의학적 자료를 분석하는데 적합하고 뛰어난 분석법으로 여겨지며 최근 이용이 늘고 있다.1) 그 중 인공신경망 분석은 로지스틱 회귀분석과 유사한 방법으로 처리를 하면서도 기본적으로는 비선형적(nonlinear) 분석이며 비모수적(nonparametric) 성향이 강하다는 특징을 가진다고 할 수 있다.1)2) 인공신경망 분석의 이러한 차이점을 학자에 따라 비선형적 회귀분석(nonlinear statistical regression)이라 하여 회귀분석의 일종으로 보기도 하고24)25) 비선형성(nonlinearity)을 강조하여 회귀분석을 능가하는 새로운 도구로 생각하기도 한다.26) 이미 많은 연구를 통하여 인공신경망적 접근이 기존 회귀분석을 능가한다는 것은 알려져 있으며 그 유용성은 예측력 혹은 판별력이 필요한 상황에서 더욱 높다고 할 수 있다.2) 특히 자료의 비선형성이 클수록 기존 로지스틱 회귀분석과 같은 기존의 분석법에 비해 더욱 우수해서, 전통적인 회귀분석으로 분석이 어려운 경우에도 인공신경망 분석은 높은 정확성을 보인다고 한다.2)
   비선형적인 경향이 강한 의학자료의 특성 때문에 인공신경망 분석이 의학자료 분석에 미치게 될 영향은 크다고 생각된다. 정신과 연구에서 다뤄지는 자료 역시 비선형적인 분석을 요하는 복잡한 자료들이 많고 점점 더 늘어나고 있는 실정이어서, 앞으로는 더욱 인공신경망 분석과 같은 새롭고 뛰어난 분석방법들이 필요하게 될 것으로 예상된다. 
   MMPI 프로파일은 분석에 있어 해석이 어렵고 많은 임상경험을 요하는 과정이다. 저자들은 이러한 MMPI 자료의 분석에 인공신경망을 이용하여 로지스틱 회귀분석보다 다소 변별력이 우수한 판별분석을 해낼 수 있었는데, 이를 역으로 생각하면 일반적인 로지스틱 회귀분석에서 취약한 비선형적 분석능력이 MMPI 결과 분석에 유용하다는 의미이며 다시 이야기하면 MMPI 결과들 사이에 비선형적인 관계의 존재를 의심해 볼 수 있다는 말이 될 것이다.
   이러한 인공신경망 분석에는 로지스틱 회귀분석에 비하여 판별력이 뛰어나다는 장점도 있지만 여러 단점도 가지고 있다. 로지스틱 회귀분석이 각각의 독립변수가 종속변수에 어느 정도의 영향을 미치는지에 대한 정보 즉, 변수들 사이의 유의미한 관계에 대한 정보를 주지만, 인공신경망 분석은 독립변수와 종속변수의 관계와 같은 변수들 간의 상관관계에 대한 정보를 제공해 주지 못한다. 또한 좀 더 나은 결과를 위하여는 인공신경망을 최적화하고 과대적합(overfitting)이나 과소적합(underfitting) 등의 위험을 줄이기 위한 노력을 꾸준히 해야 하고 수 회 혹은 수십 회에 걸쳐 학습시킨 결과 중 좋은 결과를 보이는 인공신경망을 골라내는 등의 수고를 해야한다는 점들이 단점이 될 수 있겠다.
   여러 단점들 중 독립변수의 종속변수에 대한 영향을 알 수 없다는 점은 의학적 자료를 분석하는 데 인공신경망 분석의 큰 제한점이라 할 수 있다. 분석의 정확성 보다는 인과관계에 대한 이해가 필요한 연구에는 인공신경망 분석이 적합하지 않을 수도 있을 것이다.
   Wong 등27)은 로지스틱 회귀분석과 인공신경망 분석은 상호 보완적으로 이용될 때 그 뛰어난 능력이 드러난다고 말한다. 저자들이 본 연구를 통해 공감을 할 수 있었던 부분이기도 한데, 여러 연구에서 판별능력 비교를 많이 이야기 하지만 두 분석법은 하나가 다른 하나를 대신한다기 보다는 각각의 역할을 하여 부족한 부분을 보완할 때 좀 더 나은 결과와 해석이 가능해지기 때문일 것이다.
   본 연구에서 얻어진 인공신경망을 임상에 바로 이용하기에는 부족한 부분들이 아직 많다. 한 정신과 병원에 입원한 환자만을 대상으로 한 점 때문에 지역적 특성 및 환자군의 특성이 대한민국 전체의 정신분열병 및 양극성장애 환자를 대표한다고 보기 어렵고, 만성적인 정신장애를 가진 환자가 다수 포함된 집단의 양극성장애 환자와 정신분열병 환자를 대상으로 한 MMPI 결과이기 때문에 정신과적 진단 혹은 선별에 이용을 하기 위해서는 조기진단 및 예측능력에 대한 검증이 필요하리라 생각된다. 이러한 점들이 본 연구의 제한점이 될 수 있을 것이다. 
   저자들은 본 연구를 통하여 인공신경망 분석이 실제 정신과 데이터 분석의 이용이 가능하며 결과가 기존 통계방법에 비하여 우수함을 알 수 있었고 인공신경망 분석의 제한점들을 경험할 수 있었다. 분석이 어려운 여러 정신과 자료들에 있어서의 적용가능성 및 장점들을 추후 연구를 통하여 알아볼 필요가 있다.

REFERENCES

  1. Stephan Dreiseitl, Lucila Ohno-Machado. Logistic regression and artificial neural network classification models: a methodology review. Journal of Biomedical Informatics 2002;35:352-359.

  2. Basheer IA, Hajmeer M. Artificial neural networks: fundamentals, computing, design, and application. Journal of Microbiological Methods 2000;43:3-31.

  3. Arturo Campana, Alessandro Duci, Orsola Gambini, Silvio Scarone. An artificial neural network that uses Eyetracking performance to identify patients with schizophrenia. Schizophrenia Bulletin 1999;24:789-799.

  4. Cho SZ, Shin MS. Neural network based automatic diagnosis of children with brain dysfunction. International Journal of Neural System 2001;11:361-369.

  5. Yizhuang Zou, Yucun Shen, Kaian Shu, Yufeng Wang, Feng Feng, Keqin Xu, et al. Artificial neural networks to assist psychiatric diagnosis. British Journal of Psychiatry 1996;169:64-47.

  6. Bonnie M. French, Michael R.W. Dawson, Allen R. Dobbs. Classification and staging of dementia of the Alzheimer type. Arch Neurol 1997;54:1001-1009.

  7. Chen E, Berrios GE. Recognition of hallucinations: A new multidimensional model and methodology. Psychopathology 1996;29:54-63.

  8. Jyotsna Nair, Satish S. Nair, Javad H. Kashani, John C. Reid, Sanjay I. Mistry, Victor G. Vargas. Analysis of the symptoms of depression- a neural network approach. Psychiatry Research 1999;87:193-201.

  9. Modai I, Ritsner M, Kurs R, Mendel S, Ponizovsky A. Validation of the computerized suicide risk scale - a back-propagation neural network instrument(CSRS-BP). Eur Psychiatry 2002;17:75-81.

  10. Franchini L, Spagnolo C, Rossini D, Smeraldi E, Bellodi L, Politi E. A neural network approach to the outcome definition on first treatment with sertraline in a psychiatric population. Artifical Intelligence in Medicine 2001;23:239-248.

  11. Ilan Modai, Asher Israel, Shalom Mendel, Evor L. Hines, Ronit Weizman. Neural network based on adaptive resonance theory as compared to experts in suggesting treatment for schizophrenia and unipolar depressed in-patients. Journal of Medical Systems 1996;20:403-412.

  12. Ernestina Politi, Carlo Balduzzi, Riccardo Bussi, Laura Bellodi. Artificial neural networks: a study in clinical psychopharmacology. Psychiatry Research 1999;87:203-215.

  13. Patricia Westmoreland Corson, Peg Nopoulos, Nancy C. Andreasen, Dan Heckel, Stephan Arndt. Caudate size in first-episode neuroleptic-naive schizophrenic patients measured using an artificial neural network. Biological Psychiatry 1999;46:712-720.

  14. Starzomska M. Use of artificial neural networks in clinical psychology and psychiatry. Psychiatry Polish 2003;37:349-357.

  15. Glenn D. Walters. The MMPI and Schizophrenia: A Review Schizophrenia Bulletin 1983;9:226-246.

  16. William O. Faustman, James A Moses, John G Csernansky, Patricia A White. Correlations Between the MMPI and the Brief Psychiatric Rating Scales in Schizophrenic and Schizoaffective Patients. Psychiatry Research 1989;28:135-143.

  17. Kenneth L. Subotnik, Keith H. Neuchterlein, Joseph Ventura. MMPI discriminators of deficit vs. non-deficit recent-onset schizophrenia patients. Psychiatry Research 2000;93:111-123.

  18. Amir M. Poreh, Karen Chapin, Marc D. Rosen, Ibrahim Youssef. Correlations between the MMPI and the scale for the assessment of positive symptoms and the scale for the assessment of negative symptoms in schizophrenic patients. Journal of Personality Assessment 1994;63:275-283.

  19. Gandolfo RL, Templer DI, Cappelletty GG, Cannon WG. Borderline, depressive and schizophrenic discrimination by MMPI. Journal of Clinical Psychology 1991;47:783-789.

  20. Carter JW, Parnas J, Cannon TD, Schulsinger F, Mednick SA. MMPI variables predictive of schizophrenia in the Copenhagen High-Risk Project: a 25-year follow-up. Acta Psychiatr Scand 1999;99:432-440.

  21. Rebecca Davis Merritt, Deborah Ware Balogh. A comparison of the MMPI and the psychosis proneness scales in their classification of normals controls for use in schizophrenia spectrum research. Journal of Personality Assessment 1994;62:204-212.

  22. Kenneth L. Subotnik, Keith H. Neuchterlein, Michael F. Green. Trait versus state aspects of the MMPI during the early course of schizophrenia. Journal of Psychiatric Research 1999;33:275-284.

  23. Steven O. Moldin, Irving I. Gottesman, John P. Rice, L. Erlenmeyer-kimling. Replicated psychometric correlates of schizophrenia. Am J Psychiatry 1991;148:762-767.

  24. White H. Connectionist nonparametric regression - multilayer feedforward networks can learn arbitrary mappings. Neural Networks 1990;3:535-549.

  25. Rumelhart DE, Durbin R, Golden R, Chauvin Y. Back-propagation: the basic theory. In: Rumelhart DE. Yves C: Backpropagation: Theory, Architecture, and Applications Lawrence Erlbaum, NJ;1995. p.1-34.

  26. Werbos PJ. Beyond regression: new tools for prediction and analysis in the behavioral science(PhD Thesis): Harvard University;1974.

  27. Wong W, Fos PJ, Petry FE. Combining the performance strengths of the logistic regression and neural network models: a medical outcomes approach. Scientific World Journal 2003;3:455-476.