차원 축소 기법인 주성분 분석과 요인 분석의 차이는 무엇인지 설명해 주세요.

1. 개념

• 주성분 분석 (PCA, Principal Component Analysis): 고차원 데이터의 분산(Variance)을 최대한 보존하면서, 서로 직교하는 새로운 축(주성분)으로 데이터를 선형 변환하여 차원을 축소하는 비지도 학습 기법입니다.
• 요인 분석 (FA, Factor Analysis): 관측된 여러 변수들 뒤에 숨겨진 공통된 잠재 요인(Latent Factor)을 찾아내어 데이터의 구조를 단순화하고 변수 간의 상관관계를 설명하려는 통계 기법입니다.

2. 구성 / 장단점

• 주성분 분석(PCA):
  • 구성: 관측된 변수들의 선형 결합으로 주성분생성.
  • 장점: 데이터의 정보 손실을 최소화하며 차원을 축소하여 다중공선성 문제를 해결하고 연산 속도를 높입니다.
  • 단점: 생성된 주성분(축)이 구체적으로 어떤 의미를 가지는지 해석하기 어렵습니다.
• 요인 분석(FA):
  • 구성: 공통 요인과 고유 오차(Error)의 합으로 관측 변수 모델링.
  • 장점: 데이터 내면에 존재하는 추상적인 개념(예: 만족도, 지능 등)을 요인으로 명확히 규명하고 해석할 수 있습니다.
  • 단점: 연구자의 주관적인 판단(요인 회전 방식 선택, 요인 수 결정 등)이 분석 결과에 큰 영향을 미칩니다.

3. 활용 방안

• PCA: 이미지 압축, 고차원 특성공학(Feature Engineering), 머신러닝 모델 학습 전 시각화 및 속도 개선용.
• FA: 심리학 설문조사 분석(만족도, 성격 유형 평가), 마케팅 소비자 성향 조사 등 잠재 개념 측정 분야.

4. 예제

• PCA 예제: 학생들의 국어, 영어, 수학, 과학 성적이라는 4차원 데이터를 종합하여, 학생 전체의 학업 역량을 대표하는 1~2개의 '종합 점수 주성분'으로 압축합니다.
• FA 예제: 고객 설문 문항 20개를 분석하여 그 이면에 숨겨진 '가격 만족도', '서비스 품질', '브랜드 충성도'라는 3가지 숨은 요인을 도출합니다.

5. 결론

• PCA의 주된 목적은 '예측 성능 유지 및 데이터 압축(수학적 변환)'에 있으며, FA의 주된 목적은 '숨은 개념의 규명 및 데이터 해석(통계적 구조 파악)'에 있습니다. 따라서 분석의 목적에 맞게 두 기법을 선택하여 적용해야 합니다.