upstack 님의 블로그

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)**는 본격적인 데이터 분석이나 머신러닝 모델링에 앞서, 데이터를 다양한 각도에서 관찰하고 핵심 특성을 파악하는 초기 분석 과정입니다. 시각화와 요약 통계를 통해 데이터의 구조와 숨겨진 패턴을 직관적으로 이해하는 것이 목적입니다.EDA의 핵심 목적 및 주요 수행 내용데이터 구조 및 특성 파악 : 데이터의 행과 열, 변수들의 데이터 타입 등을 확인하여 데이터 셋의 전체적인 규모와 형태를 파악합니다.(예: 우리 쇼핑몰 고객은 20대가 많은가, 40대가 많은가?)이상치(Outlier) 및 결측치(Missing Value) 발견: 정상적인 범위를 벗어난 이상한 값이나 비어있는 데이터를 찾아내어, 이를 처리(제거, 대체 등)할 방법을 결정..

선형대수학이란?사전적 정의 (Wiki): 벡터 공간과 벡터 공간의 연산 구조를 보존하는 선형 사상에 관한 학문💡쉽게 말해: 굉장히 어렵게 느껴지겠지만, 결국 데이터의 각 계수를 행렬로 만들어서 푸는 방법을 다루는 학문입니다.머신러닝/딥러닝 데이터 처리에 필요한 핵심 개념행렬 연산: 수나 다항식을 격자 모양(행렬)으로 배열하여 덧셈, 곱셈, 역행렬 등을 계산하는 방법을 배웁니다.연산 속도 최적화 (부분 행렬 활용): 예를 들어 10,000개의 아파트 데이터를 개별적으로 계산하는 대신, 행렬로 변환하여 한 번에 묶어서 곱셈 처리를 합니다. 이를 통해 연산 속도를 극대화할 수 있습니다.공간에 대한 이해: 행렬을 구성하는 각각이 하나의 벡터가 되어 형성하는 공간인 '벡터 공간(Vector Space)'의 개념..

머신러닝을 공부하다 보면 수많은 데이터와 수식에 압도당하기 쉽습니다. 하지만 이 복잡한 데이터를 단순하고 강력하게 다루는 마법 같은 도구가 있습니다. 오늘은 선형대수학의 핵심이자 머신러닝의 기본 언어인 '행렬'과 '벡터'에 대해 가장 실용적인 관점에서 정리해 보겠습니다.1. 행렬은 왜 필요할까?수만 개의 데이터를 하나씩 계산한다면 컴퓨터조차도 오랜 시간이 걸립니다. 행렬은 복잡한 데이터와 연산을 단순화하고, 현실 세계의 문제를 수학적으로 모델링하여 한 번에 해결할 수 있게 해주는 가장 강력한 도구입니다.2. 개념 정의선형대수학에서 데이터를 담는 그릇의 형태와 특수한 역할을 하는 행렬들을 표로 정리했습니다.용어표기법핵심 개념행렬 (Matrix)대문자 (예: $A$)수 또는 다항식을 직사각형 모양으로 배열한..

머신러닝 모델은 결국 데이터 속에서 '확률적으로 가장 가능성 높은 결과'를 찾아내는 기계입니다. 선형대수학으로 데이터를 담고, 미적분학으로 모델을 최적화했다면, 통계와 확률은 모델이 무엇을 예측해야 할지 판단하는 기준이 됩니다.1. 데이터는 왜 불확실한가?현실의 데이터는 항상 노이즈와 예외를 포함합니다. 특정 정보(예: 티켓 가격)만으로 생존 여부를 단정 짓기 어려운 것처럼, 데이터에는 '확실성'보다는 '경향성'이 존재합니다. 우리는 이 불확실한 데이터 속에서 어떻게 유의미한 패턴을 찾아 예측할 수 있을까요?2. 개념 정의용어정의머신러닝에서의 역할통계 (Statistics)관측된 데이터로부터 집단의 특성을 파악하고 추론하는 학문.데이터의 경향성 및 흐름 파악확률 (Probability)특정 사건이 일어날..

왜 수학이 머신러닝의 필수인가? 머신러닝 모델이 데이터를 어떻게 이해하고, 어떻게 스스로 학습하며 성능을 개선하는지 알고 싶다면 선형대수학과 미적분학이라는 언어의 기본 개념을 익히면 좋습니다.2. 개념 정의머신러닝에서 용어정의머신러닝에서의 역할선형대수학수나 다항식을 격자 모양(행렬)으로 배열하여 연산하는 학문.데이터 표현 및 효율적 계산미적분학함수의 변화율(기울기)을 측정하고 최적의 값을 찾는 학문.모델 학습 및 최적화 3. 시각화 및 예제[선형대수학: 데이터의 효율적 처리]머신러닝은 수만 개의 데이터를 다룹니다. 개별 변수를 따로 계산하면 너무 느리지만, 행렬(Matrix)로 묶으면 병렬 연산이 가능해져 컴퓨터가 순식간에 계산할 수 있습니다.예시: 10,000명의 아파트 데이터를 각각 계산 -> 10,..