Artificial Neural Network, ANN 인공신경망 (Artificial Neural Network, ANN)은 수많은 뉴런 (Neuron)과 각 뉴런을 연결하는 시냅스 (Synapse)로 구성된 인간의 뇌 신경망을 노드 (Node)와 링크 (Link)로 모형화한 네트워크 형태의 지도학습 모형이다. 즉, 인공신경망은 수많은 뉴런과 뉴런이 시냅스로 상호 연결되어 정보를 처리하는 뇌의 정보처리 및 전달 프로세스를 모방하여 분류 또는 수치 예측을 수행한다. 지금까지 살펴본 머신러닝 지도학습 모형들이 단순히 인간의 학습 방식을 모방한 것이라면, 인공신경망은 인간의 생물학적 신경계를 모형화해 인간의 정보 처리 및 추론 과정을 모방한 것이다. 초기의 인공신경망은 성능 면에서 랜덤 포레스트나 SVM보다 좋지 않아 실용성이 떨어졌지만, 2000년 이후부터 알.. Naïve Bayes 이번에는 스팸 메일이나 문서 분류 작업에 많이 활용되는 나이브 베이즈 (Naïve Bayes) 모형에 대해 포스팅 하고자 한다. 베이즈 정리 (Bayes' Theorem)는 과거에 이미 일어난 어떤 사건의 사전확률과 앞으로 일어날 사후확률 사이의 관계를 확률적으로 나타내는 이론으로서 사건 X가 발생했을 때 사건 Y의 확률은 베이즈 정리에 따라 다음과 같이 표현된다. 여기에서 P(Y)는 사건 X가 영향을 미치지 않을 경우 사건 Y가 발생하는 사전확률을 의미하고, LY는 사건 Y를 전제로 한 사건 X의 우도(가능성)를 의미한다. P(X)는 X의 사전확률로 증거 (Evidence)라고 하며, 모든 확률의 합을 1로 만들기 위한 정규화 상수 (Normalizing Constant)의 역할을 한다. 예를 들어, .. Support Vector Machine, SVM 서포트 벡터 머신 (Support Vector Machine, SVM)은 클래스(범주)를 가장 효율적으로 분류할 수 있는 초평면 (Hyperplane) 또는 결정 경계 (Decision Boundary)를 찾는 모형이다. 예를 들어, 아래 그림과 같이 두 클래스를 분류하는 3가지 선형 결정 경계를 만든다고 가정해보자. 1번의 경우 클래스를 제대로 분류하지 못했고, 3번의 경우 두 클래스를 제대로 분류했지만, 결정 경계선과 관측 데이터가 매우 가깝기 때문에 추후 새로운 데이터를 분류하려 할 경우 잘못 분류될 가능성이 크다. 한편, 2번 결정 경계는 두 클래스를 제대로 분류했을 뿐만 아니라, 결정 경계선과 두 클래스의 최근접 관측치 사이의 거리가 큰 폭으로 떨어져 있기 때문에 추후 새로운 데이터에 대한 분류.. Decision Tree 비즈니스 분야의 분류 예측 머신러닝 모형으로 가장 많은 각광을 받아왔던 의사결정나무 모형에 대해 포스팅 하려고 한다. 의사결정나무는 분류 예측뿐만 아니라 수치 예측에도 사용할 수 있지만, 주로 분류 예측에 더 많이 사용되어 왔다. 의사결정나무는 명확하고, 이해하기 쉬운 알고리즘을 기반으로 작동할 뿐만 아니라 모형 자체를 시각화할 수도 있기 때문에 인기가 매우 많았던 모델 중 하나이다. 의사결정나무 (Decision Tree)란 데이터에 내재되어 있는 패턴을 나무 형태로 도표화하여 분류 또는 수치를 예측하는 모형이다. 의사결정나무는 전체 데이터를 특정 분류 기준에 따라 점차적으로 데이터를 두 개 혹은 그 이상의 부분집합으로 분할하여 부분집합에 있는 데이터가 어떠한 범주 혹은 수치를 갖는지 판단하여 예측을 .. K- Nearest Neighbor, K-NN K-최근접 이웃 (K-Nearest Neighbor, K-NN)은 k개의 가장 가까운 이웃을 통해 목표 데이터를 예측하는 방법이다. 이진 분류 예측을 수행하는 K-NN 모형의 경우 K개의 가장 가까운 이웃 중 클래스 0에 속한 이웃이 몇 개인지, 클래스 1에 속한 이웃이 몇 개인지를 판단하여 k개의 이웃 중 다수가 속한 클래스를 대상 데이터의 레이블로 예측하게 된다. K-NN은 대상 데이터와 가장 가까운 데이터 포인트, 즉 ‘최근접 이웃’을 찾기 위해 대상 데이터와 이웃 데이터 간의 유사도를 계산하는 것이 중요하다. K-NN은 소수의 근접 이웃들만을 이용하여 예측하므로 매우 단순하여 모형을 이해하기 쉽고, 데이터에 대한 사전 정보가 부족할 때 유용하게 사용할 수 있다. [그림 1]은 분류 예측을 위한 K.. 비선형 회귀모형 (로지스틱 회귀) 로지스틱 회귀가 작동하는 가장 기본적인 메카니즘은 로지스틱 함수 (Logistic Function) 또는 시그모이드 함수 (Sigmoid Function)라고 불리는 특별한 모형을 기반으로 한다. 이러한 로지스틱 함수는 분류의 기준값(0 또는 1)을 가질 확률에 대해 비선형적으로 표현하는데, 아래 그림과 같이 일정 수준을 지나면서 확률값을 급격하게 상승시켜 가급적 양극단의 값을 갖도록 하는 특징이 있다. 분류 문제에서는 예측하고자 하는 범주를 목표 집단이라 하고 보통 ‘1’로 표현하는데, 로지스틱 함수는 목표 집단 ‘1’에 속할 확률을 계산한다. 즉, 로지스틱 회귀분석은 확률에 기반하여 분류를 수행하는 분석 모형이라고 할 수 있다. 로지스틱 회귀함수의 Y값은 목표 집단에 속할 확률로서 분류 기준값 (Cu.. 이전 1 2 3 4 5 다음
