본문 바로가기

softmax

 (5)
[확률/통계] Multinomial Logistic Regression 이해하기 (5) - Multinomial Logistic Regression 이란 무엇인가 Mutinomial Logistic Regression 이란 무엇인가?Multinoial Logistic Regression은 Multiclass 문제를 해결하기 위해 Logistic Regression (로지스틱 회귀) 를 일반화 한 분류 방법이다.Multinomial Logistic Regression은 분류 문제에서 종속변수가 명목형 (예, 색깔, 수강 과목 등)이고, 그 값의 종류가 2개 보다 많은 경우 사용된다 (예, 색깔의 경우 하얀색, 파란색, 초록색 등).예를 들면, 어떤 사람이 입고 있는 셔츠의 색을 예측하는 모델을 만들어 보겠다고 가정해보자. 이 경우의 셔츠의 색상은 여러 가지 옵션 (하얀색, 파란색, 초록색 등) 중 하나일 수 있다. 그리고 Multinomial Logistic Reg..
[확률/통계] Multinomial Logistic Regression 이해하기 (4) - Logistic Regression 이란 무엇인가 Logistic Regression은 무엇인가?Logistic Regression(로지스틱 회귀)은 통계학과 머신러닝에서 널리 사용되는 이진 분류 알고리즘이다.이 알고리즘은 독립 변수들의 선형 결합을 기반으로, 종속 변수가 특정 클래스에 속할 확률을 예측하는 데 사용된다.1. Logistic Regression의 필요성일반적인 선형 회귀는 연속적인 값을 예측하는 데 적합하지만, 이진 분류 문제에서는 한계가 있다.예를 들어, 이메일이 스팸인지 아닌지를 예측하려고 할 때, 선형 회귀의 결과값은 음수 또는 1보다 큰 값이 될 수 있어 적절한 확률 값(0과 1 사이)을 제공하지 못한다.이를 해결하기 위해 Logistic Regression이 사용된다. Logistic Regression은 예측 확률을 0과 1 ..
[확률/통계] Multinomial Logistic Regression 이해하기 (3) - Logit (Log-Odds)란 무엇인가 Logit (Log-Odds) 란 무엇인가?Logit(Log-Odds)이란 Odds 에 자연로그(Log) 를 취한 값을 말한다.여기서 Odds는 어떤 사건이 발생할 확률과 발생하지 않을 확률의 비율을 의미한다.1. Odds와 Log-Odds의 정의Odds는 다음과 같은 수식으로 표현할 수 있다:$$p: probability$$$$Odds =  \frac{p}{1-p}$$Logit은 Odds에 자연 로그를 취한 값으로, 다음과 같이 정의한다.$$Logit(p) = ln(\frac{p}{1-p})$$2. 예시를 통한 이해축구 경기를 예로 들어 보자. 한 팀이 10번의 경기 중 6번 이기고 4번 졌다고 가정할 때,이 팀이 이길 확률 $p$는 다음과 같다:$$p = \frac{6}{10} = 0.6$$이 팀이 ..
[확률/통계] Multinomial Logistic Regression 이해하기 (2) - Quantile Function (분위수 함수)이란 무엇인가 Quantile Function (분위수 함수)란 무엇인가Quantile Function (분위수 함수) 은 데이터 집합에서 특정 확률 값에 해당하는 데이터를 반환하는 함수이다.분위수는 데이터가 특정 값 보다 작거나 같은 확률을 나타낸 값으로, 주로 데이터의 분포를 이해하고 통계적 분석을 할 때 이해된다.예를 들자면 아래와 같다.데이터 집합 [0,1,2,3,4,5,6,7,8,9] 가 있다고 가정해보자.0.25 분위수는 3 이다. (25% 이하의 데이터가 3 이하이다)0.5 분위수 는 5 이다. (50% 이하의 데이터가 5 이하이다)0.75 분위수는 7 이다. (75% 이하의 데이터가 7 이하이다)그리고 Quantile Function 은 CDF와 밀접한 관련이 있다.Quantile Function은 CD..
[확률/통계] Multinomial Logistic Regression 이해하기 (1) - Random Variable (확률변수)이란 무엇인가 Alexnet 논문을 리뷰하는 중 Multinomial Logistic Regression 이라는 용어가 나왔는데,많이 들어보긴 했으나 구체적으로 어떻게 작용하는지 정확히 알지 못했다.그래서 구글링을 하며 하나하나 알아가다보니 기초지식이 부족하여 확률변수 개념까지 다시 공부할 필요성을 느끼게 되었다.지금부터 Multinomial Logistic Regression 을 이해하기 위해 확률변수부터 차근차근 알아가겠다.먼저, 위키피디아에 나와 있는 확률변수의 정의는 아래와 같다.확률 공간, 확률 측도 등 쉽게 이해되지 않는다.위의 내용은 좀 더 쉽게 말하자면 아래와 같다.확률 변수는 측정 가능한 무작위 실험 결과를 수치적인 값으로 변환하는 함수이다.아래와 같이 표본 공간 (Sample Space )에 있는 사..

티스토리툴바