활성화 함수와 손실 함수

- 이진 분류를 처리할 때 (Binary classification),

   - Sigmoid Function ((-INF, INF) → (0, 1))

   - Binary Cross-Entropy Loss (Log Loss) ((0, 1) → [0, INF))

 

- 다중 분류를 처리할 때 (Multi-class classification),

   - Softmax Function ((-INF, INF) → (0, 1))

   - Negative Log-Likelihood ((0, 1) → (INF, 0])

 

- 따라서, 몇 개의 요소로 분류를 하는 지에 따라, 사용하는 함수가 다름을 이해하자.

 

- Sigmoid는 Softmax의 특수 케이스로 클래스 갯수만 2개일 뿐 완전히 같은 연산을 수행한다.

 

- 활성화 함수 이후에 손실 함수를 적용한다.

 

아래 링크의 '6. Conclusions'를 참고하여 각각의 개념을 명확히 하자.

https://towardsdatascience.com/understanding-sigmoid-logistic-softmax-functions-and-cross-entropy-loss-log-loss-dbbbe0a17efb

Understanding Sigmoid, Logistic, Softmax Functions, and Cross-Entropy Loss (Log Loss)

 

아래 링크를 참고하여, 두 개념을 명확히 구분하자.

https://wooono.tistory.com/387

[ML] Binary Cross Entropy 와 Cross Entropy 의 차이

 

아래 링크를 참고하여, 활성화 함수에 대해 알고, 각 활성화 함수의 특징을 알자.

https://cheris8.github.io/artificial%20intelligence/DL-Activation-Function/

[딥러닝] 활성화 함수 (Activation Function)