■ 4.1 크로스 엔트로피 오차함수

• 오차함수란 ? 신경망이 예측한 예측값과 진짜 정답과의 오차를 출력해주는 함수

• 오차함수의 종류 2가지 ?

  1. 교차 엔트로피 오차함수(cross entropy error) : 분류 문제를 풀때 사용
  2. 평균 제곱 오차함수(mean squared error) : 수치 예측을 할때 사용

  숫자 예측 :1. 다중 회귀(미국민 의료비 데이터) ,

  2. 신경망(콘크리트 강도 예측 )
  3. 시계열 예측 ( 다음날 또는 다음달 주가 예측, 기상 예측)

예제1. 교차 엔트로피 오차함수의 수학식을 확인하시오!

예제 2. 교차 엩르로피 오차함수의 원리를 이해하시오!

예제3. 교차 엔트로피 오차함수를 파이썬으로 생성하시오!

def  cross_entropy_error( y, t) :
    delta = 0.0000001  # 0은 아닌데 0에 아주 가까운 수
    return   -np.sum( t *  np.log( y + delta )  

설명: 식 4-2와는 다르게 아주 작은 수인 delta를 y에 더해주는 이뉴는?

y가 0이 되게 되면 마이너스 무한대가 되기 때문에 마이너스 무한대가 출력되지 않도록 아주 작은 값을 y에 더한 것입니다.

예제5. 예측값과 정답을 위에서 만든 교차 엔트로피 함수에 넣고 오차를 출력하시오

def  cross_entropy_error( y, t) :
    delta = 0.0000001  # 0은 아닌데 0에 아주 가까운 수
    return   -np.sum( t *  np.log( y + delta )  )

y = np.array([ 0.7, 0.2, 0.1 ])  
t = np.array([ 1, 0, 0 ] )

print ( cross_entropy_error( y, t ) )   # 0.3566748010815999 <-- 이 값이 0에 가까워지도록 신경망을 학습 시키는것입니다. 

• 신경망을 통해서 풀고자 하는 문제가 수치 예측인지 분류인지를 명확히 알고 있으면 관련한 오차함수만 거기에 맞게 잘 선택하면 됩니다.

1. 분류 ---------------> 교차 엔트로피 함수