이제까지 배웠던 알고리즘들의 성능적으로 차이가 크지 않았다는 것을 알 수있다.
이제부터 non-linear function을 처리하는데 강력한 알고리즘인 Support Vector Machine을 배워볼 것이다.
logistic regression 에서 사용하던 가설함수의 형태는 위와 같다. 우리는 이 가설함수를 변형하여 새로운 SVM의 가설함수와 Cost function 에 대해서 설명할 것이다.
logistic regression의 그래프는 다음과 같으며, z가 0보다 클때 output이 1에 가까우며 그렇지 않으면 output이 0에 가까워 지는 것을 확인할 수 있었다. 즉 y=1 일떄는, h(x) 가 1에 가까워야 하고, 그에 따라 z값이 0보다 커야했고 y=0일때는, h(x) 가 0에 가까워야 하고, 그에 따라 z값이 0보다 작으면 y=0이라고 예측을 했었다.
이전에 logistic regression에서 사용하던 cost function이다. 총 두부분으로 이루어져 있고 y=1일 때는 앞부분만이 남게되고, y=0일때는 뒷부분만이 남게되어 두 가지 경우를 하나의 식으로 통합해서 한줄로 사용하였다.
y=1일때의 그려지는 cost function의 모습이다.
y=0일때의 그려지는 cost function의 모습이다.
SVM의 Cost function을 정의하기 위해서 우리는 각각 y=1,y=0 일때의 그래프를 분홍색 선으로 그려져 있는 직선형태의 그래프를 볼 수 있다.