![]()
Polynomial 단층(dense=1)인데도 경계면이 비선형. 직선을 이용한 이항 분포 모델링 binary 문제는 확률로 접근해야하니 0~1로 출력 값 제한 differentiable and continuous function 으로 변환 신경망에서는 비선형 활성화 함수가 필수적. 선형함수가 모양이 nice but 선형함수를 다층구조로 해도 단층 구조와 똑같 (:선형 함수 조합의 한계) -> 따라서 비선형 함수를 사용해야 함 (다층 네트워크 구조로 사용하려면) 실습 시작값이 gray, rgb는 큰 문제가 아냐. 2차원 영상을 준다하더라도 필터링 많이 해, 필터 수만큼 layer가 쌓이는 것임 마지막 채널 의미가 input층에 대해 왜 4차원으로 만드냐면 첫번째 convolution layer를 10번 쓰..
![]()
Advanced techniques for training neural networks Weight Initialization Nonlinearity (Activation function) Optimizers Batch Normalization Dropout (Regularization) Model Ensemble Optimizers 좋은 학습 방법이란? global minimum 찾게 도와주는 방법 - 은 어렵다. local minimum을 빨리 찾는 방법 - 대부분의 알고리즘은 이 방법을 사용한다. 알파값(learning rate)을 크게 할지 작게 할지- 보편적으로 optimizer를 adam 알고리즘으로 사용한다. def mlp_model(): model = Sequential() model.ad..
Advanced Multi-Layer Perceptron Advanced techniques for training neural networks Weight Initialization Nonlinearity (Activation function) Optimizers Batch Normalization Dropout (Regularization) Model Ensemble Weight Initialization SGD에서 w 초기값? Sigmoid에서 문제 - sigmoid 함수의 변수범위를 참고하여 -4~4로 초기화-> 대부분 출력값이 0, 1이 대부분이라. 학습이 안 됨 w값이 큰 게 문제다 -> N(0, 0.1) 정규분포로 초기화 -> sigmoid 분포 weight값은 +,-범위에 굉장히 작은 값이..
