Advanced Multi-Layer Perceptron Advanced techniques for training neural networks Weight Initialization Nonlinearity (Activation function) Optimizers Batch Normalization Dropout (Regularization) Model Ensemble Weight Initialization SGD에서 w 초기값? Sigmoid에서 문제 - sigmoid 함수의 변수범위를 참고하여 -4~4로 초기화-> 대부분 출력값이 0, 1이 대부분이라. 학습이 안 됨 w값이 큰 게 문제다 -> N(0, 0.1) 정규분포로 초기화 -> sigmoid 분포 weight값은 +,-범위에 굉장히 작은 값이..
분류 전체보기
a.ravel() 원래 배열을 보여준다 따라서 값을 수정하면 원래 배열의 값 또한 영향받는다 ravel이 flatten보다 메모리를 덜 쓰니 더 빠르다 ravel은 라이브러리 수준 함수이다 a.flatten() 배열을 기본적으로 카피한다. 따라서 값을 수정해도 원래 배열의 값은 영향받지 않는다 따라서flatten은 ravel보다 상대적으로 느리다 다차원배열 객체의 메소드이다
케라스로 구현하는 로지스틱 회귀 import numpy as np from tensorflow.keras.models import Sequential # 케라스의 Sequential()을 임포트 from tensorflow.keras.layers import Dense # 케라스의 Dense()를 임포트 from tensorflow.keras import optimizers # 케라스의 옵티마이저를 임포트 X=np.array([-50, -40, -30, -20, -10, -5, 0, 5, 10, 20, 30, 40, 50]) y=np.array([0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1]) #숫자 10부터 1 model=Sequential() model.add(Dense(1, ..
