Python

DNN (Deep Neural Network) Keras 기본 선형 신경망 model = Sequential() model.add(Dense(1, input_dim=2)) model.add(Activation('sigmoid')) model.summary() _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= dense_2 (Dense) (None, 1) 3 ___________________________________________________________..

경사하강법 (SGD, Stochastic Gradient Descent) 확률적 경사하강법의 '확률적'은 방향 결정이 확률적이라는 의미이다. 변수 n = Learning Rate (Step Size) : 기울기 반대 방향으로 x를 얼만큼 움직일지, 기울기의 보폭을 의미한다. 기울기의 보폭만큼 손실 곡선의 다음 지점으로 이동한다. Batch: 단일 반복에서 기울기를 계산하는 데 사용하는 data의 총 개수. Gradient Descent 에서의 배치는 전체 데이터 셋라고 가정. 하지만 대규모의 작업에서는... 데이터 세트에서 예(data)를 무작위로 선택하면 (노이즈는 있겠지만) 훨씬 적은 데이터 세트로 중요한 평균값을 추정 가능하다. 확률적 경사하강법(SGD)은 이 아이디어를 더욱 확장한 것으로서, 반복..