블로그
- Deep Learning Optimizer (Loss function 최소화 방법) 너무 성급 Mini-batch SGD: 관측값을 몇개씩 뽑아서 방향 결정.
- [AI/딥러닝] Gradient Descent | Momentum Stochastic gradient descent 스토캐스틱 SGD 무작위로 선택한 하나의 샘플에 대해서만 그래디언트(경사) 계산함 각 반복에 매우 빠른 업데이트 정확하게 수렴하기 어려운 단점 Mini-batch 미니배치 데이터셋을 작은 배치로 나누고 각 배치에 대해 계산 효율적이고 SGD보다 안정적 GPU 병렬처리에 적합 배치크기와 학습률 (하이퍼 파라미터)을 적절히 설정해야 잘 나옴 Batch
- Music Information Retreival 딥러닝 이론(3).음악 장르 구분 (Music Genre Classification) 데이터 셋은 GTZAN의 데이터를 활용 할 예정이다. 10개의 장르, 총 1000개의 샘플 16-Bit, 22050Hz, 각 샘플 당 30초 Mini Batch Gradient Descent vs Full Batch Gradient Descent vs Stochastic Gradient Descent(SGD) Stochastic Gradient Descent 업데이트
- 딥린이 슬럼프 - Batch Normalization 최적화를 하기 위해선 input data에 대해서 Mini-batch를 잡아주는 것, Loss의 최적화된 값을 알기 위해 Adam과 같은 좋은 optimizer를 써주는 것, over-fitting 기존에는 weight initialization이 굉장히 중요한 이슈가 되었다가 2015년도에 batch normalization(BN)에 대한 제안이 나오면서 묻혀버렸다고 한다.