신경망

딥러닝에서 신경망(Neural Network)은 수많은 행렬 연산을 기반으로 구성되어 있습니다. 특히, 각 층의 가중치(weight) 행렬과 입력(input) 벡터 간의 곱셈은 신경망이 데이터를 처리하고 학습하는 핵심입니다. 이 글에서는 신경망 내에서 행렬이 어떤 방식으로 가중치 계산에 사용되는지, 그 수학적 구조와 함께 설명합니다. 1. 신경망의 기본 구조와 행렬 연산 1-1. 층(Layer) 개념 신경망은 입력층, 은닉층(hidden layer), 출력층으로 구성됩니다. 각 층은 … 더 읽기

신경망(Neural Network)을 학습시키는 핵심 과정은 손실 함수를 최소화하는 것입니다. 이때 사용되는 대표적인 최적화 알고리즘이 바로 경사하강법(Gradient Descent)입니다. 경사하강법은 손실 함수의 기울기(gradient)를 계산하여, 함수 값을 줄이는 방향으로 신경망의 가중치(weights)를 반복적으로 조정합니다. 경사하강법의 기본 개념 손실 함수 \( L(w) \)가 주어졌을 때, 경사하강법은 아래의 규칙을 이용해 매개변수 \( w \)를 업데이트합니다: \[ w_{\text{new}} = w_{\text{old}} – \eta … 더 읽기