그래디언트(Gradient)는 공간에서의 기울기를 의미하는 개념이다. 앞에서 우리는 x에 대한 편미분을 통해 3차원 곡면 위에서 y 값을 고정하고 x만 변할 때 기울기가 어떻게 변하는지를 살펴보았다.
하지만 그래디언트는 단순히 하나의 변수에 대한 변화율이 아니라, 함수에 존재하는 모든
변수 각각에 대해 편미분을 구하고, 그 결과들을 하나의 벡터 또는 행렬로 정리한 것이다.
그래디언트(인용: www.syncfusion.com)
예를 들어, 3차원 곡면을 나타내는 함수 f(x,
y) = 2x² + 2y²가 있다고 해보자. 이 함수에서 곡면의 기울기, 즉 변화율을 정확히 알기 위해서는 변수 x와 y 각각에 대해 편미분을 해야 한다.
먼저 x에 대해 편미분하면 ∂f/∂x = 4x가
되고, y에 대해 편미분하면 ∂f/∂y = 4y가 된다. 이 두 결과를 하나의 벡터로 구성하면 다음과 같은 형태가 된다
∇f(x, y) = (4x,
4y)
이 벡터가 바로 그래디언트이며, 각 방향(여기서는 x와 y)의 순간 변화율을 동시에 나타내준다. 이 그래디언트 벡터를 통해 함수가 어떤 방향으로 가장 빠르게 증가하는지를 알 수 있다.
예를 들어, 점 (x, y) = (-2, -2)에서의
그래디언트는 ∇f(-2, -2) = (-8, -8)이 된다. 이
의미는 x와 y 모두 값이 줄어드는 방향으로, 크기 8만큼의 기울기를 가진다는 뜻이다.
반대로 점 (x, y) = (1, 1)에서의 그래디언트는 ∇f(1, 1) = (4, 4)가 된다. 이는 x와 y 모두 증가하는 방향으로, 크기 4만큼의 기울기를 가진다는 의미이다.
이처럼 그래디언트는 함수가 가장 가파르게 증가하는 방향을 알려주며, 딥러닝과 강화학습에서는
이 정보를 바탕으로 모델의 가중치를 조정한다.
그래디언트를 나타내는 ∇ 기호는 '나블라(nabla)' 또는 '델(del) 연산자'라고 불린다. 복잡하게 느껴질 수 있지만, 핵심은 각 변수에 대한 편미분 값을 모아 하나의 벡터로 만든 것이며, 이
벡터가 변화 방향을 알려준다는 점이다.
