Sympy를 사용한 함수, 행렬의 미분과 적분 - 3

 

행렬 미분

행렬을 입력이나 출력으로 가지는 함수를 미분

1. 벡터 x -> 스칼라 f
2. 행렬 x -> 스칼라 f
3. 스칼라 x -> 벡터 f
4. 벡터 x -> 행렬 f
5. 벡터 x -> 벡터 f
6. 벡터 x -> 행렬 f

스칼라를 벡터로 미분

• 그레디언트 벡터 : 스칼라를 벡터로 미분하는 경우 경과를 열벡터로 표시
• 퀴버 플롯 : 컨투어 플롯 위에 그레디언트 벡터를 화살표로 나타낸 플롯
  • 그레디언트 벡터의 그기는 기울기를 의미하며, 벡터의 크기가 클수록 함수 곡면의 기울기가 커진다.
  • 그레디언트 벡터의 방향은 함수 곡면의 기울기가 가장 큰 방향, 즉 단위 길이당 함수값(높이)이 가장 크게 증가하는 방향을 가리킨다.
  • 그레디언트 벡터의 방향은 등고선 방향과 직교한다.

 

행렬 미분 법칙

선형 모형

• 선형 모형을 미분하면 그레디언트 벡터는 가중치다/li>

이차형식

• 이차형식을 미분하면 행렬과 벡터의 곱으로 나타난다.

• 벡터를 스칼라로 미분하는 경우
  • 벡터를 스칼라로 미분하는 경우에는 결과를 행벡터로 표시한다.
• 벡터를 벡터로 미분하는 경우
  • 벡터를 벡터로 미분하면 결과로 나온 도함수는 2차원 배열 즉, 행렬이 된다.

행렬과 벡터의 곱의 미분

• 행렬 A와 벡터 x의 곱 Ax를 벡터x로 미분하면 A.T가 된다.

• 자코비안행렬 : 함수의 출력변수와 입력변수가 모두 벡터(다차원)데이터인 경우에는 입력변수 각각과 출력변수 각각의 조합으로 만들어진 전치행렬
• 헤시안행렬 : 다변수함수의 2차 도함수는 그레디언트 벡터를 입력변수로 미분한것

행렬 곱의 대각성분

• 두 정방행렬을 곱해서 만들어진 행렬의 대각성분은 스칼라이며 이 스칼라를 뒤의 행렬로 미분하면 앞 행렬의 전치행렬이 나온다.

행렬식의 로그

• 행렬식은 스칼라값이고 이 값의 로그 값도 스칼라이며 이 값을 원래 행렬로 미분하면 원래 행렬의 역행렬의 전치 행렬이 된다.

 

스칼라를 행렬로 미분

• 출력변수 f가 스칼라 값이고 입력변수 X가 행렬인 경우에는 도함수 행렬의 모양이 입력변수 행렬 x와 같다.

 

2024.11.09 - [Data Science/Statistics & Math] - Sympy를 사용한 함수, 행렬의 미분과 적분

Sympy를 사용한 함수, 행렬의 미분과 적분

2024.11.09 - [Data Science/Statistics & Math] - Sympy를 사용한 함수, 행렬의 미분과 적분 - 2

Sympy를 사용한 함수, 행렬의 미분과 적분 - 2