반응형
SMALL
행렬 미분
행렬을 입력이나 출력으로 가지는 함수를 미분
- 벡터 x -> 스칼라 f
- 행렬 x -> 스칼라 f
- 스칼라 x -> 벡터 f
- 벡터 x -> 행렬 f
- 벡터 x -> 벡터 f
- 벡터 x -> 행렬 f
스칼라를 벡터로 미분
- 그레디언트 벡터 : 스칼라를 벡터로 미분하는 경우 경과를 열벡터로 표시
- 퀴버 플롯 : 컨투어 플롯 위에 그레디언트 벡터를 화살표로 나타낸 플롯
- 그레디언트 벡터의 그기는 기울기를 의미하며, 벡터의 크기가 클수록 함수 곡면의 기울기가 커진다.
- 그레디언트 벡터의 방향은 함수 곡면의 기울기가 가장 큰 방향, 즉 단위 길이당 함수값(높이)이 가장 크게 증가하는 방향을 가리킨다.
- 그레디언트 벡터의 방향은 등고선 방향과 직교한다.
행렬 미분 법칙
선형 모형
- 선형 모형을 미분하면 그레디언트 벡터는 가중치다/li>
이차형식
- 이차형식을 미분하면 행렬과 벡터의 곱으로 나타난다.
- 벡터를 스칼라로 미분하는 경우
- 벡터를 스칼라로 미분하는 경우에는 결과를 행벡터로 표시한다.
- 벡터를 벡터로 미분하는 경우
- 벡터를 벡터로 미분하면 결과로 나온 도함수는 2차원 배열 즉, 행렬이 된다.
행렬과 벡터의 곱의 미분
- 행렬 A와 벡터 x의 곱 Ax를 벡터x로 미분하면 A.T가 된다.
- 자코비안행렬 : 함수의 출력변수와 입력변수가 모두 벡터(다차원)데이터인 경우에는 입력변수 각각과 출력변수 각각의 조합으로 만들어진 전치행렬
- 헤시안행렬 : 다변수함수의 2차 도함수는 그레디언트 벡터를 입력변수로 미분한것
행렬 곱의 대각성분
- 두 정방행렬을 곱해서 만들어진 행렬의 대각성분은 스칼라이며 이 스칼라를 뒤의 행렬로 미분하면 앞 행렬의 전치행렬이 나온다.
행렬식의 로그
- 행렬식은 스칼라값이고 이 값의 로그 값도 스칼라이며 이 값을 원래 행렬로 미분하면 원래 행렬의 역행렬의 전치 행렬이 된다.
스칼라를 행렬로 미분
- 출력변수 f가 스칼라 값이고 입력변수 X가 행렬인 경우에는 도함수 행렬의 모양이 입력변수 행렬 x와 같다.
2024.11.09 - [Data Science/Statistics & Math] - Sympy를 사용한 함수, 행렬의 미분과 적분
2024.11.09 - [Data Science/Statistics & Math] - Sympy를 사용한 함수, 행렬의 미분과 적분 - 2
반응형
SMALL
'Data Science > Statistics & Math' 카테고리의 다른 글
Sympy를 사용한 함수, 행렬의 미분과 적분 - 2 (0) | 2024.11.10 |
---|---|
Sympy를 사용한 함수, 행렬의 미분과 적분 (0) | 2024.11.10 |