기능의 연속성과 차별화
조정을 시작하기 전에 다루어야 할 몇 가지 개념이 있습니다.
함수의 극한, 연속성, 기울기 및 도함수에 대해 고등학교에서 배운 내용을 기억하십니까?
알고리즘의 성능을 분석하고 최적화하기 위해 기본적으로 함수 미분 가능성수업 연속성이것은 필수입니다.
함수가 미분 가능하면 한 번에 유도체얻어 질 수있는 함수의 극한값찾을수있다.
이를 통해 알고리즘은 최적의 솔루션을 찾을 수 있습니다.
그리고 기능 연속성나는해야한다 수렴당신은 할 수 있습니다.
함수가 불연속이면 최적화 알고리즘이 잘못된 경로를 따를 수 있고 최적의 솔루션을 찾지 못할 수 있습니다.
그렇다면 함수가 미분 가능하지 않거나 불연속적이면 최적화하기 어려운가요?
그게 아닙니다.
다음과 같이 미분 및 연속이 필요하지 않은 알고리즘으로 최적화 문제를 해결할 수 있습니다.
B. 탐욕스러운 알고리즘 및 근사치. 이에 대해서는 나중에 자세히 설명합니다.
지속적으로
연속성은 함수 f(x) 값이 어느 시점에서 잘리지 않고 제한이 있는 경우말한다
함수 f(x)는 x = a에서 다음 조건을 만족하는 경우 연속이라고 합니다.
아래 그래프에서 연속되는 곳은 어디입니까?
함수는 함수의 극한이 함수의 값과 같도록 x = a인 경우에만 연속적입니다.
경사
기울기는 y의 변화/x의 변화로 표현될 수 있습니다.
아래 그림에서 기울기는 빨간색 직선에 해당합니다.
만약에 ??가 극소가 된다면?
그것은 x에서의 기울기가 될 것입니다.
그것이 차이입니다.
파생 상품은 최적화에 계속 표시되므로 주의하십시오.
유도체
도함수는 함수의 변화량을 나타내는 개념입니다.
순간 변화율대표.
함수 f(x)의 x = a에서 도함수가 있는 경우 f(x)는 x=a에 있습니다.
미분 가능그것은 말했다 미분 가능 함수가 반드시 연속적인 것은 아니지만 대부분의 연속 함수는 미분 가능합니다.
1차 미분, 2차 미분
최적화 문제는 종종 1차 미분 외에도 2차 및 편미분을 사용합니다.
함수의 곡률은 2차 도함수를 취함으로써 알려지기 때문에 곧 논의할 Hessian 행렬을 얻기 위해 사용됩니다.
1차 미분
2차 미분
편도함수, ∂
∂ : 부분(편도함수)
최적화 문제는 종종 하나가 아닌 여러 변수를 처리합니다.
부분 도함수는 다변수 함수의 도함수를 찾는 방법 중 하나입니다.
부분 미분은 각 변수에 대해서만 함수를 미분하고 다른 변수는 상수로 취급하는 것입니다.
x와 y 변수로 구성된 함수 f(x,y)는 x 및 y에 대한 편미분의 정의입니다.
예를 들어, f(x, y)가 다음과 같이 주어진다면
각각의 편도함수는 다음과 같습니다.
변수가 세 개 있어도 모든 변수에 대해 풀 수 있습니다.
우리는 함수, 그래디언트와 도함수, 도함수와 부분 도함수의 극한과 연속을 알게 되었습니다.
다음번 Gradient, Hessian, Jacobian 개념에 대해 알아봅시다.