https://ntrolls.github.io/tags/%EB%B3%B4%EB%A5%B4%ED%97%A4%EC%8A%A4/Recent content in 보르헤스 on Told by an idiotHugoko-KRSun, 20 Sep 2026 00:00:00 +1300https://ntrolls.github.io/posts/nfl-llm/Sun, 20 Sep 2026 00:00:00 +1300https://ntrolls.github.io/posts/nfl-llm/<p><a href="https://ieeexplore.ieee.org/document/585893">No Free Lunch Theorem</a>에 따르면 (직관적으로 조금 거칠게 표현해서) 어떤 최적화 알고리즘도 가능한 모든 문제에 대한 평균 성능이 다른 알고리즘보다 높을 수 없다. 알고리즘 A가 B보다 특정 문제 유형에 대해 성능이 우수하다면, 우리가 모르는 다른 문제 유형에 대해서는 B의 성능이 A모다 더 우수해서 평균적으로 같아진다는 말이다.</p> <p>이런 어이없는(?) 공리가 성립하는 이유는 컴퓨터가 유한한 기계이기 때문이다. 정해진 갯수의 비트로 표현할 수 있는 문제 해답의 갯수는 유한하고, 여기에 부여할 수 있는 최적화 문제의 objective function 값도 유한하다. 어떤 최적화 알고리즘이 해답 공간에서 $s_0 \rightarrow s_1 \rightarrow \ldots \rightarrow s_k$와 같은 최적화 궤적을 통해 움직였다고 가정해보자. NFL의 요지는 이 궤적에 대해 점차 증가하는(=좋아지는) 값을 반환하는 objective function도 있겠지만, 점차 나빠지는 값을 반환하는 objective function도 존재할 수 밖에 없다는 것이다. <strong>모든 가능한 문제</strong>를 상정하면 그렇다!</p>