No Free Lunch Theorem

No Free Lunch Theorem에 따르면 (직관적으로 조금 거칠게 표현해서) 어떤 최적화 알고리즘도 가능한 모든 문제에 대한 평균 성능이 다른 알고리즘보다 높을 수 없다. 알고리즘 A가 B보다 특정 문제 유형에 대해 성능이 우수하다면, 우리가 모르는 다른 문제 유형에 대해서는 B의 성능이 A모다 더 우수해서 평균적으로 같아진다는 말이다.

이런 어이없는(?) 공리가 성립하는 이유는 컴퓨터가 유한한 기계이기 때문이다. 정해진 갯수의 비트로 표현할 수 있는 문제 해답의 갯수는 유한하고, 여기에 부여할 수 있는 최적화 문제의 objective function 값도 유한하다. 어떤 최적화 알고리즘이 해답 공간에서 $s_0 \rightarrow s_1 \rightarrow \ldots \rightarrow s_k$와 같은 최적화 궤적을 통해 움직였다고 가정해보자. NFL의 요지는 이 궤적에 대해 점차 증가하는(=좋아지는) 값을 반환하는 objective function도 있겠지만, 점차 나빠지는 값을 반환하는 objective function도 존재할 수 밖에 없다는 것이다. 모든 가능한 문제를 상정하면 그렇다!

“모든 가능한” 이라는 표현은 언제나 나를 보르헤스의 도서관으로 데려간다.

그런 부정할 수 없는 전제들로부터 그 사서는 ‘도서관’은 총체적이고, 그곳의 책장들은 이십여 개의 철자 기호들로 이루어진 가능한 모든 조합(그 숫자는 방대하지만 무한하지는 않다), 즉 모든 언어로 표현 가능한 모든 것을 포함하고 있다는 사실을 추론해 냈다. 여기서 모든 것은 미래의 상세한 역사, 대천사들의 자서전, ‘도서관’의 정확한 색인 목록, 셀 수 없이 많은 거짓 목록, 그런 목록들의 오류에 대한 증거, 바실레데스의 그노시스교 복음서, 그 복음서에 대한 주석, 그 복음서에 대한 주석의 주석, 당신의 죽음에 관한 정확한 이야기, 각각의 책에 대한 모든 언어들의 번역본, 각각의 책을 모든 책에 삽입하는 것, 베다가 색슨족의 신화에 대해 쓸 수 있었으면서도 쓰지 않았던 논문, 타키투스의 소실된 책들. – “바벨의 도서관”, 호르헤 루이스 보르헤스

쓸 수 있었으면서도 쓰지 않았던 논문을 포함해도 기호로 이루어진 가능한 모든 조합은 방대하지만 무한하지 않다는 이 말은 수학적으로는 정확하지 않을지 모르겠지만 무서운 선언이다. LLM은 바벨의 도서관에서 언제나 특정한 장르의 책을 끄집어 낼 수 있는 사서이고, 방대한 pre-training은 이 사서의 수습과정이다. LLM이, 에이전트가, 어려운 프로그램을, 전에 없던 공리의 증명을 적었다는 소식을 들을 때마다, 마음 속 한 구석에 $k$개의 기호를 조합해서 쓸 수 있는 프로그램과 증명의 수는 유한하며, 따라서 언젠가 누군가는 찾을 수 밖에 없었을 거라고 사서가 속삭인다. LLM에 지능이 있네 없네를 논하고 싶은 것이 아니다. 도서관의 지도를 그리는 방법은 과연 어떤 것이며 누구에게 열려 있는가가 궁금한 것이지.

LLM이 특정한 장르의 책만 끄집어낼 수 있는 이유는? 그거야 보르헤스가 말하는 “나의 부친이 1594구역에 있는 한 육각형 진열실에서 본… MCV라는 글자들로만 되어” 있는 책을 찾는 법은 수습 기간에 배우지 못했기 때문이다. LLM은 엄청 큰 프로그램을 점점 더 잘 작성하겠지만, 예컨데 피네건의 경야를 쓰지 못할 것이다. 아니, 정말 답답한 점은 아마 시키면 피네건의 경야 비슷한 것은 쓸 것이라는 점이다. 다만 그것이 21세기 우리에게 어떤 의미를 가지는 텍스트인지는 알 수 없다. 또한 21세기 우리에게, 1939년 독자들에게 피네건의 경야가 가졌던 의미를 가지는 텍스트가 무엇인지 상상하는 것 또한 불가능하다.

몇 달 동안 쓰다 만 채로 남겨둔 글을 오랫만에 다시 열어서, 원래 쓰려고 했던 글과 관계 없는 화풀이(?)를 한 느낌이다. 이 글을 마지막으로 저장한 시점과 마무리하는 오늘 사이에만 해도 중요한 이정표가 여럿 찍힌 것 같다. 짐짓 “앞으로의 방향은 이런 것 아니냐!“라는 주장도 몇 번 해 봤지만, 정작 책상 앞에 앉으면 LLM과 에이전트로 가득 찬 공간에서 앞으로 어떤 방향으로 연구를 가져가야하는지 잘 보이지 않는, 조금 답답한 나날들을 보내고 있다.