AI 시대, 프로그래밍 언어 선택 기준이 바뀐다…‘토큰 효율성’이 핵심 변수로

대규모 언어모델(LLM)을 활용한 AI 코딩 에이전트가 빠르게 확산되면서, 프로그래밍 언어를 선택하는 기준에도 새로운 변화가 나타나고 있다. 성능이나 생태계, 생산성뿐 아니라 ‘토큰 효율성(Token efficiency)’이 중요한 변수로 떠오르고 있다.

AI가 코드를 작성하고 수정하는 환경에서는, 같은 기능을 구현하더라도 더 적은 토큰을 사용하는 언어일수록 더 긴 개발 세션과 효율적인 자원 활용이 가능하기 때문이다.

소프트웨어 개발자 마틴 알더슨(Martin Alderson)은 8일 자신의 블로그를 통해 주요 프로그래밍 언어들의 토큰 효율성을 비교한 분석 결과를 공개했다. 이번 연구는 AI 개발 에이전트 시대에 프로그래밍 언어의 역할과 선택 기준이 어떻게 달라질 수 있는지를 보여주는 사례로 주목받고 있다.

LLM의 한계, ‘컨텍스트 길이’가 변수로

알더슨은 LLM이 가진 구조적 제약 가운데 하나로 컨텍스트 윈도우의 길이 제한을 지적했다. 트랜스포머 기반 모델에서는 컨텍스트 길이가 늘어날수록 메모리 사용량이 급격히 증가한다.

특히 코딩 에이전트 환경에서는 컨텍스트의 상당 부분을 코드가 차지한다. 이 때문에 장황한 문법을 사용하는 언어일수록 컨텍스트를 빠르게 소모하게 되며, 결과적으로 개발 세션이 짧아지고 연산 자원 부담도 커진다는 설명이다. 반대로 토큰 효율적인 언어는 더 긴 작업 흐름을 유지할 수 있다.

1000개 과제로 19개 언어 분석

이번 분석은 프로그래밍 교본 사이트 로제타코드(Rosetta Code) 프로젝트 데이터를 기반으로 진행됐다. 로제타코드는 1000개 이상의 프로그래밍 과제를 다양한 언어로 구현한 솔루션을 제공하는 데이터셋이다.

알더슨은 이 가운데 가장 널리 사용되는 19개 프로그래밍 언어를 선정하고, 모든 언어로 구현된 공통 과제들을 추려 분석했다. 토큰 계산에는 허깅페이스의 GPT-4 토크나이저가 사용됐다. 타입스크립트는 데이터셋 내 과제 수가 부족해 분석에서 제외됐다.

그 결과 클로저(Clojure)가 가장 토큰 효율적인 언어로 나타났으며, 가장 비효율적인 C 언어와 비교해 약 2.6배의 차이를 보였다.

동적 언어·함수형 언어의 강점 부각

전반적으로 동적 타입 언어들이 높은 토큰 효율성을 기록했다. 명시적인 타입 선언이 필요 없기 때문에 코드 길이가 짧아지는 효과가 크다는 분석이다. 다만 동적 언어 가운데서는 자바스크립트가 상대적으로 가장 장황한 언어로 분류됐다.

흥미로운 점은 하스켈(Haskell)과 F# 같은 함수형 언어가 동적 언어에 필적하는 높은 효율성을 보였다는 것이다. 이는 이들 언어가 강력한 타입 추론 시스템을 갖추고 있기 때문으로 풀이된다.

알더슨은 LLM과 함께 사용할 경우, 타입이 있는 언어는 컴파일 단계에서 문법 오류나 메소드 환각을 빠르게 잡아낼 수 있다는 장점도 있다고 강조했다. 여기에 언어 서버 프로토콜(LSP)을 결합하면 개발 효율이 더욱 높아진다는 설명이다.

컨텍스트 윈도우의 약 80%가 코드 읽기·편집·비교에 사용된다고 가정할 경우, 하스켈이나 F#을 사용하면 Go나 C#보다 훨씬 긴 개발 세션이 가능하다는 분석도 제시됐다.

APL과 J 언어, 토큰화의 함정과 가능성

독자의 제안으로 추가된 분석 결과도 눈길을 끈다. 간결함으로 유명한 APL 언어는 기대와 달리 토큰 효율성이 낮았다. 특수 기호 위주의 문법이 토크나이저에 최적화돼 있지 않아, 하나의 기호가 여러 토큰으로 분해되기 때문이다.

반면 APL과 유사한 배열 언어지만 ASCII 문자만 사용하는 J 언어는 평균 70토큰으로, 클로저(109토큰)보다도 훨씬 높은 효율성을 기록했다. 배열 언어라도 특수 기호를 피하면 극도로 토큰 효율적인 코드가 가능하다는 점이 확인된 셈이다.

AI 시대, 언어 설계의 새로운 방향

알더슨은 “페타플롭스 규모의 컴퓨팅 파워를 사용하는 시대에 코드의 장황함이 실제로 중요한 요소가 될 수 있다는 점이 흥미롭다”며 “LLM은 우리가 소프트웨어 엔지니어링을 바라보는 사고방식을 계속해서 흔들고 있다”고 평가했다.

토큰 효율성이 핵심 지표로 자리 잡을 경우, 프로그래밍 언어의 진화 방향에도 변화가 생길 수 있다. 간결하면서도 표준 문자 집합을 활용하는 언어 설계가 다시 주목받을 가능성이 크다.

이번 분석은 엄밀한 과학 연구라기보다는 동일한 과제를 기준으로 한 비교 실험에 가깝다는 한계도 있다. 그럼에도 AI 에이전트가 코드 작성의 주체로 떠오르는 시점에서, 프로그래밍 언어 선택과 설계에 새로운 관점을 제시했다는 점에서 의미 있는 시도로 평가된다.

세계 최소 크기의 ‘프로그래밍 가능’ 자율 로봇 개발

오래됐지만 여전히 선택받는다…개발자가 포기하지 않는 프로그래밍 언어 8가지

애플 메시지, 이렇게까지 쓸 수 있다…알아두면 유용한 7가지 기능

애플, 맥·아이패드 OLED 전환 본격화…첫 적용 모델은 ‘아이패드 미니’ 유력

MS, 광고 기반 엑스박스 클라우드 게이밍 모델 검토