인공지능(AI) 시스템이 처리할 수 있는 작업의 분량이 7개월마다 2배씩 늘어난다는 연구 결과가 나왔다. 특히 최근에 가속, 이런 추세라면 몇년 뒤에는 인간이 한달 정도 걸리는 작업도 AI가 담당할 수 있다는 결론이다.
미국의 비영리 기구인 METR은 18일(현지시간) '긴 작업을 완료하는 AI 능력 측정'이라는 논문을 온라인 아카이브에 게재했다.
이는 AI의 능력을 인간 능력을 기준으로 정량화하기 위한 벤치마크다. AI 모델이 일반적으로 50%의 성공률로 수행할 수 있는 작업을 인간이 완료하는 데 걸리는 시간으로 계산했다. 즉, 사람이 오랜 시간에 걸쳐 해결할 수 있는 복잡한 문제를 특정 AI 모델이 얼마나 잘 처리할 수 있는지를 보여준다.
연구진은 코딩과 사이버 보안, 일반 추론, 머신러닝 등 분야에서 170여개의 실제 작업을 골라낸 뒤 인간 전문 프로그래머가 이를 작업을 완료하는 데 걸리는 시간을 측정했다.
그다음 AI 모델의 업무 역량을 테스트했다. 그 결과 2019년 오픈AI가 출시한 'GPT-2'는 인간 전문가가 1분 이상 걸리는 모든 작업을 수행하는 데 실패했다,
이처럼 2019년부터 올해까지 출시된 주요 모델 13개의 '작업 완료 시간 범위(task-completion time horizon)'를 측정한 결과, AI 모델의 성능은 약 7개월마다 두배로 시간이 늘어났다.
특히 2024년에 기하급수적으로 증가, 최신 모델은 약 3개월마다 시간이 두배로 늘어났다. 특히 앤트로픽이 지난 2월 출시한 최첨단 모델 '클로드 3.7 소네트'는 사람이 59분 걸리는 작업의 50%를 완료했다. 이는 AI 에이전트 능력이 크게 향상됐기 때문이다.
모델별 '작업 완료 시간 범위' 추이 (사진=arXiv)
METR는 이런 진행 속도라면 2029년에는 인간이 무려 한달 정도 걸리는 작업을 처리할 것으로 예상했다. 즉, AI가 한달짜리 학술 연구를 진행하거나 스타트업 창립 작업을 진행할 수 있다고 설명했다.
물론 작업 성공률을 80%로 높이면 AI가 처리할 수 있는 일의 시간 범위는 5분의 1로 줄어든다. 하지만, 전체적인 증가 추이는 50%와 흡사하다는 설명이다. 또 처리할 수 있는 일을 규정하는 데에는 단순히 물리적인 양뿐만이 아니라, 논리적 추론이나 도구 사용, 오류 수정 등 작업 중 인식 향상에 초점을 맞췄다고 전했다.
이에 대해 조슈아 간스 토론토대학교 교수는 "추정은 매력적이지만, AI가 실제로 어떻게 사용되는지 등 복잡성을 설명하기에는 부족한 점이 많다"라며 썩 유용하지는 않다고 지적했다.
그러나 최근 벤치마크의 문제가 지적되는 상황에서 이번 연구는 일부 문제를 보완할 수 있다는 평이다. 즉, 현재 벤치마크는 모델 개선에 따라 점수 차도 좁고 1위가 바뀌고 있지만, 이 방식은 장기적인 추세를 표현할 수 있다는 말이다.
논문 공동 저자인 벤 웨스트는 "선도적인 AI 모델은 많은 벤치마크에서 초인적인 성과를 달성했지만, 경제적 영향은 상대적으로 적었다"라고 말했다. "하지만 이번 연구에서 가장 좋은 모델은 약 40분 정도의 시간을 기록했는데, 실제 이 시간 동안 인간이 경제적으로 낼 수 있는 성과는 적다"라고 말했다.
인공지능(AI) 시스템이 처리할 수 있는 작업의 분량이 7개월마다 2배씩 늘어난다는 연구 결과가 나왔다. 특히 최근에 가속, 이런 추세라면 몇년 뒤에는 인간이 한달 정도 걸리는 작업도 AI가 담당할 수 있다는 결론이다.
미국의 비영리 기구인 METR은 18일(현지시간) '긴 작업을 완료하는 AI 능력 측정'이라는 논문을 온라인 아카이브에 게재했다.
이는 AI의 능력을 인간 능력을 기준으로 정량화하기 위한 벤치마크다. AI 모델이 일반적으로 50%의 성공률로 수행할 수 있는 작업을 인간이 완료하는 데 걸리는 시간으로 계산했다. 즉, 사람이 오랜 시간에 걸쳐 해결할 수 있는 복잡한 문제를 특정 AI 모델이 얼마나 잘 처리할 수 있는지를 보여준다.
연구진은 코딩과 사이버 보안, 일반 추론, 머신러닝 등 분야에서 170여개의 실제 작업을 골라낸 뒤 인간 전문 프로그래머가 이를 작업을 완료하는 데 걸리는 시간을 측정했다.
그다음 AI 모델의 업무 역량을 테스트했다. 그 결과 2019년 오픈AI가 출시한 'GPT-2'는 인간 전문가가 1분 이상 걸리는 모든 작업을 수행하는 데 실패했다,
이처럼 2019년부터 올해까지 출시된 주요 모델 13개의 '작업 완료 시간 범위(task-completion time horizon)'를 측정한 결과, AI 모델의 성능은 약 7개월마다 두배로 시간이 늘어났다.
특히 2024년에 기하급수적으로 증가, 최신 모델은 약 3개월마다 시간이 두배로 늘어났다. 특히 앤트로픽이 지난 2월 출시한 최첨단 모델 '클로드 3.7 소네트'는 사람이 59분 걸리는 작업의 50%를 완료했다. 이는 AI 에이전트 능력이 크게 향상됐기 때문이다.
METR는 이런 진행 속도라면 2029년에는 인간이 무려 한달 정도 걸리는 작업을 처리할 것으로 예상했다. 즉, AI가 한달짜리 학술 연구를 진행하거나 스타트업 창립 작업을 진행할 수 있다고 설명했다.
물론 작업 성공률을 80%로 높이면 AI가 처리할 수 있는 일의 시간 범위는 5분의 1로 줄어든다. 하지만, 전체적인 증가 추이는 50%와 흡사하다는 설명이다. 또 처리할 수 있는 일을 규정하는 데에는 단순히 물리적인 양뿐만이 아니라, 논리적 추론이나 도구 사용, 오류 수정 등 작업 중 인식 향상에 초점을 맞췄다고 전했다.
이에 대해 조슈아 간스 토론토대학교 교수는 "추정은 매력적이지만, AI가 실제로 어떻게 사용되는지 등 복잡성을 설명하기에는 부족한 점이 많다"라며 썩 유용하지는 않다고 지적했다.
그러나 최근 벤치마크의 문제가 지적되는 상황에서 이번 연구는 일부 문제를 보완할 수 있다는 평이다. 즉, 현재 벤치마크는 모델 개선에 따라 점수 차도 좁고 1위가 바뀌고 있지만, 이 방식은 장기적인 추세를 표현할 수 있다는 말이다.
논문 공동 저자인 벤 웨스트는 "선도적인 AI 모델은 많은 벤치마크에서 초인적인 성과를 달성했지만, 경제적 영향은 상대적으로 적었다"라고 말했다. "하지만 이번 연구에서 가장 좋은 모델은 약 40분 정도의 시간을 기록했는데, 실제 이 시간 동안 인간이 경제적으로 낼 수 있는 성과는 적다"라고 말했다.
METR는 앞으로도 AI 시스템과 인간을 비교하는 연구를 지속할 것이라고 밝혔다.
임대준 기자 ydj@aitimes.com
출처 : AI타임스(https://www.aitimes.com)