omniture

새로운 연구 과제 추론 인프라 측정 지표로서의 GPU 활용률

WEKA
2026-11-17 05:00

NAND Research의 새로운 보고서는 바쁜 GPU가 생산적인 출력을 정확하게 측정하는 척도가 아니라는 점을 강조합니다. NVIDIA HGX B300 GPU와 WEKA NeuralMesh를 사용한 8시간 벤치마크에서 적용된 유용한 작업을 기준으로 추론 인프라를 측정하는 새로운 추론 경제성 평가표를 소개합니다.

시카고,  2026년 11월 17일 /PRNewswire/ -- 슈퍼컴퓨팅 2026에서: AI 데이터 및 메모리 인프라 회사인 WEKA는 시장 정보 회사인 NAND Research와 협력하여 오늘 추론 인프라 생산성과 경제적 가치를 GPU를 얼마나 바쁘게 유지하는지가 아니라 제공하는 유용한 작업에 따라 측정하는 새로운 공통 프레임워크인 추론 경제성 평가표(Inference Economics Scorecard)를 소개했습니다. 평가표는 와트당 토큰 수, 추론당 비용, 컨텍스트 유지 등 9가지 측정 기준을 정의합니다. 이 프로그램은 최소 8시간의 실행 시간과 성공적인 출력만 계산하는 것을 포함하여 네 가지 테스트 규칙을 설정합니다. 이미 AI 클라우드 기업인 Nebius와의 벤치마크 테스트에 적용된 이 솔루션은 추론 기능이 AI 인프라 지출에서 차지하는 비중이 점점 커지고 구매자들이 전력, 메모리, 랙 공간의 한계에 부딪히는 시점에 출시되었습니다.

구매자들은 이미 추론을 다르게 취급하고 있다는 새로운 연구 결과가 나왔습니다.
S&P Global의 451 Research의 새로운 연구에 따르면 조직들은 이미 적응하고 있으며, 추론이 2026년 AI 인프라 지출의 34%에서 2030년 46%로 증가할 것으로 예상하고 있으며, 추론을 실행하는 조직의 41%가 나머지 IT 스택과는 근본적으로 다른 인프라를 추론을 위해 구매하고 있는 것으로 나타났습니다.

"추론은 AI의 가치가 궁극적으로 실현되는 곳이며, 우리의 연구에 따르면 추론은 조직이 인프라를 구매하는 방식을 재편하고 있습니다."라고 S&P Global의 451 Research 수석 분석가인 Greg Macatee가 말했습니다. "에이전트들이 토큰 거래량의 기하급수적 증가를 주도하고 있습니다. 메모리, 전력 및 공급 제약으로 인해 기업들이 단순히 GPU를 추가하는 것만으로는 이러한 증가세를 따라잡을 수 없다는 문제가 제기되고 있습니다."

추론에 필요한 GPU 활용률이 저조한 이유는 무엇일까요?

수년간 인공지능 작업량 중 가장 지배적인 것은 학습이었습니다. 학습 과정에서 GPU는 규모가 크고 예측 가능한 작업으로 인해 지속적으로 바쁘게 작동하기 때문에 GPU 활용률은 AI 인프라 생산성의 기본 측정 기준이 되었습니다. 추론, 특히 에이전트 추론은 GPU에 매우 다양한 요구 사항을 부과합니다. 에이전트는 단순히 프롬프트에 응답하는 것이 아니라, 여러 단계를 거쳐 작업을 완료하며, 각 단계에서 이전에 구축한 컨텍스트를 다시 읽습니다. GPU는 다른 사용자와 세션을 위해 공간을 확보하기 위해 해당 컨텍스트를 메모리에서 제거한 후, 작업이 반환되면 해당 컨텍스트를 다시 계산해야 하며, 이 작업이 완료될 때까지 작업은 더 이상 진행되지 않습니다. 그 결과 GPU는 최대 활용률을 보이지만, 동일한 토큰을 여러 번 재계산하는 데 처리 능력을 낭비하기 때문에 비효율적입니다.

추론 경제학 스코어카드는 생산 규모에서 추론 시스템의 성능을 측정합니다. 동시에 접속하는 여러 사용자의 요청을 몇 분이 아닌 몇 시간 동안 지속적으로 처리했습니다.

"업계에서는 추론 능력을 평가할 때 훈련 시대의 성적표를 사용해 왔습니다. GPU 사용률은 칩이 사용 중이었음을 나타냅니다. 그것으로는 작업이 완료되었는지, 반복되었는지, 아니면 폐기되었는지 알 수 없습니다. 에이전트를 통하면 많은 작업이 반복됩니다."라고 WEKA의 공동 창립자 겸 CEO인 리란 즈비벨은 말했습니다. "전력, 공급, 그리고 랙 공간은 이제 자본만큼이나 중요한 제약 요소입니다. 추론 인프라에 필요한 새로운 수학적 연산은 와트당, 랙당, 달러당 효율적인 작업이며, 사용자가 기대하는 응답 시간을 제공합니다. 추론경제학 평가표는 그러한 계산을 문서화하며, WEKA는 다른 모든 기업과 마찬가지로 이를 기준으로 평가될 것입니다."

바쁜 일상에서 생산적인 일상으로: 추론 경제학 평가표는 추론 성능 및 경제성을 측정하는 9가지 지표를 정의합니다.  
와트당 토큰 수, 랙당 토큰 수, 추론당 비용, GPU 처리량, 첫 번째 토큰 획득 시간 및 엔드 투 엔드 지연 시간, 메모리 효율성, 운영 밀도, 에이전트 동시성 및 컨텍스트 유지. 또한, 이는 그러한 기준에 대한 테스트를 수행하는 데 필요한 규율을 제시합니다.

  • 테스트 대상 시스템 전체에 동일한 작업 부하 및 서비스 목표가 적용되었습니다.
  • 전체 서빙 스택 측정
  • 최소 8시간 이상 소요
  • 성공적인 출력만 집계됩니다.

"NAND 리서치의 수석 분석가이자 설립자인 스티브 맥도웰은 "현재 AI 인프라에서 가장 비싼 실수는 최대 처리량을 기준으로 구매하고 반복적인 작업에 비용을 지불하는 것"이라고 말했습니다. "에이전트 기반 워크로드에서는 이러한 실수를 쉽게 간과할 수 있습니다. 왜냐하면 긴 작업의 모든 단계에서 컨텍스트를 다시 읽어야 하는데, 바쁜 GPU는 이를 처음부터 다시 구축해야 할 수도 있기 때문입니다. 구매자들이 모든 시스템을 동일한 기준으로 평가할 수 있도록 평가표를 설계했습니다. 완료된 작업은 몇 시간에 걸쳐 측정되며, 모든 실패가 기록됩니다. 네비우스 벤치마크는 그러한 규율이 무엇을 드러내는지 보여줍니다. 왜냐하면 벤치마크는 8시간 동안 완전히 실행되었고 실패하거나 시간 초과된 모든 요청을 집계했기 때문입니다."

실제 테스트: 8시간 동안 지속되는 실제 에이전트 부하 
WEKA와 Nebius 는 최근 NVIDIA HGX B300 시스템에 대한 공동 벤치마크에서 스코어카드 규칙을 적용하고 여러 측정 항목에 대한 결과를 보고했습니다. 이 테스트는 DeepSeek-V4-Pro를 제공하는 8개의 GPU가 장착된 노드 하나에서 실행되었으며, 5,000개 이상의 실제 에이전트 코딩 세션 데이터셋에서 추출한 512개의 활성 세션을 대상으로 구성당 8시간 동안 진행되었고, 모든 실패 및 시간 초과 요청을 집계했습니다.

클러스터 전체에 NVMe를 공유 컨텍스트 계층으로 풀링하는 증강 메모리 그리드를 사용하는  WEKA NeuralMesh를 사용하면 노드는 동일한 GPU에서 HBM만 사용하는 경우와 비교하여 GPU 시간당 출력 토큰을 3.7배 더 많이 생성했으며 성공적으로 완료된 요청의 97%가 5초 이내에 첫 번째 토큰에 도달했습니다(44%에서 증가). HBM만 사용하는 경우, 사전 채우기 작업의 60%는 클러스터가 세션 초반에 이미 처리한 컨텍스트를 기반으로 다시 계산되었습니다. 증강 메모리 그리드를 사용하는 경우, 그 비율은 6.8%였습니다. 측정된 속도를 기준으로 볼 때, HBM 전용 노드는 증강 메모리 그리드가 8시간 만에 생산하는 양을 생산하는 데 약 30시간이 걸릴 것입니다. 전체 벤치마크는 weka.io 및 nebius.com 블로그에 게시되어 있습니다.

네비우스의 제품 담당 부사장인 나렉 타테보시안은 "최대 처리량은 시스템이 몇 분 동안 수행할 수 있는 작업을 보여주지만, 고객은 에이전트를 몇 시간, 며칠 또는 그 이상 동안 실행하므로 중요한 것은 지속적으로 유용한 작업을 수행하는 것입니다."라고 말했습니다. "전체 근무 시간 동안 HBM만 사용하는 구성은 컨텍스트가 메모리에서 사라지고 타임아웃이 증가함에 따라 성능이 꾸준히 저하된 반면, WEKA NeuralMesh는 전체 실행 시간 동안 첫 번째 토큰 지연 시간을 일정하게 유지했습니다. 이는 우리가 용량 계획을 세우는 방식을 바꿉니다. 우리는 기준 최고치가 아닌 근무일 동안 완료된 작업량을 기준으로 규모를 산정하며, 인퍼레이션 이코노믹스 스코어카드는 고객에게 해당 수치를 보여주는 공통적인 방법을 제공합니다."

"에이전트 추론은 AI 공장의 핵심 작업 부하이며, 메모리와 컨텍스트에 엄청난 부담을 줍니다. "대규모 환경에서는 더 이상 GPU에 얼마나 많은 컨텍스트를 저장할 수 있느냐가 아니라, 재계산 없이 클러스터 전체에 얼마나 확장할 수 있느냐가 관건입니다."라고 NVIDIA의 스토리지 기술 담당 부사장인 Jason Hardy는 말했습니다. "NVIDIA HGX B300 시스템에서 WEKA와 Nebius를 사용한 결과는 공유 컨텍스트 계층이 지속적인 처리량과 응답성에 얼마나 큰 도움이 되는지 보여줍니다. 추론 작업이 증가함에 따라 구매자는 시스템이 실제로 완료하는 작업량을 기준으로 시스템을 비교할 수 있는 더 명확한 방법을 필요로 할 것입니다."

재현 가능하도록 설계됨: 벤치마크의 추적
및 도구는 오픈소스 이므로 누구나 자신의 시스템에서 동일한 워크로드를 실행하고 결과를 동등한 조건에서 비교할 수 있습니다.  이러한 추적 데이터는 인위적인 부하가 아닌 실제 에이전트 코딩 세션에서 가져온 것이며, 실제 작업의 다양한 타이밍과 복잡성을 포함하고 있기 때문에 모든 팀에게 프로덕션 환경을 현실적으로 대변하는 자료를 제공합니다. 다른 사람들은 이미 이를 바탕으로 새로운 것을 만들어내고 있습니다. SemiAnalysis의 AgentX 벤치마크는 추적을 기반으로 구축되었으며 NVIDIA AIPerf 벤치마킹 도구 에는 이를 위한 로더가 포함되어 있습니다.

"에이전트 추론에 대한 벤치마크는 장시간 실행되는 에이전트, 증가하는 컨텍스트, 하위 에이전트를 포함하는 복잡한 다중 에이전트 워크플로, 그리고 실제 배포 환경을 특징짓는 예측 불가능하고 급증하는 트래픽 패턴을 포함하여 실제 운영 환경의 트래픽을 반영해야 합니다."라고 SemiAnalysis의 설립자 겸 CEO인 Dylan Patel은 말했습니다. "그 기준을 충족하는 벤치마크가 너무 적습니다. AgentX는 바로 그 격차를 해소하기 위해 개발되었으며, WEKA의 개방형 kvlab 트레이스 형식을 사용하는 실제 에이전트 트레이스에서 실행되는 이유도 바로 이 때문입니다. 따라서 누구나 동일한 다중 턴 워크플로우를 재생하고 결과를 동등한 조건에서 비교할 수 있습니다. 에이전트가 주요 추론 워크로드로 자리 잡으면서, 이와 같은 재현 가능한 측정은 업계가 정점을 지나 인프라가 감당할 수 있는 한계를 파악하는 데 중요한 역할을 합니다."

SemiAnalysis는 테스트가 진행됨에 따라 WEKA NeuralMesh에서 AgentX 결과를 공유할 예정입니다. 더 자세한 정보를 원하시면 https://inferencex.semianalysis.com/agentx을 방문하세요.

추가 자료

  • 추론 경제학 스코어카드와 NAND Research 동반 보고서는  여기에서 확인할 수 있습니다.
  • S&P Global의 451 Research 보고서 "추론에서 에이전트형 AI까지" 여기에서 무료로 다운로드하세요.
  • WEKA CEO Liran Zvibel의 블로그 게시물 2}을 읽어보세요. 
  • 캡처 툴링의 엔지니어링과 측정 정의 방법에 대해 알아보려면  여기를 방문하세요.
  • 11월 16일부터 20일까지 시카고에서 열리는 SC26의  WEKA 부스 #2519를 방문하여 추론 경제학 스코어카드를 자신의 추론 워크로드에 적용하는 방법에 대해 자세히 알아보세요.

WEKA 소개 
WEKA는 에이전트형 AI의 경제성을 혁신하는 AI 데이터 및 메모리 인프라 회사입니다. WEKA NeuralMesh 플랫폼은 고성능 데이터 스토리지와 확장된 GPU 메모리를 통합하여 기업, AI 클라우드 제공업체 및 AI 개발자에게 학습, 추론 및 에이전트 기반 워크로드를 위한 단일 기반을 제공합니다. 증강 메모리 그리드를 통해 NeuralMesh는 GPU 메모리 용량을 1000배 확장하고, 첫 번째 토큰 생성 시간을 최대 20배 단축하며, 동일한 GPU 사용량으로 10배 더 많은 동시 사용자를 지원합니다. 이는 실제 운영 환경에서의 벤치마크를 통해 입증되었습니다. WEKA는 조직이 프로덕션 AI를 더 빠르게 확장하고, 모든 GPU에서 더 유용한 작업을 수행하며, 제공되는 모든 토큰의 비용을 절감할 수 있도록 지원합니다. 자세한 내용은 www.weka.io 에서 확인하거나 LinkedIn 및 X에서 저희와 연결하세요.

WEKA 및 WEKA 로고는 WekaIO, Inc.의 등록 상표이며, WEKA NeuralMesh 및 Augmented Memory Grid는 WekaIO, Inc.의 상표입니다. 본 문서에 언급된 기타 상표는 해당 소유자의 자산입니다.

출처: WEKA