구글 클라우드가 TPU 8i 맥스(Max)와 TPU 8tx 시스템을 새롭게 공개하며 8세대 TPU 포트폴리오를 확장한다고 발표했다. 두 시스템은 각각 보안과 대용량 컨텍스트 AI에 특화되어 AI 라이프사이클의 각기 다른 영역을 담당한다. 지난 4월 공개한 TPU 8t와 TPU 8i에 이어, 구글이 한 해에 4가지 TPU 시스템 구성을 선보인 것은 이번이 처음이다.
구글은 자사 제미나이(Gemini) 모델의 학습과 서비스, 에이전틱 워크로드 처리에 TPU를 사용하는 것은 물론, 자체 클라우드 인프라를 통해 구글 클라우드 고객에게 서비스 형태로 제공하는 등 다양한 방식으로 TPU를 활용하고 있다. 최근에는 TPU에 대한 관심과 수요가 높아지면서 고객이 자체 데이터센터에 TPU를 직접 구축할 수 있도록 지원 영역을 넓혔다. 이를 바탕으로 프런티어 AI 연구소, 트레이딩 및 리테일 기업, 대학 등 100여 곳에 달하는 고객을 확보하며 TPU 사업이 빠르게 성장 중이다.
구글 클라우드는 지난 4월 넥스트(Next ’26) 행사에서 TPU 8t와 TPU 8i를 선보이며 8세대 칩의 포트폴리오 기준을 세운 바 있다. 이전 세대 대비 TPU 8t는 최대 2.7배 높은 학습 성능을, TPU 8i는 추론 영역에서 최대 80% 높은 가격 대비 성능을 제공한다. TPU 8t는 대규모 파운데이션 모델 학습에 특화된 칩이다. 전력(와트) 당 산출하는 유효 지능을 뜻하는 ‘굿풋(goodput)’을 극대화하도록 설계됐다. TPU 8i는 칩 간 통신 지연을 최대 절반으로 줄여 ‘메모리 장벽(memory wall)’을 허물도록 설계된 추론 엔진이다. 기업이 자율 에이전트를 실제 운영 환경에 도입하면서, 구글은 하드웨어 수준의 데이터 보안을 갖춘 TPU 8tx와 100만 토큰 규모의 컨텍스트 처리능력을 갖춘 TPU 8i 맥스를 새로 공개했다.
아민 바닷(Amin Vahdat) 구글 AI 및 인프라 부문 수석부사장(SVP) 겸 최고기술자(Chief Technologist)는 “컴퓨팅의 기준이 사람에서 에이전트로 넘어가고 있다”며, “기업들은 AI 모델의 방대한 컨텍스트 윈도우(context window) 전체를 추론할 수 있는 가속기를 찾고 있다. 특히 규제가 엄격한 산업의 고객들은 특수 워크로드에 필요한 암호화 기능을 요구하는 상황”이라고 설명했다.
이어 “이번에 발표한 새로운 TPU 시스템은 이러한 시장의 요구를 해결한다. 최근 발표한 파이토치(PyTorch) 지원 소식에 더해, 모든 개발자와 고객이 TPU를 더 쉽게 쓰도록 만드는 것이 우리의 목표”라며, "구글은 모듈형 맞춤형 칩과 쉽고 개방적인 소프트웨어 스택을 결합해, AI 산업 속도에 맞춰 새로운 하드웨어와 시스템 구성을 제공할 수 있다”고 덧붙였다.
컨피덴셜 추론과 소규모 학습에 최적화된 TPU 8tx
TPU 8tx는 규제 산업의 기업과 정부 기관이 가장 민감한 데이터를 다루면서 프런티어 모델이나 자체 개발 모델, 자율 에이전트를 운영할 수 있도록 설계됐다.
일반적으로 데이터는 저장하거나 네트워크로 전송할 때는 암호화되지만, 컴퓨터가 처리하는 동안에는 메모리에서 암호가 풀려야 한다. TPU 8tx는 TPU 8t와 동일한 칩에 5세대 AMD EPYC CPU 호스트를 결합해 보안을 하드웨어 계층에 직접 내재화했다. 이를 통해 민감한 데이터와 모델 가중치를 연산 처리 중에도 안전하게 보호∙격리한다. 여기에 실시간 추론용으로 개발한 저지연 보드플라이(Boardfly) 네트워크를 그대로 적용해 다단계 에이전트 작업을 끊김 없이 가동하고, 성능 저하는 거의 없이 TPU 8t 대비 지연 시간을 절반까지 줄였다.
TPU 8tx는 대규모 학습이 가능한 연산 성능과 빠른 추론 네트워크를 갖춰 기업이 하나의 시스템에서 모델을 운영하는 동시에 맞춤화할 수 있도록 돕는다. 기업은 민감한 데이터를 별도 클러스터로 옮길 필요 없이 자체 데이터로 모델을 미세 조정(fine-tune)하고, 대형 모델을 소형 모델로 증류하며, 강화학습으로 에이전트를 학습시킬 수 있다.
메모리 장벽을 해소하는 TPU 8i Max
수십 개의 AI 에이전트가 전체 소프트웨어 코드베이스를 다루거나 수 시간 분량의 영상을 동시에 처리할 때, 메모리의 데이터 공급 속도가 칩의 연산 속도를 따라가지 못하면 메모리 대역폭은 금세 병목 구간이 된다.
TPU 8i 맥스는 저지연 성능을 갖춘 TPU 8i 칩 2개를 하나의 패키지로 결합해 연산과 메모리 성능을 동시에 확장한다. 기존 TPU 8i 대비 연산 성능 2배, SRAM 용량 2배, HBM 대역폭 2배를 제공해 프로세서에 필요한 데이터를 끊김없이 공급하고, 대규모 워크로드 처리 시 발생하는 정체 현상을 방지할 수 있다. 또한 기존 서버 랙 공간에 2배의 칩을 탑재해 데이터센터의 단위 면적당, 와트당 컴퓨팅 파워를 대폭 끌어올릴 수 있다.
이로써 구글은 8세대 TPU 시스템 4종을 통해 고객의 다양한 워크로드를 유연하게 지원하며, 에이전트 라이프사이클의 전 단계에 최적화된 맞춤형 가속기를 제공하게 됐다. △대규모 모델 학습을 위한 TPU 8t △저지연 추론에 특화된 TPU 8i △컨피덴셜 컴퓨팅을 위한 TPU 8tx △방대한 컨텍스트 윈도우를 처리하고 랙당 최고 수준의 연산 성능을 구현한 TPU 8i 맥스 등 최신 TPU 시스템에 대한 보다 자세한 정보는 구글 블로그 및 공식 영상을 통해 확인할 수 있다.
[취재] 제미나이와 안드로이드 ChromeOS의 결합, 인텔과 함께하는 구글북 공개 
