AI, 클라우드 밖으로 나오다…엔비디아의 새로운 도전

▲ 이미지 출처: ITWorld Korea

2026년 5월 31일, 타이완 타이베이에서 열린 컴퓨텍스(COMPUTEX)의 NVIDIA GTC 키노트에서 젠슨 황 CEO는 한 문장으로 40년 PC 역사의 종언을 선언했다. “40년 동안 당신은 앱을 실행했다. 클릭, 타이핑. RTX 스파크와 마이크로소프트 윈도우로, 이제 당신은 묻기만 하면 된다 — PC가 일을 한다.” 이 발언은 수사적 표현이 아니다. NVIDIA가 그 날 공개한 제품 라인업 — RTX 스파크(RTX Spark), DGX 스파크(DGX Spark), DGX 스테이션(DGX Station) — 은 AI 연산을 클라우드 밖으로 끌어내리는 세 가지 서로 다른 경로를 제시했다.

왜 지금, 클라우드 밖인가

지난 3년간 AI 붐을 이끈 것은 클라우드였다. ChatGPT, Gemini, Grok 등 대형 언어모델은 모두 거대 데이터센터에 묶여 있었고, 사용자는 인터넷을 통해 그 능력을 빌려 쓰는 구조였다. 이 구조의 근본적인 한계는 세 가지다. 첫째, 레이턴시: 네트워크 왕복 지연은 실시간 에이전트 작업에서 치명적이다. 둘째, 프라이버시: 의료 기록, 법률 문서, 영업 비밀이 클라우드로 전송되면 데이터 주권을 잃는다. 셋째, 비용: API 사용 요금은 사용량에 비례해 누적되며, 대규모 추론 작업에서는 온프렘 TCO(총소유비용)가 2~3년 안에 역전될 수 있다.

NVIDIA는 이미 클라우드 데이터센터용 칩 시장의 지배자다. H100에서 시작해 블랙웰(Blackwell) 아키텍처로 진화한 GPU는 2024년 3월 공식 발표에서 H100 대비 LLM 추론 성능 30배 향상, 에너지 비용 25배 절감을 공언했다. 그런데 컴퓨텍스 2026에서 NVIDIA가 내놓은 답은 클라우드를 더 빠르게 만드는 것이 아니라, 그 블랙웰 칩을 개인 책상 위에 올려놓는 것이었다.

RTX 스파크: 70억 개 트랜지스터를 노트북 안으로

RTX 스파크의 핵심은 N1X 슈퍼칩이다. TSMC 3nm 공정으로 제조된 이 칩은 두 가지 이질적인 세계를 하나로 합쳤다. NVIDIA 블랙웰 RTX GPU(6,144개 CUDA 코어, 5세대 텐서 코어, FP4 정밀도)와 미디어텍(MediaTek)과 공동 개발한 20코어 Grace CPU가 NVLink-C2C 칩-투-칩 인터커넥트로 연결되며, 이 연결 대역폭은 600GB/s에 달한다. 이를 통해 CPU와 GPU가 최대 128GB 통합 메모리(300GB/s 대역폭)를 공유한다.

이 수치가 실제로 의미하는 것은 무엇인가. NVIDIA 공식 발표에 따르면 RTX 스파크 탑재 PC는 120억 파라미터 규모의 LLM을 100만 토큰 컨텍스트로 로컬 실행하고, 4K AI 비디오 생성, 12K 4:2:2 영상 편집, 90GB 이상의 3D 씬 렌더링이 가능하다. 소비 전력은 작업 부하에 따라 한 자릿수 와트에서 최대 80W 사이를 오간다. 노트북 폼팩터 기준 두께 14mm, 무게 1.36kg(약 3파운드)에 이 성능을 담은 것이다.

젠슨 황은 이 칩을 “33년간 배운 모든 것을 하나의 칩에 담았다”고 표현했으며, “NVIDIA 소프트웨어 스택의 100%가 여기서 구동된다”고 강조했다. 실제로 RTX 스파크는 CUDA, TensorRT, DLSS, OptiX, Reflex, G-SYNC를 비롯한 NVIDIA의 전체 소프트웨어 생태계를 그대로 계승한다. 어도비는 포토샵과 프리미어를 이 플랫폼에 맞게 재설계해 최대 2배 성능 향상을 제공하기로 했고, RTX 지원 소프트웨어는 이미 1,000개를 넘었다.

보안과 프라이버시: Microsoft와의 협력

로컬 AI가 의미 있으려면 하드웨어만으로는 부족하다. 민감한 데이터를 다루는 에이전트가 어떤 쿼리를 로컬에서 처리하고, 어떤 쿼리를 클라우드로 보낼지 안전하게 결정해야 한다. NVIDIA와 마이크로소프트는 이 문제를 공동으로 해결했다. 공식 발표에 따르면, 마이크로소프트는 신원 확인, 격리, 정책 집행을 위한 새로운 윈도우 보안 프리미티브를 도입했으며, NVIDIA의 OpenShell 런타임은 에이전트를 샌드박스 환경에서 실행하고 개인 데이터를 마스킹해 클라우드 요청 시 외부로 유출되지 않도록 한다.

사티아 나델라 마이크로소프트 CEO는 이 파트너십에 대해 “RTX 스파크는 무제한 인텔리전스를 제공하는 데 있어 진정한 돌파구”라고 평가했다. 이 구조에서 사용자의 로컬 데이터는 기기를 벗어나지 않고, 필요한 경우에만 익명화된 형태로 클라우드를 보완적으로 활용하게 된다.

DGX 스테이션: 책상 위의 1경 플롭

RTX 스파크가 개인용 AI PC를 겨냥한다면, DGX 스테이션은 기업 AI팀과 연구자를 위한 온프렘 슈퍼컴퓨터다. StorageReview의 키노트 분석에 따르면 DGX 스테이션의 핵심 칩은 GB300 Grace Blackwell Ultra 데스크톱 슈퍼칩으로, 72코어 ARM CPU와 블랙웰 울트라 GPU를 통합했으며 최대 748GB 코히런트 메모리와 20 페타플롭 FP4 AI 성능을 제공한다. 메모리 대역폭은 7.1TB/s로, 트릴리언(1조) 파라미터급 모델을 책상 위에서 온전히 실행할 수 있는 수준이다.

전력은 단일 1,600W 전원공급장치로 충당되며, 사무실 표준 전기 회로에서 가동 가능하다. 냉각은 밀폐 순환 수냉 방식을 채택해 사무실 환경에 적합한 소음 수준을 유지한다. 네트워킹은 ConnectX-8 SuperNIC으로 최대 800Gb/s를 지원한다. 가격은 구성에 따라 9만~10만 달러(약 1억 2천만~1억 4천만 원) 수준으로 알려져 있으며, 클라우드 GPU 장기 임대 대비 비용 효율성이 핵심 판매 논거다.

엣지 AI: Jetson Thor와 물리 AI의 확장

NVIDIA의 엣지 전략은 PC와 워크스테이션에 그치지 않는다. NVIDIA 공식 블로그에 따르면 컴퓨텍스에서 골든 어워드를 수상한 Jetson Thor 플랫폼은 2,070 FP4 테라플롭을 40~130W의 전력 범위에서 구현하며, 이전 세대인 Jetson Orin 대비 컴퓨팅 성능 7.5배, 에너지 효율 3.5배 향상을 달성했다. 새로 발표된 T3000 모듈(865 FP4 테라플롭, 32GB LPDDR5X)과 T2000 모듈(400 FP4 테라플롭, 16GB)은 인간형 로봇, 자율이동로봇(AMR), 스마트 리테일, 지능형 교통 시스템 등 다양한 산업 현장에서의 물리 AI(Physical AI) 구현을 목표로 한다.

Jetson 에이전트 스킬을 활용한 기업들의 실제 성과도 공개됐다. 유비테크(UBTech)와 애자일 로보틱스(Agile Robots)는 메모리 사용량을 최대 15GB 절감했고, 스마트 리테일 기업 샌드스타(SandStar)는 4GB, 교통 AI 기업 노트래픽(NoTraffic)은 TX2 NX에서 30% 메모리 감소를 달성했다. T3000 에뮬레이션 지원은 JetPack 7.2.1을 통해 이달 중 제공되며, 하드웨어 모듈은 2027년 1분기 출시 예정이다.

클라우드 vs. 온프렘: 무엇을 선택할 것인가

RTX 스파크, DGX 스테이션, Jetson Thor는 각각 다른 계층의 온프렘·엣지 AI를 담당한다. 이 세 제품이 동시에 등장했다는 것은, NVIDIA가 클라우드 의존도를 줄이는 ‘분산 AI 인프라’ 시장을 하나의 생태계로 포괄하려는 전략적 의도를 보여준다. 클라우드 기반 AI는 스케일업과 다양한 모델 접근이 용이하지만, 데이터 주권, 레이턴시, 장기 비용 면에서 한계가 있다. 반대로 온프렘·로컬 AI는 초기 투자가 크지만, 반복적·대규모 추론 작업에서는 API 비용보다 훨씬 낮은 단가를 달성할 수 있다.

주목할 점은 RTX 스파크가 vLLM과 llama.cpp를 통한 에이전트 모델 추론 성능을 기존 대비 2배 향상시켰다는 것이다. 오픈소스 LLM 생태계와의 긴밀한 통합은, 클라우드 API에 종속되지 않고 자체 모델을 운용하려는 기업에게 현실적인 경로를 제시한다.

중소기업 시사점

• 보안 민감 업종(의료·법률·금융·제조): 로컬 AI는 개인정보보호법(PIPA), GDPR 등 데이터 국외 이전 규제 대응에 직접적인 솔루션이다. RTX 스파크의 NVIDIA OpenShell 샌드박스와 윈도우 보안 프리미티브는 이 방향성을 공식 지원한다.
• 클라우드 API 비용 부담이 큰 팀: 월 수백만 원 이상의 API 비용을 지출하고 있다면, 로컬 추론 인프라의 ROI를 계산해볼 시점이다. RTX 스파크 노트북(예상 가격 1,799~2,899 달러)이나 소형 데스크톱은 2~3년 사용 시 API 비용 대비 경제적일 수 있다.
• 소프트웨어 생태계 성숙 대기: 윈도우 온 ARM 환경의 앱 호환성은 아직 완전하지 않다. 어도비, Blender, DaVinci Resolve 등 주요 창작 도구는 지원이 확정됐지만, 업무에 필수적인 레거시 소프트웨어가 ARM 네이티브로 전환되기까지 시간이 필요하다.
• 엣지 AI 파일럿을 준비 중인 제조·물류팀: Jetson T2000(400 FP4 테라플롭)은 산업 현장의 시각 AI, 품질 검사, 물류 로봇 적용에 적합한 진입점이다. 2027년 1분기 출시 전, JetPack 7.2.1 에뮬레이션 환경에서 소프트웨어 준비를 시작할 수 있다.
• DGX 스테이션은 AI 팀 전용 인프라: 가격이 1억 원 이상이므로 일반 중소기업에게는 과도하다. 다만 AI 연구팀이나 AI 기반 서비스를 자체 개발하는 스타트업이 클라우드 GPU 임대를 장기 대체하는 시나리오에서 검토 가능하다.

---