AI의 교차로: 왜 월스트리트는 ChatGPT와 Claude에게 "아니오"라고 말하고 있는가?

저자: Jeff @IOSG

왜 개인 AI가 필요한가

7월 1일, Palantir CEO Alex Karp는 CNBC에서 "정신적 붕괴"라고 불리는 20분짜리 인터뷰를 진행했습니다. Karp에 따르면, 기업들은 최전선 실험실에 토큰 프리미엄을 지불하고 있으며, 자사의 IP가 모델 제공업체로 흘러가는 것을 지켜보고 있습니다. 그는 이러한 유출을 알파의 이동이라고 부르며, 이동은 아키텍처 레이어에서 발생하고 있다고 말했습니다: 클로즈드 소스 모델로 전송되는 모든 요청은 평문 형태로 서비스 제공자의 서버에 도착합니다. 프로그램 방송 며칠 전, Palantir는 NVIDIA와 협력하여 고객이 통제하는 환경에서 오픈 Nemotron 모델을 실행하겠다고 발표했으며, AI 주권 선언문 9개 조항도 첨부했습니다. CNBC 프로그램 방송 후, PLTR은 8% 급등했습니다. 지난 20년 동안, 기업들은 프로토콜 수준의 신뢰를 바탕으로 클라우드 소프트웨어를 채택해왔으며, 이는 성공적이었습니다. 각 SaaS 제공업체는 기업 데이터의 일부만을 볼 수 있으며, 대부분은 고객 데이터를 핵심 제품에 반영할 동기가 없습니다. Salesforce는 판매 채널을, Workday는 인사 정보를, Jira는 개발 반복을, AWS는 저장 및 계산의 기반을 제공합니다. 그러나 오늘날의 AI 워크플로우는 모든 자산을 한 번에 업로드하고, 각 부서를 연결하는 구조화된 맥락을 함께 제공하여 생산성을 극대화하려고 합니다. 선의는 제쳐두고, 상위 서비스 제공업체는 이제 이러한 데이터를 사용하여 새로운 기능을 개발할 수 있으며, 이를 서버에 두고 방치하지 않습니다.

감속하는 사람은 없습니다. Anthropic의 연간 수익은 5월에 470억 달러에 도달했으며, 2025년 말의 90억 달러에서 크게 증가했습니다. OpenAI는 2월에 9억 주간 활성 사용자 수를 돌파했습니다. 두 회사는 올해 봄에 새로운 자금 조달 라운드를 완료했으며, 가치는 1조 달러에 가까워지고 있으며, 더 높은 시가총액으로 IPO를 할 것으로 예상됩니다. 수년간의 프라이버시 및 IP 주장에도 불구하고, 두 회사는 전혀 기세가 꺾이지 않았습니다.

일부 기업은 이미 행동을 취했습니다. 2023년 2월, ChatGPT 출시 3개월도 안 되어 월스트리트 주요 은행들은 사용을 제한했습니다. 2023년 5월, 삼성 엔지니어가 칩 소스 코드를 ChatGPT에 유출한 후, 회사는 전사적으로 생성형 AI를 금지했습니다. 이에 대한 응답으로, OpenAI는 그 해 8월에 ChatGPT Enterprise를 출시하고, 상업적 데이터를 사용하지 않겠다고 약속했으며, 제로 데이터 보존(zero-data-retention, ZDR) 프로토콜도 추가했습니다. 후자는 이후 기업 구매의 표준 요구 사항이 되었습니다.

하지만 계약은 회사 계정만 잠가두었습니다. IBM은 2025년까지 그림자 AI(직원이 개인 계정을 통해 회사 데이터를 승인되지 않은 AI 도구에 입력하는 것)가 5분의 1의 데이터 유출 사건에 연루될 것이라고 발견했습니다. 그리고 중증 그림자 AI 사용은 유출 비용을 평균 67만 달러 증가시킵니다. 보안 교육 회사 Anagram의 2025년 조사에서, 4명의 직원은 작업을 더 빨리 완료하기 위해 AI 사용 정책을 위반할 의향이 있다고 응답했습니다.

기업은 최소한 돈을 들여 탈출구를 살 수 있습니다. ZDR 계약, 비훈련 서비스 등, 만약 당신이 정부나 Palantir의 고객이라면 주권 배포도 가능합니다. 그러나 당신과 같은 일반 사용자에게는 프라이버시 AI의 중요성에 대한 논란이 여전히 존재하며, 법원 소환장이 도착할 때까지도 그랬습니다.

2025년 5월의 법원 명령은 OpenAI에게 사용자가 삭제한 소비자 채팅 기록을 보존하도록 강요했습니다. 11월에는 판사가 그 중 2000만 건을 뉴욕타임스 변호사에게 증거로 제출하라고 명령했습니다. 이어서 형사 사건이 발생했습니다: Palisades 대화재 방화 사건의 피고의 ChatGPT 기록이 증거로 제출되었고, 플로리다의 한 이중 시체 사건의 진술서에는 용의자가 시체를 처리하는 방법에 대한 질문이 인용되었습니다. Sam Altman은 2025년 7월의 인터뷰에서 ChatGPT 대화가 법적 특권의 보호를 받지 않으며, 소송에서 OpenAI는 "사용자 채팅 기록을 제출하라는 요구를 받을 수 있다"고 인정했습니다.

중요한 것은 범죄자만이 비밀 대화를 필요로 하는 것이 아닙니다. 사람들과 AI 간의 대화가 기록되고 소환될 수 있다는 것은 대부분의 사용자들이 존재를 모르고 있는 감시의 한 면입니다. Kolmogorov Law는 2025년 10월에 1000명의 미국 AI 사용자에 대한 조사에서 50%가 이러한 대화가 소환될 수 있다는 것을 모르고 있으며, 3분의 2는 이러한 채팅이 변호사나 의사와 동등한 보호를 받아야 한다고 생각한다고 밝혔습니다.

자체 호스팅하거나 검증 가능한 환경에서 실행되는 오픈 소스 모델이 빠르게 추격하고 있지만, 가장 강력한 모델 그룹은 여전히 일반 능력에서 최전선 클로즈드 모델에 비해 약 4개월 뒤쳐져 있습니다. 이는 토큰 최대화를 추구하는 기업과 개인이 갈림길에 서게 만듭니다. 이들은 이 프라이버시를 위해 몇 달의 모델 품질을 포기하거나, 민감한 자료를 Anthropic의 서버에 계속 업로드해야 합니다. 경쟁자는 바로 그렇게 생산성 우위를 확보하고 있습니다. 현재 시장에는 완벽한 솔루션이 없으며, 보고서는 각 측의 격차를 줄이기 위한 시도를 정리하고, 검증 가능한 프라이버시 아래의 최전선 지능이 기업과 일반 사용자에게 전달되기까지 얼마나 멀었는지를 관찰합니다.

현재 프라이버시는 어떻게 구현되는가

프라이버시 AI는 단일 프로젝트가 아니지만, 현재 시장의 모든 메커니즘은 동일한 사건을 처리하고 있습니다: 한 개의 프롬프트가 당신의 장치를 떠나 네트워크를 지나 모델이 실행되는 기계에 도착하고, 다시 응답을 반환합니다. 메커니즘 간의 차이는 평문이 이 경로의 어디에 존재하는지, 누가 그것을 읽을 수 있는지, 그리고 응답의 비밀성을 검증하는 데 무엇을 사용하는지에 있습니다. 프로토콜 수준의 프라이버시 이 레이어에서는 당신 외에도 누군가가 당신의 평문 프롬프트를 읽을 수 있으며, 이후에 발생하는 일은 약속 한 마디에 달려 있습니다.

• 계약 기반 제로 보존은 기업 버전 솔루션입니다. 서비스 제공자는 당신이 누구인지 알고, 당신의 프롬프트를 처리하며, 보존하지 않겠다고 약속합니다. 실행은 계약과 명성에 의존합니다.

• 익명 프록시는 당신이 누구인지 지우지만, 당신이 무엇을 말했는지는 암호화하지 않습니다. 하류 서비스 제공자는 여전히 자사의 정책에 따라 평문을 처리합니다. 각 회사의 조항은 다릅니다. 예를 들어 Duck.ai (DuckDuckGo의 채팅 로봇 제품)와 같은 프록시는 모델 제공자와 삭제 계약을 협상하며, Venice는 사용자에게 서비스 제공자가 모든 것을 저장할 것이라고 가정하게 합니다. 그러나 양측 모두 이를 검증할 수 없습니다.

기계와 기계 간의 모든 경로는 TLS 위에서 실행되며, 이는 파이프라인을 암호화할 뿐입니다. 수신자는 모든 정보를 읽을 수 있습니다. 중계는 일반적으로 Oblivious HTTP (RFC 9458)를 사용하여 이 정보 권리를 분리합니다. 원리는 친구에게 쪽지를 전달하는 것과 같습니다. 친구는 누가 전달했는지 알지만 내용을 읽을 수 없고, 수신자는 내용을 읽을 수 있지만 누가 썼는지는 모릅니다. OHTTP는 2024년 1월부터 IETF 표준이 되었으며, 현재 많은 회사가 Cloudflare와 Fastly에서 임대한 OHTTP 중계를 통해 생산 트래픽을 실행하고 있습니다.

이것이 클로즈드 모델에 접근할 수 있는 프라이버시의 한계입니다. 그 이유는 수학 문제입니다. 현재 플래그십 훈련의 비용은 10억 달러 규모이며, 이러한 실험실의 거의 1조 달러의 가치는 모델 가중치의 독점에 걸려 있습니다. 모델 능력의 차이가 얼마나 오래 지속될지, 프리미엄도 얼마나 지속될지 결정합니다. 따라서 실험실은 가중치 파일을 국가 기밀처럼 보호합니다.

Meta는 이미 이 실험을 수동으로 수행한 적이 있습니다. 2023년 2월에 발표된 LLaMA는 처음에 연구자에게만 공개되었지만, 일주일도 안 되어 가중치가 씨앗 형태로 4chan에 유출되었습니다. 일주일 후, llama.cpp는 가장 작은 7B 모델을 MacBook에서 로컬로 실행할 수 있게 했고, 3일 후 스탠포드는 같은 모델을 사용하여 600달러도 안 되는 비용으로 채팅 도우미 Alpaca를 미세 조정했습니다. 이번 유출로 Llama의 운영 비용은 전기 요금으로 떨어졌으며, 파일을 가진 누구나 집에서 실행할 수 있게 되었습니다. 2023년 7월, Meta는 7억 월간 활성 사용자 제외 조항이 포함된 상업적 라이센스를 공식적으로 오픈소스 Llama 2로 출시했습니다. 가중치가 유출되면서 프리미엄도 함께 사라졌습니다.

최전선 실험실은 이론적으로 클로즈드 모델의 추론에 대한 attestation(원격 증명)을 제공할 수 있지만, attestation은 어떤 코드가 프롬프트를 읽었는지를 증명할 수 있을 뿐, 이 코드가 그것을 가지고 무엇을 했는지는 증명할 수 없습니다. 서버가 데이터를 보존했는지 확인하려면 서비스 코드(serving code)를 감사하고 이를 하드웨어가 보고한 해시로 재구성해야 합니다. 그러나 서비스 코드를 제출하면 실험실은 수익성을 지탱하는 배치 처리 및 캐시 기술을 제출하게 되며, 이러한 기술은 미래의 모든 모델 세대에 이전될 것입니다. Apple과 Meta가 iPhone과 WhatsApp 뒤의 서비스 스택에 대해 원격 증명을 제공할 수 있는 이유는 그들의 수익이 장치와 광고에서 발생하기 때문이며, 공개 서비스 코드는 거의 비용이 들지 않습니다.

이것이 플래그십 모델의 가중치와 서비스 코드가 외부 운영자에게 도달하지 못하는 이유입니다. 외부 운영자가 없다면, 제3자 attestation도 없고, attestation이 없다면 검증 가능한 프라이버시는 오픈 소스 모델 위에만 존재합니다. 구조적 프라이버시 이 범주에 있는 각 메커니즘은 신뢰 약속을 대체하기 위해 하드웨어, 암호학 또는 물리적 증명을 사용하지만, 각자 프라이버시 업그레이드에 대해 서로 다른 비용을 지불해야 하며, 가장 중요한 것은 이들은 오픈 소스 모델에서만 실행될 수 있습니다.

• TEE(신뢰 실행 환경) 비밀 계산은 추론을 하드웨어 enclave(칩 위의 기계 운영자도 열 수 없는 밀폐된 공간)에서 실행합니다. 칩은 어떤 모델과 어떤 코드가 실행되었는지를 명시하는 attestation을 서명합니다.

• 프롬프트는 최종 지점에서만 봉인됩니다. 프록시를 통해 중계되는 경로에는 여전히 평문을 읽을 수 있는 역할이 남아 있으며, 프록시가 중계 내용을 기록하거나 유출하는 것을 방지하는 것은 오직 프로토콜뿐입니다.

• E2EE(종단 간 암호화)는 읽을 수 있는 중계를 차단합니다. 사용자 장치는 enclave의 키를 사용하여 프롬프트를 암호화하며, 중간의 각 점프는 오직 enclave만 열 수 있는 봉인된 봉투를 가지고 있습니다.

• 신뢰는 클라이언트에 있습니다. 프롬프트를 암호화하고 attestation을 검증하는 코드는 이 보증을 철회할 수 있는 능력도 가지고 있습니다. 따라서 검증 가능한 E2EE는 증명된 enclave가 필요할 뿐만 아니라, 개방적이고 재현 가능한 클라이언트 코드도 필요합니다.

• TEE의 간결함에 비해 E2EE의 대가는 엔지니어링 부담이며, 이는 기능 통합을 지연시킵니다. E2EE는 프록시를 맹목적으로 전달하는 메신저로 만들며, 따라서 평문을 읽어야만 작동하는 모든 기능은 클라이언트 키를 중심으로 재구성해야 하거나 enclave 내부에서만 재구성해야 합니다.

• FHE(전동 동형 암호화 및 MPC 변형)는 신뢰할 수 있는 당사자를 아예 제거합니다. 서버는 자신이 절대 열 수 없는 잠긴 상자에서 암호문에 대한 계산을 수행하며, 키는 오직 당신의 손에만 있습니다. MPC(다자간 안전 계산)는 프롬프트를 비밀 분할로 나누어 여러 당사자에게 분배하며, 모든 참여자가 공모하지 않는 한 동일한 효과를 냅니다.

• 대가는 속도입니다. FHE는 본래 덧셈과 곱셈만 수행할 수 있으므로, 변환기 작동에 필요한 비선형 단계는 높은 비용으로 재구성해야 합니다. 암호문에서의 추론 비용은 평문보다 1만 배에서 10만 배까지 비쌉니다. 작은 모델에서 각 토큰은 몇 초에서 몇 분이 걸리며, 암호화하지 않은 경우에는 밀리초면 충분합니다.

• 암호화 연산에 맞춤화된 칩이 격차를 줄일 수 있을 것으로 기대되지만, 첫 번째 프로토타입은 2026년 초에야 데모가 완료되며, 상용 버전은 몇 년 더 기다려야 합니다.

• 로컬 추론은 이 경로를 직접 삭제합니다. 모델은 당신의 하드웨어에서 실행되며, 중계도, 서버도, 서비스 제공자도 없고, 검증 요구도 없습니다.

• 명백한 대가는 비용과 모델 능력입니다. gpt-oss-120b는 Artificial Analysis 지수에서 GLM-5.2의 약 절반에 해당하는 점수를 받지만, 크기는 65GB로, 시중의 두 개의 플래그십 게임 그래픽 카드의 메모리 용량을 초과합니다. 반면, 전체 정밀도의 GLM-5.2는 8개 카드 데이터 센터 노드에서만 실행할 수 있으며, GPU만으로도 30만 달러가 넘는 비용이 듭니다. 그러나 이러한 구조적 제한 외에도, 추론을 enclave에 넣는 비용은 압축되고 있습니다. 단일 카드 추론에서, enclave 클라우드 서비스 제공업체 Phala의 기준 테스트에 따르면, enclave 모드의 H100은 평균 7% 미만의 처리량 손실을 보이며, 대형 모델에서는 거의 제로에 가깝습니다. 주요 비용은 데이터를 칩으로 옮기는 데 있으며, 내부에서 계산하는 것이 아닙니다. 다중 카드 추론에서, NVIDIA의 차세대 GPU Blackwell은 칩 간 트래픽의 직접 암호화를 지원하며, 구형 H100은 동일한 효과를 얻기 위해서는 7분의 1의 대역폭으로 CPU 호스트를 우회해야 합니다. NVIDIA가 Blackwell에서 수행한 기준 테스트에 따르면, 397B 모델은 enclave 모드에서 8% 미만의 처리량 손실을 보였습니다. 이러한 발전 덕분에, 프라이버시 추론 자체의 성능 손실은 더 이상 결정적인 제약이 아닙니다.

사실, enclave 자체는 운영자에게 추가 운영 비용을 거의 증가시키지 않습니다. 2023년 이후의 모든 H100은 enclave 모드를 기본으로 제공하며, 추가 비용은 암호화로 인한 처리량 손실이지, 추가 칩 비용이 아닙니다. 현재 Azure의 기밀 H100 SKU 임대 가격은 여전히 시간당 8.90달러이며, enclave를 사용하지 않으면 6.98달러로, 전통적인 클라우드 시설에서 27%의 추가 비용에 해당합니다. 반면, Phala와 같은 enclave를 전문으로 제공하는 운영자에서는 기밀 모드의 H100이 시간당 3.80달러부터 임대되고 있으며, Lambda의 일반 SXM 카드 가격대인 3.99달러에서 4.29달러보다 저렴합니다. 호스팅 API 솔루션에서, NEAR AI의 attestation이 포함된 엔드포인트는 100만 토큰 입력당 0.15달러, 출력당 0.55달러로 gpt-oss-120b를 제공하며, 평문 경로의 Amazon Bedrock, Together 및 Groq와 동등합니다. 다중 칩 병렬 모델이 필요한 경우에도, NEAR AI는 GLM 5.2에서 Fireworks와 가격이 동일하며, 더 큰 Kimi K2.6에서 입력은 15% 저렴하고 출력은 4% 저렴합니다.

이러한 새로운 프라이버시 추론 서비스 제공업체가 이익을 태우며 시장 점유율을 확보하고 있을 수 있지만(이 말은 시장에서 성장하고자 하는 모든 회사에 해당합니다), 구조적으로 프라이버시 비용은 소비자와 운영자 모두에게 감소하고 있습니다.

오픈 소스 모델이 어떻게 이길 수 있는가?

비록 성능 오버헤드가 줄어들고 있지만, 최전선 모델과 SOTA 오픈 소스 모델 간에는 여전히 눈에 띄는 차이가 있으며, 생산성 극대화를 추구하는 주체는 여전히 최전선 실험실이 자신의 IP를 도용하지 않을 것이라고 신뢰해야 합니다.

차이는 여전히 존재하지만, Bridgewater 산하 AIA Labs와 Thinking Machines는 6월 30일에 다음과 같은 사례를 제시했습니다: 전문가가 주석을 달아 미세 조정한 오픈 모델이 정확도와 비용 모두에서 최전선 모델을 이겼습니다.

연구에서 팀은 Tinker(Thinking Machines의 호스팅 미세 조정 API 서비스)에서 Qwen3-235B를 미세 조정했습니다. 그들은 먼저 공급자로부터 주석을 구매하여 이 데이터를 사용해 첫 번째 라운드를 훈련한 후, 분기 샘플을 회사의 투자자에게 다시 주석을 달도록 전달했습니다. 훈련은 강화 학습(GRPO)으로 진행되었으며, 세 가지 수정이 추가되었습니다: 라운드 로빈 배칭(각 작업이 번갈아 가며 배치를 생성), CISPO 손실(단일 답변이 모델을 얼마나 멀리 끌어당길 수 있는지의 한계 제한), 온 정책 증류(현재 최적 체크포인트를 고정하여 모델이 더 약한 복사본을 학습하지 않도록 보장).

모든 작업은 투자자의 일상적인 작업 흐름에서 가져왔습니다: 한 뉴스 기사가 C-suite 수준의 투자 전문가에게 얼마나 중요한지, 중앙은행 문서가 미래 금리 변동 방향을 암시하는지, 문서나 이메일의 템플릿 문구가 어디서 시작되는지. 평가는 독립 테스트 세트에서 이루어졌으며, 최전선 모델은 간단한 프롬프트에서 평균 50%의 점수를 받았고, 전문가 프롬프트를 추가해도 78.2%에 불과하여 투자자가 설정한 80% 기준에 미치지 못했습니다. 반면, 미세 조정된 Qwen은 84.7%를 기록했으며, 원문 기준으로 이는 최전선 최적 모델보다 29.8%의 오류를 줄이고, 추론 비용은 13.8배 낮았습니다. https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/ 이 사례는 오픈 소스 모델이 정확도와 비용 모두에서 승리할 수 있음을 증명했지만, 훈련 과정은 여전히 비공개입니다. 과정에서 사용된 전문가 주석은 Bridgewater의 비공식 데이터이며, Tinker의 제3자 서비스를 거쳐 ZDR 프로토콜과 동일한 신뢰 수준에 도달합니다. 펀드는 또한 컴퓨팅 파워를 임대했으며, 전체 훈련은 그들이 통제하지 않는 기계에서 진행되었습니다. 이 조합을 원하지만 신뢰 가정을 피하고자 하는 구매자는 현재 선택의 폭이 매우 좁습니다. 벌거벗은 GPU 클러스터를 임대하면 훈련 과정이 클라우드 운영자에게 읽힐 수 있습니다. 클러스터를 구매하면 데이터 호스팅 문제는 해결되지만, 비용은 천정부지로 치솟습니다.

attestation이 포함된 경로가 이제 막 도착했습니다. 3월, Workshop Labs와 Tinfoil은 Silo를 발표했습니다. 이는 Tinfoil enclave에서 실행되는 단일 8카드 노드의 후 훈련 스택으로, 키는 오직 고객이 통제합니다. 이 문서에서 제시된 enclave 비용은 두 시간의 훈련에 11분이 추가로 소요되며, 이 스택은 기본 가중치를 동결하고 그 위에서 소형 어댑터를 훈련하여 1조 파라미터 모델(Kimi K2 Thinking)을 수용할 수 있습니다. 난점은 강화 학습이 각 구성 요소 간에 데이터를 이동해야 하며, 데이터 이동이 바로 enclave 비용의 원천이라는 점입니다.

Silo 발표 후 한 달도 채 되지 않아, Workshop Labs는 Thinking Machines에 인수되었으며, enclave에서 Bridgewater 스타일의 RL 루프를 실행하는 데 필요한 구성 요소는 이제 모두 동일한 회사 소속이 되었습니다.

Harness 레이어의 프라이버시

모든 개인 추론 메커니즘 외부에는 또 다른 문제가 있습니다. 이러한 메커니즘은 각각 프롬프트에서 모델로의 경로를 관리하지만, 에이전트가 외부 도구를 호출할 때마다 추론 레이어가 전혀 닿지 않는 경로가 열립니다. 최근의 harness engineering 트렌드는 문제를 배가시켰습니다. 모델 주변의 각 도구, 메모리 저장소 및 데이터 소스는 평문으로 자신의 작업 흐름 조각을 읽는 또 다른 목적지입니다. 일정 서버는 일정을 읽고, 데이터베이스 서버는 쿼리를 읽습니다. 완전히 로컬한 에이전트가 훈련 세트 외의 어떤 것을 원한다면, 여전히 검색어를 평문으로 검색 엔진에 제출해야 하며, 서버는 평문을 읽을 수 없으므로 질문에 답할 수 없습니다.

주류 해결책은 여전히 프로토콜 레이어에 의존하고 있습니다. Runlayer와 MintMCP와 같은 회사는 중앙 게이트웨이를 사용하여 모든 도구 트래픽을 관리하며, 요청이 나가기 전에 개인 식별 정보(PII)를 가립니다. 게이트웨이는 또한 어떤 서버가 트래픽을 수신할 수 있는지를 결정하며, 검토되지 않은 것은 차단하고, 각 호출의 목적지와 내용을 기록하여 증거로 보관합니다. 이러한 관리가 독립 감사(SOC 2)를 받더라도, 도구 서버는 여전히 평문 쿼리를 읽어야 답변할 수 있으며, 복사본을 남길지는 자사의 보존 조항에 따라 달라지며, harness 내의 각 도구에 곱해져야 합니다. 또한, 게이트웨이 자체도 경로에서 추가된 신뢰를 요구하는 읽기 당사자일 뿐, 검증자는 아닙니다.

구조적 솔루션은 중간 레이어에 도달했습니다. 예를 들어, Phala는 MCP 서버를 TEE에 직접 호스팅하여 디렉토리를 지갑, 코드 실행 및 데이터 소스로 덮어씌웁니다. 사용자는 attestation을 통해 프라이버시 선언을 검증할 수 있으며, 운영자에 대한 신뢰 없이도 가능합니다. 그러나 TEE에 호스팅된 도구는 결국 쿼리를 평문으로 서비스 제공자에게 전달해야 하며, enclave는 메신저만 봉인할 뿐 목적지는 아닙니다. 소수의 목적지만이 읽지 않고도 답변할 수 있는 방법을 배웠지만, 이는 구조화된 쿼리에 한정됩니다. Apple은 iPhone에 개인 정보 검색을 제공하여, 전화번호가 스팸 전화 데이터베이스와 비교될 때 번호를 노출하지 않도록 했습니다. Microsoft는 Edge 브라우저에서 비밀번호에 대해 동일한 솔루션을 사용했습니다. MongoDB의 Queryable Encryption은 클라이언트가 필드가 떠나기 전에 암호화하도록 하여, 서버는 암호문만으로도 동등 및 범위 매칭을 완료할 수 있습니다.

그러나 개방형 검색에 대해서는 오늘날 가장 좋은 답변이 신뢰에 그치고 있으며, 검증 가능한 암호화 검색은 아직 실험실을 벗어나지 못했습니다. Brave는 자사 400억 페이지의 색인(구글이 아닌)에서 제로 데이터 보존을 약속했지만, 여전히 프로토콜 레이어에 머물고 있습니다. Exa는 사용자의 키워드를 의미론적으로 삽입하여 결과를 의미론적으로 정렬하는 신경 색인을 구축했지만, 이 삽입 단계는 여전히 Exa의 서버에서 평문으로 시작됩니다. MIT의 2023년 Tiptoe 논문은 3.6억 웹페이지에서 정렬을 완료했지만 쿼리를 노출하지 않으며, 매 검색마다 대량의 서버 컴퓨팅 파워를 소모해야 하며, 정렬 품질은 암호화되지 않은 검색과 차이가 있습니다. Apple의 2024년 Wally 논문은 실제 쿼리를 여러 유인물 속에 숨겨 통신 비용을 최대 31배 낮추었지만, 이 수학은 수백만 개의 동시 쿼리가 있어야 저렴해지며, 현재 어떤 개인 검색 시스템도 이 규모를 가지고 있지 않습니다.

암호화 검색은 가능하지만, 성능과 가격이 상용 가능한 수준에 도달하지 못했습니다.

전망

개인 AI의 수요는 증가하고 있습니다. Venice AI는 최근 350만 등록 사용자와 매월 1.3조 토큰의 처리량을 돌파했으며, 이후 10억 달러의 Series A 자금 조달 라운드를 완료했습니다. Proton은 그 직접적인 경쟁자로, 그 채팅 제품 Lumo는 출시 1년 만에 사용자 수가 1000만을 넘었습니다. 인프라 측면에서, Phala는 현재 OpenRouter에서 하루 평균 20억에서 30억 토큰을 처리하고 있습니다. Duck.ai는 gpt-oss-120b와 Gemma를 Tinfoil의 enclave로 라우팅하여 사용자 프록시 외부에서 검증 가능한 프라이버시를 제공합니다. 이는 자가 호스팅을 포함하지 않으며, 개인 추론의 가장 큰 경로가 될 가능성이 높습니다. 결국 모델이 자신의 하드웨어에서 실행되므로, 어떤 사용 흔적도 남기지 않습니다.

그러나 주류 AI의 대세 속에서, 프라이버시 AI는 극히 작은 부분에 불과하며, 이 격차는 최전선 실험실이 이 수요를 충족시키려 할 때만 좁혀질 것입니다. 5월, Google은 모든 제품에서 3200조 토큰을 처리했으며, 이를 기준으로 할 때 Venice의 한 달 처리량은 Google의 18분에 해당합니다. 지난해 11월, Google은 Private AI Compute(PAC)를 출시하여 일부 Gemini 기반 기능을 회사와 격리된 밀폐된 TPU enclave에서 실행하도록 했으며, 설계는 NCC Group에 의해 독립 감사되었습니다. 그러나 문제는 PAC가 개인화 추천, 녹음 요약과 같은 소수의 Pixel 기능만을 포함하고 있으며, 수억 명이 사용하는 Gemini 애플리케이션을 포함하지 않는다는 점입니다. Google이 설계를 감사 기관에 맡길 수 있는 이유는 이러한 기능이 장치와 광고에서 수익을 창출하기 때문이며, 토큰 판매에 의존하지 않기 때문입니다.

현재의 호스팅 솔루션도 완벽하지 않습니다. E2EE를 통해 최대한의 프라이버시를 얻고자 하는 사용자는 새로운 기능이 서비스 제공자가 읽을 수 없는 곳에서 다시 구축되기를 기다려야 합니다. 개인 harness는 여전히 서비스 레이어에서 프로토콜에 의존합니다. 합리적인 가격의 후 훈련을 통해 최상의 미세 조정 결과를 얻으려면 여전히 제3자 공급업체를 신뢰해야 합니다. 자가 호스팅은 모든 서비스 제공업체를 한 번에 벗어날 수 있지만, 가장 강력한 오픈 소스 모델을 로컬에서 실행하는 데 드는 비용은 그것을 장착한 건물보다 비쌀 수 있습니다.

결함이 있긴 하지만, 개인 AI는 이미 현실적이고 감당할 수 있는 옵션이 되었으며, 남은 격차도 좁혀지고 있습니다. 일반 소비자에게는 Lumo와 Venice에서 로그가 없는 약속 하에 오픈 모델의 비밀 채팅이 무료로 제공되며, Venice 또는 Tinfoil의 18~20달러 구독은 동일한 채팅을 enclave에 봉인하여 ChatGPT 구독보다 비싸지 않습니다. 기업 작업 흐름의 경우, attestation이 포함된 엔드포인트는 이제 평문 경로보다 더 저렴합니다. NEAR의 E2EE API와 같은 엔드포인트는 암호화된 맥락을 enclave로 가져올 수 있으며, 메모리, 파일 업로드, 사용자 정의 지침은 오늘날 E2EE 위에서 작동할 수 있습니다. attestation이 포함된 후 훈련에 관해서는, NVIDIA가 곧 출시할 Vera Rubin NVL72가 기밀 계산을 Blackwell의 8카드 노드에서 72카드 랙으로 확장하여 최전선 RL 루프가 IP를 노출하지 않으면서도 더욱 실행 가능하게 만들 것입니다.

그러나 핵심 가치 포착은 이러한 가격 압축의 레이어 밖에 있습니다. 프라이버시는 이미 존재하는 곳에서 거의 무료이지만, 여전히 주류의 에이전틱 작업 흐름을 포괄하지 못하고 있습니다. enclave 임대 및 판매를 전문으로 하는 운영자는 표준 칩에서 스위치를 쥐고 있으며, 이는 방어선이 아니라, 프로토콜 레이어의 게이트웨이는 전통적인 미들웨어와 경쟁하고 있습니다. 방어할 수 있는 진지는 이 보고서에서 아직 해결되지 않은 그 절반입니다: enclave에 갇힌 훈련 루프, 종단 간 봉인된 도구 호출, 보이지 않는 항목의 검색 색인. 누가 그 중 하나를 먼저 만들어내면, 가격 전쟁으로는 상품화할 수 없는 것을 판매하게 됩니다. 프라이버시 AI를 추구하는 자본은 격차를 사야지, 그 스위치를 사서는 안 됩니다.

그래서, 신뢰인가 검증인가? 실행과 에이전트가 중요한 작업에 대해서는 신뢰를 선택하십시오. 왜냐하면 도구 호출이 평문을 enclave가 봉인할 수 없는 목적지에 전달하기 때문입니다. 최전선 모델은 이러한 루프에서 그 가격을 정당화할 수 있습니다. 한 회사가 경쟁자와 구별되는 고급 사고에 대해서는 검증을 선택하십시오. 전략, 계획, 그리고 수년간의 전문 경험에서 추출된 판단은 바로 논란의 여지가 있는 그 알파입니다. 앞으로 나아갈 길은 회사가 통제하는 경계 내에서 이러한 독점적인 통찰력을 사용하여 오픈 소스 모델을 미세 조정하는 것입니다. 한 회사의 알파가 있는 분야에서 전문가가 조정한 오픈 모델은 이미 정확도와 비용 모두에서 최전선 모델을 이겼으며, 프라이버시 환경에서 이를 구축하는 인프라는 하나씩 도착하고 있습니다.