토큰 라우팅, 핀테크 비즈니스로 변하고 있다

Stripe는 OpenRouter를 인수하는 데 700억 원 이상을 썼지만, 단순히 토큰 라우팅만으로는 그 가치에 미치지 못한다: 라우팅 로직은 복제 가능하고, 클라우드 공급업체가 패키징할 수 있으며, 5.5%의 수수료는 지속 가능성이 낮다.

그렇다면 Stripe가 도대체 무엇을 산 것일까? "어떤 모델에 요청을 보낼지"가 아니라, 여러 모델과 공급업체의 흐름을 볼 수 있는 "신의 시각"을 산 것이다. QED Venture의 파트너인 Sandeep Patil은 거래 후 핀테크의 관점에서 더 정확하게 말했다: 흐름 속에 있는 것 자체가 성벽이 아니라, 흐름을 보고 다음 단계가 무엇인지 더 잘 아는 것이 성벽이다.

결제 산업은 이 말을 20년 동안 검증해왔고, 토큰은 이제 같은 길을 다시 걸어야 한다.

그래서 이 글이 하고자 하는 말은 기술이 아니라 금융이다: 달러를 중심으로 20년 동안 자란 시스템이 토큰 위에서 그대로 다시 자라고 있다------라우팅과 조달, 데이터와 배포, 성공률과 리스크 관리, 표준과 조립, 계좌 신용과 환전.

토큰을 운반하는 것은 단순한 흐름 비즈니스이며, 더 큰 가치는 흐름 위에 있다.

1. 라우팅: 먼저 단편화 문제 해결

토큰 라우팅이 존재하는 이유는 AI 토큰 시장이 단편화되고 다대다 시장으로 변하고 있기 때문이다.

애플리케이션은 여러 모델을 동시에 조정해야 하며, 모델은 여러 공급업체에 호스팅되어 있고, 가격은 계속 변동하며, 서로 다른 작업의 최적 해답도 다르다. 오픈 소스가 폐쇄 소스를 추격하고, 최전선 모델이 최전선을 앞으로 밀어내며, 이러한 불안정성은 단기적으로 사라지지 않을 것이다. 한 공급업체에 묶이는 것은 점점 더 비효율적이다------어떤 애플리케이션도 최적 모델이 바뀔 때마다 기술 스택을 재구성하고 싶어하지 않는다.

이미지

금융 시장이 단편화를 처리하는 오래된 방법은 중간에 공유 시설을 삽입하는 것이다: SWIFT는 은행 간에, 카드 조직은 상인과 발급 은행 간에, 결제 게이트웨이는 복잡한 하부 통로를 추상화한다.

토큰 라우팅은 같은 길을 간다.

그리고 그것은 단순한 트래픽 조정이 아니다. 각 라우팅은 조달 결정이다: 어떤 모델이 수행할지, 어떤 공급업체가 서비스를 제공할지, 어떤 가격을 지불할지, 어떤 품질이 통과로 간주될지를 결정한다. 10억 번의 누적 후, 라우팅 측은 모델 소비의 흐름 장부를 갖게 된다.

하지만 라우팅만으로는 부족하다.

간단한 시나리오에서는 라우팅 공급업체를 바꾸는 것이 단순히 기본 URL을 변경하는 것일 수 있다. 라우팅 로직은 복제 가능하고, 클라우드 공급업체는 이를 기업이 이미 구매하고 있는 인프라에 패키징할 수 있으며, 경쟁자도 원가로 모델 가격을 전달할 수 있다. 생산 환경은 그렇게 간단하지 않으며, 규제, 데이터 거주, 캐싱, 관측 가능성, SDK, 청구, 개인 정보 보호 등이 모두 영향을 미친다.

2. 배포 및 통합: 데이터는 통합된 후에만 존재한다

Stripe의 이후 힘은 통로에 있지 않다. 그것은 개발자의 기본 선택이 되었다. 트래픽 배포 자체가 성벽이다.

이 말은 종종 반대로 표현된다: 데이터가 있기 때문에 통합되는 것이 아니라, 먼저 통합되었기 때문에 데이터가 생긴다.

토큰 라우팅 측에서 가장 직접적인 증거는 OpenRouter의 모델 순위표이다. 어떤 모델의 사용량이 증가하고, 어떤 모델이 감소하며, 코딩 관련 작업이 어디로 이동하고, 가격이 변동할 때 사용자가 얼마나 자주 공급업체를 바꾸는지------이는 현재 업계에서 유일한 모델 간, 공급업체 간 공개 사용량 데이터이다.

흥미로운 것은, 이 데이터는 라우팅 자체에는 거의 도움이 되지 않는다. 특정 요청이 더 정확하게 실행되도록 하지는 않는다. 그러나 OpenRouter는 이 시장의 점수판이 되었고, 점수판은 협상력을 가진다.

모델 공급업체는 이 데이터를 만들 수 없다: 그들은 자신의 호출만 볼 수 있으며, 이는 자신만의 장부를 보는 것과 같다. 클라우드 공급업체는 인프라를 볼 수 있지만, 의도는 볼 수 없다.

모델 간 행동의 전체 모습을 볼 수 있는 유일한 위치는 라우팅 계층이다.

그래서 순환이 형성된다: 더 많은 트래픽이 더 나은 관찰을 가져오고, 더 나은 관찰이 라우팅을 개선하며, 더 나은 라우팅이 더 많은 트래픽을 가져온다.

이는 토큰에서 5포인트를 추출하는 것보다 훨씬 흥미롭다.

볼 수 있는 것은 이 계층의 산출물일 뿐이며, 그 자체로는 가치가 없다; 가치 있는 것은 보고 나서 무엇을 할 수 있는지, 무엇을 감당할 수 있는지이다.

3. 스마트 라우팅: 가격 비교에서 보장으로

결제 초기의 라우팅은 매우 기계적이었다. 단순히 돈을 해당 장소로 보내는 것이었다. 이후 생겨난 것들은 더 가치가 있다: 실패 시 자동 재시도, 한 곳에서 거부되면 다음 곳으로 전환, 보고서 필드 반복 조정, 리스크 관리는 실시간으로 차단하며, 동일한 돈을 여러 통로 간에 가격 비교한다. 명목은 다르지만, 하는 일은 동일하다------성공률을 높이는 것이다.

토큰 라우팅은 같은 진화를 겪고 있으며, 단지 난이도와 공간이 더 크다.

달러 결제의 성공은 이분법적이다. 입금되거나 입금되지 않는다.

토큰은 그렇지 않다: 작업이 완료되었는지, 잘 수행되었는지에 대한 판단이 중간에 있다.

바로 이 모호함이 성공률을 높이는 것이 토큰에서 결제보다 더 가치 있게 만든다.

가장 쉽게 잘못된 추론도 여기에서 발생한다------저렴한 모델이 점점 더 유용해지므로, 라우팅은 점점 더 가격 비교 엔진처럼 보인다. 각 요청을 이 작업을 수행할 수 있는 가장 저렴한 모델에 보내는 것이다. 그러나 "가장 저렴한 모델에 보내는 것"은 처음부터 잘못된 것이다. AI 작업은 단순한 추론이 아니다. 그것은 에이전트가 계획하고, 생성하고, 검증하고, 도구를 호출하고, 재시도하고, 오류를 수정하는 것이다. 저렴한 모델이 두 번 실패하는 것은 비싼 모델이 한 번 성공하는 것보다 더 비쌀 수 있다.

따라서 봐야 할 것은 각 토큰의 비용이 아니다. 매번 성공적으로 완료된 비용이다.

추론 비용, 재시도 비용, 도구 호출, 검증, 인력 보완, 지연 및 실패 손실을 모두 합산한 후, 성공한 작업 수로 나누어야 한다. 이 계산이 명확해지면, 라우팅은 더 이상 가격 비교 엔진이 아니다.

하지만 명확히 하는 것은 첫 번째 단계일 뿐이다. 결제 산업이 제공하는 더 확고한 경험은: 성공률을 약속하는 사람에게 실패의 비용이 떨어진다.

게이트웨이가 승인 최적화와 같은 어려운 작업을 맡는 이유는 성공률에 따라 요금을 부과하기 때문이다. 실패 시 고객은 게이트웨이를 찾고, 하부 통로는 아니다. 복잡성과 위험을 감수하는 것은 요금 방식이다. 고객은 "이 일을 해낼 수 있다"는 것에 프리미엄을 지불할 의향이 있으며, 게이트웨이가 받는 것은 이 프리미엄이다. 대가는 실패 시 스스로 감당하는 것이다.

스마트 라우팅이 마지막으로 연결해야 할 것도 이것이다. "가장 저렴한 모델에 요청을 보내는 것"이 아니라, "이 일을 해낼 수 있는가"이다. 저렴한 모델을 선택하는 것은 단지 과정의 부수적 결과일 뿐이다.

이 일은 오직 라우팅 계층에서만 할 수 있다. 프롬프트, 컨텍스트, 매개변수, 추론 디코딩을 게이트웨이 계층으로 옮기는 것은 거의 제품화되지 않았다------이 일들은 오늘날 애플리케이션 계층에 흩어져 있으며, 각자가 한 번씩 작성한다. 그러나 이들은 본래 게이트웨이가 해야 할 일이다. 이를 잘 수행하려면 모델 간, 작업 유형 간의 실패 샘플이 필요하며, 단일 애플리케이션은 이러한 시야를 갖고 있지 않다.

리스크 관리는 동일한 논리의 다른 면이다. 그것은 기본 URL을 변경한다고 해결되지 않는 것 중 하나이며, 가장 중요한 종류이다. Stripe는 자사의 네트워크에서 AI 회사의 약 6분의 1이 다중 계정 차익 거래와 관련이 있다고 말했다; OpenCode의 공동 창립자 Dax Raad는 그들이 한 번에 7,013개의 사기 계정을 삭제했으며, 매달 40만 달러가 소실된다고 추정했다. 단일 모델 공급업체는 자신의 손실만 볼 수 있지만, 라우팅 계층은 동일한 그룹이 얼마나 많은 회사에서 중복 계좌를 개설했는지를 볼 수 있다. Radar는 그렇게 성장했다.

4. 모델 계층이 접근할 수 없는 위치

지난 3년 동안 AI 논의는 어떤 모델이 승리할 것인가에 집중되었다. 라우팅은 이 문제를 중요하지 않게 만들었다.

침투가 깊어짐에 따라, 코딩은 하나의 모델로 수렴하고, 검색은 하나의 모델, 고객 서비스는 하나의 모델, 복잡한 추론은 또 하나의 모델로 나뉘며, 하나의 애플리케이션이 작업을 완료하려면 종종 이들을 차례로 조정해야 한다. 그때 "최고의 모델"이라는 표현 자체가 무의미해진다. 왜냐하면 어떤 작업 유형이 결정권을 갖지 않기 때문이다.

더 중요한 것은 그 추론이다: 어떤 모델 공급업체도 전체 작업을 독점할 수 없다. 작업이 모델 간으로 넘어가면, 조립의 그 층이 자동으로 나타난다. 그것은 누군가에게서 빼앗긴 것이 아니다. 모델 계층이 양보한 것이다.

금융 서비스에서 이 장면은 이미 연출되었다. 은행은 한 덩어리였고, 예금, 대출, 결제, 환전이 동일한 라이센스 아래 묶여 있었다. 지난 20년 동안 핀테크에 의해 하나씩 분리되었고, 다시 조립되었다------라이센스는 여전히 은행에 있지만, 이익은 조립의 그 층으로 갔다.

모델 가중치는 그 라이센스와 같다. 희소하고 비싸지만, 여러 회사가 동시에 접속하면 그저 부품 중 하나일 뿐이다. Sandeep의 말을 빌리자면: 이 단계에 이르면, 모델 라우팅은 더 이상 파이프라인처럼 보이지 않고, 핀테크처럼 보이기 시작한다.

그것이 조립하는 부품------계량, 청구, 리스크 관리, 결제 기한, 정산------본래 핀테크의 부품이다.

5. 왼손은 자산, 오른손은 수익

이 다섯 층을 펼쳐 놓고 Stripe의 제품 카탈로그를 한 번 살펴보면, 토큰에서 달러에서 구축했던 동일한 시스템을 재구성하고 있음을 알 수 있다:

(토큰이 Stripe의 새로운 달러가 될까)

왼쪽 열은 기본적으로 Stripe가 조금씩 구축한 것이고, 오른쪽 열은------Bridge, Privy, Metronome, OpenRouter------모두 인수한 것이다. 동일한 회사, 동일한 형태, 첫 번째는 자가 구축, 두 번째는 전부 구매. 첫 번째 구축할 때는 형태가 존재하지 않아 스스로 모색 해야 했고; 두 번째는 형태가 이미 명확해져서 남은 것은 누가 먼저 자리를 잡느냐이다. 인수한 것은 수익이 아니다. 시간이다.

Stripe는 OpenRouter를 인수하면서 측정기를 산 것이라고 할 수 있다. 측정기에서 자산 부채표까지의 거리는 마지막 칸의 폭이다.

먼저 계좌를 살펴보자. 오늘날의 토큰 잔액은 계좌라고 보기보다는 선불 카드에 가깝다: 선불, 양도 불가, 플랫폼 간 전이 불가, 단일 발행자에 바인딩된다. 그러나 OpenRouter의 잔액은 400개 이상의 모델과 수십 개의 공급업체 간에 사용될 수 있으며, 이미 폐쇄형에서 개방형으로 한 걸음 나아갔다.

선불은 플랫폼이 먼저 현금을 확보하고, 자금을 플랫폼에 남기는 것을 의미한다. 개방형으로 한 걸음 더 나아가면, 선불 결제 도구의 정의선에 도달하게 된다. 이 float를 벌어야 할까? 그것은 라이센스가 해결해야 할 문제이다.

신용을 살펴보자. 선불뿐만 아니라, 후불 신용 기간도 일반적이다. 우리가 접한 사례에서 신용 요율은 매월 1.5%에서 2% 사이, 연간 20%에서 27% 사이로, 신용카드와 같은 수준이다. 이는 신용 기록이 없는 시장에서 마땅히 있어야 할 가격이다. 이자 차이는 가장 먼저 라우팅 계층에서 압축될 것이다. 왜냐하면 그 층만이 누가 얼마나 많은 회사에서 중복 계좌를 개설했는지, 누가 소비 곡선이 안정적인지, 누가 다 털고 도망가는지를 볼 수 있기 때문이다. Stripe Capital은 그렇게 성장했다.

마지막으로 환전이다. 400개 이상의 모델, 입력, 출력, 캐싱이 각각 가격이 책정되며, 가격은 언제든지 변동하고, 각 라우팅은 한 번의 환전이다. 외환처럼 보이지만, 한 가지가 부족하다: 기준 통화가 없다. 어떤 모델의 토큰도 기준이 될 수 없다. 이는 환율 시장이 아니다. 400종 상품의 다자간 물물교환이 통합된 API 인터페이스로 위장된 시장이다.

침체된 자금을 쥐고, 외상 매출금을 걸고 있다. 이것은 개발자 도구의 자산 부채표가 아니다. 이는 결제 회사의 자산 부채표이다.

토큰은 계량되고, 달러는 회계에 기록된다.

여섯, 누가 결과에 가격을 제시하고, 확실성에 비용을 지불하는가

결제는 이 다섯 층을 맞추는 데 20년이 걸렸다. 토큰은 이 20년이 필요 없다.

그래서 오늘 모델 라우팅에 대한 두 가지 인기 있는 질문은 사실 잘못된 질문이다: 하나는 모델 성능이 가격 비교만 남을 정도로 수렴할 것인가, 수렴하면 이익률은 제로에 가까워진다; 다른 하나는 독립 라우팅 업체가 독점 데이터를 충분히 모아 모델 제조업체와 클라우드 플랫폼이 제공하는 라우팅을 이길 수 있을 것인가.

전자는 생명에 관한 질문이고, 후자는 재산에 관한 질문이다.

하지만 진정한 검증 기준은: 언제 라우팅이 "작업을 완료하는 것"에 대해 가격을 제시하고, 토큰 수수료가 아니라 확실성에 비용을 지불하는가.

그 순간 그것은 더 이상 라우팅이 아니다.

원유에는 Platts가 있고, 신용에는 S&P가 있지만, 그들은 자신이 측정하는 그런 것에는 손대지 않는다—Platts는 석유를 생산하지 않고, S&P는 대출을 하지 않는다.

지능형 기관은 아직 존재하지 않지만, 트래픽은 매일 100조 건에 이른다.

이 글은 산업 구조 분석을 위한 것으로, 논의 목적에 사용되며, 어떤 법적 관할권 하에서도 투자 또는 법적 의견을 구성하지 않는다. 각종 규제의 정성은 관련 규제 기관의 최신 설명 및 개별 사례 사실에 따라 다르며; 일부 데이터는 단일 출처에서 제공되며, 기준 차이는 본문에 표시되어 있으며, 구체적인 인용 전에 별도로 확인할 것을 권장한다.