Numerai에서 발표한 True Contribution 신호 평가 방법

作者: Numerai

编译: ChainCatcher

Numerai는 True Contribution이라는 새로운 신호 평가 방법을 발표했습니다. True Contribution은 Numerai를 엔드 투 엔드 인공지능 시스템으로 간주하여 계산됩니다. 신호에 NMR을 스테이킹하는 미분 가능 볼록 최적화 계층을 사용하여 투자 포트폴리오 수익률에 대한 기울기를 계산함으로써, Numerai는 이제 신호를 부각시키고 우리의 헤지펀드에 최대한의 정보 기여를 할 수 있도록 유도할 수 있습니다. Numerai의 성과는 이미 좋았으며(지난 12개월 동안 우리의 샤프 비율*은 2.54), 하지만 True Contribution은 Numerai가 첫 번째 "IV형" 헤지펀드가 될 가능성을 가지고 있습니다.

소련 천체물리학자 니콜라이 카르다셰프가 제안한 카르다셰프 등급은 문명이 사용하는 에너지를 기준으로 기술 발전 문명을 분류하는 방법입니다. I형 문명은 자신의 행성에서 모든 에너지를 활용할 수 있습니다. II형 문명은 자신의 태양계에서 모든 에너지를 활용할 수 있으며, III형 문명은 자신의 은하계에서 모든 에너지를 활용할 수 있습니다.

카르다셰프 척도는 이러한 문명을 창조하는 실제 청사진을 포함하지 않지만, 다양한 유형의 문명에 필요한 기술을 고려하는 사고 실험을 위한 비옥한 토대를 제공합니다. 예를 들어, II형 문명이 되기 위해서는 태양에서 나오는 모든 에너지를 포획할 수 있는 다이슨 구와 같은 것을 발명해야 합니다. III형 문명이 되기 위해서는 은하계를 가로지를 수 있는 자기 복제 로봇 기술이 필요합니다.

그렇다면 헤지펀드에도 카르다셰프 척도가 있을까요? 헤지펀드 내에서 기술 발전의 다양한 수준은 어떤 의미가 있을까요?

우리는 각 헤지펀드가 주식 시장 예측 신호를 거래하고 있다고 생각할 수 있으며, 이러한 신호는 주식의 미래 수익률과 관련이 있어야 합니다. 만약 해당 신호가 미래 수익률을 예측할 수 있다면, 신호에서 가장 적합한 매수 주식은 가장 높은 신호 값을 가지며, 가장 적합한 공매도 주식은 가장 낮은 신호 값을 가질 것입니다. 정량적 헤지펀드의 경우, 그들의 신호는 그들의 수학적 모델에서 직접 나옵니다.

저는 헤지펀드를 다음과 같은 카르다셰프 척도로 제안하고자 합니다. 이는 신호의 품질에 따라 헤지펀드를 평가합니다:

I형 헤지펀드는 거래 비용 이전의 후속 수익을 예측할 수 있는 신호를 가지고 있습니다.

II형 헤지펀드는 거래 비용 이후의 후속 수익을 예측할 수 있는 신호를 가지고 있습니다.

III형 헤지펀드는 세계 최고의 헤지펀드에 유리한 신호 변화를 가져올 수 있는 신호를 가지고 있습니다.

IV형 헤지펀드는 다른 신호가 그 신호를 유리하게 변화시킬 수 없는 매우 좋은 신호를 가지고 있습니다.

I형 헤지펀드는 미래 가격 움직임을 예측할 수 있는 능력을 가지고 있지만, 이러한 예측은 수익을 내지 못합니다. 왜냐하면 시장 영향 비용과 같은 거래 비용이 수익을 상쇄하기 때문입니다. II형 헤지펀드는 비용을 차감한 후에도 수익을 낼 수 있으므로 효율적 시장 가설을 위반합니다.

III형은 상황이 흥미로워지는 곳입니다. 예를 들어, 세계 최고의 헤지펀드를 찾을 수 있다고 가정해 보겠습니다. 우리는 그것이 Renaissance Technologies라고 말합니다. 어떤 평행 우주에서 Two Sigma(또 다른 헤지펀드)의 CEO가 그가 하고 싶은 유일한 일이 Renaissance의 신호를 개선하는 것이라고 결정했다고 가정해 보겠습니다. 그는 Renaissance에 Two Sigma의 최고의 신호, 즉 그들이 가진 최고의 주식 예측을 제공하기로 결정합니다. 그는 Two Sigma의 최고의 신호를 Renaissance가 지금 볼 수 있고 사용할 수 있는 FTP 서버에 업로드합니다. 이제 Renaissance가 그들의 신호가 너무 좋다고 생각하여 Two Sigma의 신호를 사용하여 거래를 유리하게 변화시킬 방법이 없다면, Two Sigma는 III형 헤지펀드가 아닙니다. 그러나 Renaissance가 Two Sigma의 신호를 사용하여 거래를 유리하게 변화시킬 방법이 있다면, Two Sigma는 III형 헤지펀드입니다. Renaissance가 여전히 96%의 동일한 거래를 진행하더라도, 일반적으로 Two Sigma 신호 없이 진행되지만, 4%의 Renaissance 신호를 개선할 수 있는 유리한 거래 변경이 Two Sigma를 III형 헤지펀드로 만들기에 충분합니다.

III형 헤지펀드가 II형 헤지펀드가 되는 것보다 훨씬 더 어렵습니다. II형 헤지펀드는 시장에서 유리한 거래를 하면 되지만, III형 헤지펀드는 이미 생성된 신호에 대해 유리한 거래를 변화시켜야 합니다.

IV형 헤지펀드는 아무도 그 신호를 유리하게 변화시킬 수 없는 신호를 가지고 있습니다. IV형 헤지펀드는 세계 최고의 헤지펀드일 뿐만 아니라, 우주 어디에서도 그 신호를 개선할 수 있는 다른 신호가 없는 헤지펀드입니다. (위의 예에서, 만약 Two Sigma가 Renaissance 거래 변경 하의 III형 헤지펀드라면, Renaissance는 IV형 헤지펀드가 아닙니다.) IV형 헤지펀드는 반드시 완벽한 주식 시장 예측 정확성을 가진 완벽한 신호를 거래해야 하는 것은 아닙니다. 단지 그들이 거래하는 신호가 현재 알려진 모든 신호에 대해 최대의 이익을 가져다 준다는 것을 의미합니다. 그것은 모든 알려진 신호를 완벽하게 통합합니다.

IV형 헤지펀드는 주식 시장의 외계 슈퍼 지능과 같습니다. 이는 DeepMind의 AlphaZero가 바둑을 두는 최고의 버전과 비슷하며, 인간(또는 AlphaZero 또는 AlphaGo의 이전 버전)이 그 게임을 개선하기 위해 어떤 변경을 가해도 개선되지 않습니다.

저는 IV형 헤지펀드가 아직 존재하지 않는다고 생각합니다. 하지만 저는 Numerai라는 새로운 유형의 헤지펀드의 창립자로서, 지난 몇 년 동안 IV형 헤지펀드의 필수 속성이 무엇인지에 대한 사고 실험을 진행해 왔습니다. 그것을 구축할 수 있을까요?

분명히, IV형 헤지펀드는 IV형 헤지펀드가 되지 못하게 하는 새로운 신호를 빠르고 자동으로 수신할 수 있어야 합니다. 만약 IV형 헤지펀드가 있다면, 그것은 최고의 헤지펀드가 될 것이므로, 어떤 III형 헤지펀드의 신호도 IV형 헤지펀드에 의해 흡수되지 않을 수 없습니다. IV형 헤지펀드는 즉시 어떤 III형 신호도 흡수할 수 있어야 하며, 그렇지 않으면 IV형 헤지펀드가 아닙니다. 그렇기 때문에 IV형 헤지펀드는 열린 시스템이어야 하며, 누구나 새로운 신호를 업로드하고 거래를 모든 변경을 할 수 있어야 하며, 이를 통해 수익을 얻을 수 있어야 합니다.

Renaissance, Two Sigma 또는 다른 어떤 헤지펀드도 전통적인 인터넷 및 블록체인 이전의 조직 설계를 가지고 있으며, 이러한 설계는 IV형 헤지펀드를 만들 수 없습니다. 마치 시티은행의 조직 설계가 비트코인을 만들 수 없는 것과 같습니다. IV형 헤지펀드는 정말로 전혀 새로운 것입니다. 그것은 Two Sigma보다 비트코인과 더 비슷하게 보이고 느껴질 수 있습니다.

물론, IV형 헤지펀드의 한 가지 뚜렷한 특성은 모든 III형 신호를 구매할 수 있을 만큼 충분히 부유해야 한다는 것입니다. 만약 Two Sigma가 후보 IV형 헤지펀드의 거래에 대해 유리한 변화를 만들 수 있다면, 해당 IV형 헤지펀드는 Two Sigma가 거래 사업을 완전히 중단하고 그 신호를 IV형 헤지펀드에 판매하도록 유도할 자금이 필요합니다. Two Sigma의 신호를 변경하는 것은 정말로 매우 비쌉니다. 아마도 Renaissance가 정말로 IV형 헤지펀드가 되고 싶어도 IV형 헤지펀드가 되는 비용을 감당할 수 없을 것입니다.

IV형 헤지펀드는 신호를 구매하는 열린 시장이어야 합니다. Numerai는 이미 그런 시스템입니다. 누구나 우리의 무료 혼합 데이터를 사용하거나 자신의 데이터를 사용하여 Numerai 신호에 신호를 제출할 수 있습니다. Numerai는 그렇게 많은 돈이 없지만, 약 1억 5천만 달러의 암호화폐 NMR이 있어 Numerai는 지금까지 세계에서 가장 높은 수익을 올리는 데이터 과학 경연대회가 되었으며, 인터넷에서 주식 시장 신호의 최대 구매자가 되었습니다.

신호를 수신하고 암호화폐를 사용하여 사람들이 새로운 신호를 제출하도록 유도하는 개방적인 방식 덕분에, Numerai는 IV형 헤지펀드가 될 적절한 속성을 가지고 있는 것처럼 보입니다.

하지만 이 주장에서 떨쳐버릴 수 없는 해로운 가정이 있습니다. 이는 사고 실험에서 누락되었지만 실제 현실에서 나타나는 가정입니다. 바로 이것입니다: Numerai는 새로운 신호가 기존의 좋은 신호를 개선할 수 있는지 평가하는 방법을 알게 될 것입니다.

Numerai는 데이터 과학자들이 제출한 수천 개의 신호를 우리가 말하는 메타 모델로 결합해 왔습니다. 따라서 새로운 신호가 주어졌을 때, 우리는 그것을 이미 큰 신호 집합에 포함시킬 수 있는지, 그리고 그 포함이 거래 전략에 유리한 변화를 가져올 수 있는지를 어떻게 알 수 있을까요? 이 신호 평가 문제에 대한 좋은 기술적 해결책이 없다면, 신호가 III형에 해당하는지 여부를 알 수 없으며, 따라서 IV형에 도달할 수 없습니다.

Numerai의 이러한 세월 동안, 우리는 신호 평가에 능숙해지는 방법을 배워야 했습니다. Numerai가 설립된 이후로, 우리는 신호 평가에 많은 개선을 해왔습니다. 예를 들어, 우리는 MMC를 출시하고 데이터 과학자들이 그들의 모델에 NMR을 스테이킹하여 그들의 모델이 샘플 외에서 작동할 수 있다고 믿음을 증명하도록 했습니다. MMC와 스테이킹은 Numerai에서 신호 품질을 향상시켰습니다.

하지만 우리는 신호 평가 문제를 해결한 적이 없습니다. 우리는 우리의 엔드 투 엔드 시스템에서 신호가 기존 메타 모델에 대한 III형 신호인지 여부를 확인할 수 없습니다. 그러나 오늘 우리는 수년간 구축해온 새로운 시스템인 True Contribution을 발표합니다. 이는 신호 평가 문제를 해결합니다.

미래 주식 수익률과 높은 상관관계를 가진 신호가 Numerai의 메타 모델에 가장 도움이 될 것이라는 것은 자연스러운 생각입니다. 그렇기 때문에 Numerai는 수년 동안 데이터 과학자들이 Numerai 목표(잔여 수익과 유사한)와 밀접하게 관련된 신호를 생성하는 성과에 따라 보상을 지급해 왔습니다. 하지만 이는 I형 신호를 유도하며, 신호와 목표 간의 상관관계를 기반으로 한 보상 신호는 해당 신호가 Numerai 최적화 후 투자 포트폴리오 수익에 대한 진정한 기여도를 정확하게 나타내지 않습니다. 사용자와 목표 간의 상관관계를 기반으로 사용자에게 보상을 주는 것은 신호와 다른 신호 간의 상관관계, 그것이 기존 메타 모델과의 상호작용 효과, 또는 Numerai가 메타 모델을 변화시키기 위해 사용하는 수백 개의 투자 포트폴리오 최적화 매개변수 신호를 간과하는 것입니다.

분명히, 우리는 시스템의 모든 세부 사항을 고려하여 신호가 Numerai에 유리한 변화를 가져올 수 있는지를 평가할 수 있는 신호 평가 방법이 필요합니다.

엔드 투 엔드로, 우리는 신호와 해당 신호와 관련된 NMR 주식이 Numerai 최적화기가 구축한 최종 포트폴리오의 각 측면에 어떻게 영향을 미치는지를 그려야 합니다.

위의 그림에서 보시다시피, Numerai는 먼저 데이터 과학자들의 머신러닝 모델이 생성한 신호를 결합합니다. 우리는 각 신호의 주식 가중 평균을 계산하여 주식 가중 메타 모델을 생성합니다. 모델에 많은 NMR을 투자한 데이터 과학자는 스테이크 가중 메타 모델에서 더 큰 비중을 가집니다.

주식 가중 메타 모델은 여전히 약 5000개의 글로벌 주식에 대한 예측 신호일 뿐입니다. 이는 여전히 수백 개의 위험 제약(예: 시장, 국가 및 부문 위험 중화)을 가진 현실적인 포트폴리오로 변환되어야 하며, 이는 최적화 단계에서 수행됩니다. 최적화기가 모든 위험 제약을 충족하는 현실적인 가정 포트폴리오를 생성하면, Numerai는 포트폴리오의 후속 수익을 관찰할 수 있습니다.

신호를 올바르게 평가하기 위해서는 신호가 위의 전체 시스템에 미치는 영향을 고려해야 합니다. 신호에서 주식 가중 메타 모델로, 그리고 최적화된 포트폴리오의 수익으로 이어지는 것입니다. 이것이 진정한 기여가 하는 일입니다.

간단히 말해, 진정한 기여는 다음 질문에 대한 답변입니다: 데이터 과학자가 그들의 모델에 더 많은 것을 투자하면(따라서 주식 가중 메타 모델에서 그들의 비중을 증가시킴), 최적화된 포트폴리오 수익은 어떻게 변화할까요?

정량적 금융 분야의 사람들에게, 진정한 기여는 복잡한 신호 귀속으로 볼 수 있습니다.

머신러닝 분야의 사람들에게, 위의 Numerai 작동 방식에 대한 도표는 신경망 아키텍처를 떠올리게 할 수 있습니다. 그리고 만약 여러분이 신경망을 구축한 적이 있다면, 주식에 대한 최적화된 포트폴리오 수익의 기울기를 계산할 수 있는 가능성이 있는지 궁금할 것입니다. 이것이 진정한 기여입니다.

하지만 포트폴리오 최적화 계층을 통해 기울기를 어떻게 계산할 수 있을까요?

사실, 이는 스탠포드 대학교의 Stephen Boyd, Facebook AI의 Brandon Amos 등이 개발한 새로운 기술을 사용하여 가능합니다(그들의 논문 참조: 미분 가능 볼록 최적화 계층).

cvxpylayers를 사용하여, 우리는 cvxpy로 정의된 볼록 포트폴리오 최적화를 PyTorch 모델의 한 계층으로 사용할 수 있습니다. 이를 통해 우리는 주식 가치에 대한 최적화된 포트폴리오 수익의 기울기를 효과적으로 계산하고, Numerai에 제출된 각 신호의 진정한 기여를 결정할 수 있습니다.

진정한 기여 포트폴리오 구축에서, 주식 규모, 모델의 독창성 및 신호 강도는 정확한 비율로 고려되며, 이러한 비율은 Numerai가 실제 거래하는 현실적인 포트폴리오에서 수익을 발생시키는 데 매우 중요합니다.

원래 신호는 Numerai가 우리가 원래 가지고 있던 거래와는 다른, 더 유리한 거래를 수행하는 데 도움을 줄 수 있으며, 이제는 가장 높은 NMR 보상을 받을 수 있으므로 주식 가중 메타 모델에서 점점 더 큰 비중을 차지하게 됩니다. 이러한 보상 피드백은 Numerai의 모든 데이터 과학자에게도 중요합니다. 왜냐하면 그들은 이제 자신의 모델을 개선하여 자신의 진정한 기여를 극대화할 수 있기 때문입니다.

진정한 기여를 통해, Numerai는 신호 생성 및 제출을 지속적으로 유도하는 피드백 루프를 생성하고 있으며, 이를 통해 우리의 헤지펀드에 유리한 변화를 가져오고 모든 다른 신호를 억제하고 있습니다. Numerai의 각 라운드는 Numerai 전체 제어론 시스템의 또 다른 역전파가 될 것입니다. 피드백과 오류 수정은 분산 AI 모델 계층, 블록체인 스테이킹 계층, 메타 모델 및 볼록 최적화를 통해 전파됩니다. 다시 말해, Numerai의 각 라운드마다 우리는 IV형 헤지펀드가 되는 방향으로 한 걸음 더 나아가고 있습니다.

진정한 기여에 대한 스테이킹은 4월 9일에 시작되지만, 그동안 우리는 지난 약 2년 동안 Numerai의 모든 사용자에게 진정한 기여를 되돌려주었습니다.

결과는 진정한 기여가 Numerai의 새로운 신호 평가 지표로서 큰 잠재력을 가지고 있음을 보여줍니다.

예를 들어, 많은 데이터 과학자(예: LANCEALOT)가 매우 높은 진정한 기여 순위를 가지고 있지만, 다른 지표(예: 목표와의 상관관계)에서는 순위가 훨씬 낮습니다. 분명히, 적어도 최근 한동안 LANCEALOT는 Numerai에 가장 큰 도움을 주는 모델을 가지고 있었지만, 그들의 기여는 적절하게 보상받지 못했습니다.

HB는 NASA 제트 추진 연구소의 엔지니어로, Europa Clipper 임무에 참여하고 있으며, 오랜 기간 동안 Numerai 데이터 과학자입니다. HB는 Numerai에 여러 모델을 제출했지만, 그가 가장 많이 투자한 NMR 모델(765 NMR, 가치 22,000 달러)의 진정한 기여는 그의 다른 모델보다 훨씬 낮습니다. 진정한 기여 측면에서, 그의 일부 최고의 모델은 전혀 주식이 없으며, 이는 이러한 우수한 모델이 메타 모델에서의 비중이 0이라는 것을 의미하며, 전혀 보상을 받지 못했습니다.

진정한 기여에 대한 스테이킹을 시작할 수 있는 능력이 생기면서, 데이터 과학자들은 이제 가장 높은 예상 진정한 기여를 가진 모델로 그들의 스테이킹을 이전하기 시작할 것입니다. 이 동적 시스템에서, HB와 LANCEALOT와 같은 데이터 과학자들이 더 많은 진정한 기여를 얻기 위해 그들의 주식을 조정함에 따라, Numerai의 주식 가중 메타 모델이 더 똑똑해지지 않을 이유가 없습니다.

물론, 우리는 IV형에 도달할 수 있을지 알 수 없습니다. 하지만, 우리가 IV형이 되는 길을 걷게 된다면, 여러분은 어떤 것을 보고 싶으신가요? 저는 시간이 지남에 따라 위험 조정 성과가 증가하고 자산 관리 규모가 증가하는 것을 찾는 것이 핵심이라고 생각합니다.

시간이 지남에 따라, 헤지펀드는 종종 더 나빠지는 경향이 있습니다. 얼마나 슬픈 일인가요. 이러한 일이 발생하는 이유는 신호 감소(시장 효율성이 높아짐에 따라 헤지펀드가 시작할 때의 거래 신호가 시간이 지남에 따라 나빠짐)와 용량 제한(1000만 달러에서 잘 작동하던 거래 전략이 1억 달러에서는 전혀 작동하지 않음) 때문입니다.

하지만 지금까지 Numerai는 시간이 지남에 따라 나빠지지 않고------오히려 더 나아지고 있으며, 이는 매우 좋은 신호입니다.

그림에서 이 기간 동안, Numerai의 헤지펀드 AUM은 거의 10배 증가하여 약 700만 달러에서 6400만 달러로 증가했습니다(여전히 초기 단계입니다). 시간이 지남에 따라 우리의 신호 감소와 자산 관리 규모의 증가는 성과에 해를 끼칠 것으로 예상되지만, 우리의 위험 조정 수익률(샤프 비율)은 시간이 지남에 따라 계속 증가하고 있습니다. 이는 같은 기간 동안 Numerai의 메타 모델에서 스테이킹 모델이 300개에서 4000개 이상으로 증가했기 때문입니다. Numerai는 신호 감소가 없으며, 지속적인 신호 회복이 있습니다------메타 모델은 매주 최신 신호로 재구성됩니다.

Numerai 사용자들이 그들의 모델에 대한 올바른 피드백을 받지 못하는 상황에서, 즉 진정한 기여가 없는 상황에서……

AI가 생성한 표지 아트에 대해 Midjourney의 천재들에게 감사드립니다. (여기서의 프롬프트는: "월스트리트의 보라색 제어론 다이슨 구")

*샤프 비율의 계산은 비용을 차감한 총 수익을 기준으로 하며, 무위험 이자율이 0%라고 가정합니다.

제공된 샤프 비율 정보는 과거 정보이며, 미래 성과에 대한 지침이 아닙니다. 투자자는 투자 손실이 발생할 수 있음을 인식해야 합니다. 이는 어떤 투자자가 표시된 것과 유사한 수익이나 손실을 실현할 것이라는 것을 나타내지 않습니다.