Anthropic: 많은 내부 제품이 출시되지 않았습니다

핵심 관점

01 연구 주도형 전략 리듬: 월간 계획과 6~12개월의 가정

빠르게 변화하는 산업에 직면하여 제품 팀에 큰 도움이 되는 점은 Anthropic의 연구 조직도 중장기적인 전략적 사고를 갖추고 있다는 것입니다. 다이앤 나 펜은 회사의 연구 사명과 북극성 목표가 장기적인 시각을 가지고 있으며, 팀이 "오늘 X, Y, Z와 같은 기능을 발표했으니 내일 반드시 따라야 한다"는 단기 대응 순환에 빠지지 않도록 하는 유익한 끌림을 형성한다고 소개했습니다.

구체적인 계획 방식에 있어 팀은 월 단위로 목표를 설정하고, 이는 향후 6~12개월 산업 동향에 대한 고차원적 판단에 기반합니다. 다이앤 나 펜은 팀이 3개월을 들여 2주 후에 무효가 될 연간 계획을 세우지 않을 것이라고 말했습니다. 초기에는 모든 사람이 동일한 OKR에 맞추도록 요구하는 완전한 OKR 프로세스를 시도했지만, 사용량과 채택률에 대한 가정이 심각하게 낮게 증명되면서 이러한 OKR은 곧 잊혀졌습니다.

이상적인 작업 방식은: 먼저 3~6개월 차원에서 핵심 가정을 설정한 후, 이를 매월로 분해하여 시장에 민첩하게 대응하면서 장기 목표를 향해 매월 계획을 추진하는 것입니다. 생명 과학 분야의 예를 들면, 다리오 등은 AI가 생명 과학 기관이 질병을 정복하는 데 큰 역할을 할 것이라고 자주 언급하는데, 이는 단기 프로젝트가 아니지만 구체적인 행동으로 전환해야 합니다. 예를 들어 매월 어떤 모델 훈련이나 제품 투자 테스트를 수행해야 하는지, 과학자와 연구원이 이러한 모델에 접근할 수 있도록 어떻게 보장할 것인지, 초기 시장 동향에 대한 대응을 어떻게 조화시킬 것인지 등이 있습니다.

02 제품 육성: 기초 탐색 주도 및 하지 않을 것들

Claude Code의 탄생은 Anthropic 제품 개발 방식을 이해하는 샘플입니다. 다이앤 나 펜은 제품 개발이 기초 탐색 주도에 더 가깝다고 생각하며, 이 기술과 생태계에는 무수한 일반화 가능성이 존재합니다. Claude Code가 등장하기 훨씬 이전에 API 고객들은 모델을 사용하여 코드 자동 완성을 수행했으며, 코드를 작성하는 것은 어느 날 갑자기 에이전트 속성을 갖게 된 것이 아니라 내부 및 외부 인력의 지속적인 시행착오를 거친 다양한 단계의 결과입니다. 명령어 행 단말기와 같은 상호작용 패러다임과 모델이 더 많은 에이전트 루프를 실행할 수 있도록 허용하는 제품 경험의 Harness가 결합되어 진정한 화학 반응을 일으켰습니다.

우선순위 판단은 팀이 고수하는 핵심 주제와 현재 기술 스택이 경험이나 효과 측면에서 실행 가능한지, 사용자가 충분한 놀라움을 느끼는지를 신속하게 검증할 수 있는지에 크게 의존합니다. 현재의 전략은 To B 및 기업 시장에 더 집중하고 있으며, 이는 빠르게 변화하는 소비자 시장에 비해 기업 측의 수요가 더 안정적이기 때문입니다.

무엇을 하지 않을 것인지도 중요합니다. 팀은 미세 조정 API 제공 여부에 대해 격렬한 논의를 했으며, 이로 인해 형성된 제품 아이디어는 핵심 모델의 반복이 너무 빠르기 때문에 기업 팀이 스스로 후속 훈련, 최적화 및 배포 방법을 모색할 때 이미 2~3세대 뒤처지게 되어 결국 다시 시작해야 한다는 것입니다. 다이앤 나 펜은 이것이 회사, 사용자 및 고객에게 현명한 투자인지 반문했습니다. "3개월 또는 6개월 후에 어떤 변화가 있을 것인가"라는 질문을 지속적으로 던지는 것은 팀이 어떤 제품이 시장에 나갈 가치가 있는지를 명확히 하는 데 도움이 됩니다. 많은 내부 개발 프로토타입은 최종적으로 외부에 발표되지 않았으며, 그 이유는 주된 목적이 창의성을 자극하거나 기술 검증을 수행하는 것이기 때문입니다.

03 연구 우선순위와 사용자 피드백: 제품 관리자가 연구 팀과 협력하는 방법

연구원들은 단순히 현재의 사용자만을 바라보지 않습니다. 다이앤 나 펜은 최전선 AI 실험실의 연구원들이 단기적인 기존 사용자만을 고려하지 않으며, 많은 경우 아직 나타나지 않은 사용자 집단과 기술의 2차 영향을 바라본다고 지적했습니다. 팀 내부에서 현재의 사용자 기반뿐만 아니라 미래의 사용자 생태계에도 서비스를 제공해야 한다는 합의가 이루어지면 많은 문제가 쉽게 해결됩니다.

예를 들어, 제품 팀이 "왜 Claude가 JSON 또는 Schema 형식으로 출력할 때 더 잘할 수 없는가"라는 질문을 제기하면, 이는 연구원이 컴퓨터 제어 또는 최적화 추론 능력을 개발하는 작업을 중단해야 함을 의미할 수 있습니다. 이는 전통적인 PM 로드맵처럼 순차적으로 기존 경험을 개선할 수 있는 것이 아니라, 더 장기적인 기술 베팅과 현재 훈련 투자 간의 균형을 맞춰야 합니다. 문제를 평가할 때는 모델의 지능이 자연스럽게 진화함에 따라 자동으로 하락하거나 더 이상 P0 수준이 아닐 가능성도 고려해야 하며, 다이앤 나 펜은 이것이 완벽한 경로를 계획하는 PM에게는 실망스러운 답변이라고 인정했습니다.

기억 기능의 예를 들면, 두 년 전 팀은 "Claude가 기억 기능을 잘 발휘하지 못한다"는 광범위한 피드백을 자주 받았으며, 지금도 여전히 듣고 있지만 그 뒤에 있는 기술적 복잡성은 비교할 수 없을 정도로 달라졌습니다. 만약 기억 성능이 저조하여 사용자 이탈로 이어진다면, 팀은 가만히 있지 않을 것이며, 제품 관점에서 다른 접근 방식을 모색할 수 있습니다. 예를 들어 적절한 사용 시나리오를 제한하여 새로운 세대 모델의 능력 향상을 기다리는 동안 사용자에게 여전히 괜찮은 경험을 제공할 수 있습니다. 요약하자면 세 가지입니다: 다양한 생애 주기의 사용자를 고려해야 한다; 성숙한 기술을 기반으로 한 제품 개발과 비교할 때 이러한 불확실한 개발이 때때로 실망스러울 수 있음을 인정해야 한다; 가장 중요한 것은 인지 모델을 구축하고 궁극적인 목표와 자신이 통제할 수 있는 수단을 명확히 해야 하며, 근본 연구를 수정하는 것이 항상 유일하고 최적의 해결책이라는 신념을 가져서는 안 됩니다.

결정은 주로 논의에 의존합니다. Claude의 각 새로운 버전을 훈련하는 동안 팀은 연구 책임자들과 정기적인 스탠드업 회의를 열어 훈련 진행 상황을 추적하고 조정이 필요한 사항과 확신이 있는 사항을 논의합니다. 제품 관리자의 가치는 특정 문제가 왜 P0인지 설명하는 데 있으며, 이는 사용자에게 큰 영향을 미치고 해결하지 않으면 예상 결과를 전달할 수 없기 때문입니다. 반대로, 극소수의 사용자들만 불만을 제기하거나 관련 기능 사용 빈도가 줄어들고 있다면 P2로 판단되어 대체 경로를 설계할 수 있습니다. 다이앤 나 펜은 PM이 연구 팀에게 특정 훈련 매개변수를 수정하라고 요구할 권한이 없다고 강조했습니다. 마치 엔지니어 팀이 지시대로 한 줄씩 코드를 작성하라는 요구를 받아들이지 않을 것처럼, PM은 문제로 인해 사용자에게 어떤 충격이 발생하는지를 명확히 설명하고 함께 해결책을 찾아야 하며, 만약 프롬프트 등의 방법으로 완화할 수 없다면 최종적으로 모델 훈련 조정으로 이어져야 합니다.

04 내부 인재 문화와 육성 시스템

채용 시, 배경의 다양성이 팀의 공통점입니다. 많은 제품 관리자들의 경력 경로는 동일한 회사에서 순차적으로 승진하는 것이 아니라, 오히려 교차 탐색의 형태를 띠며, 이는 그들에게 매우 강한 적응 능력을 부여합니다. 기술이 빠르게 변화함에 따라 과거의 가정이 언제든지 깨질 수 있습니다. 그 중 한 부류는 새로운 것을 빠르게 습득하는 데 능숙하거나 초기 스타트업에서 1호 제품 관리자로 일한 경험이 있는 사람들입니다. 다이앤 나 펜은 이러한 이력이 매우 경쟁력이 있다고 생각하며, 첫 번째 제품 관리자는 종종 고객 성공, IT 운영, 심지어 비즈니스 개발을 겸해야 하므로 이러한 다재다능함이 팀의 요구와 잘 맞아떨어집니다. 팀은 또한 이전 연구원이나 한 회사에서 오랫동안 근무하며 제품과 작업 흐름에 대한 고정 관념을 깨고 싶어하는 직원들을 채용한 경험이 있습니다.

입사 후에도 기준은 낮지 않습니다. 팀에 합류한다고 해서 첫날부터 쉽게 본업으로 돌아갈 수 있는 것은 아닙니다. 다이앤 나 펜은 신입 직원 입사 계획에서 처음 두 달이 경력에서 가장 힘든 시기가 되어야 한다고 명확히 밝혔습니다. 만약 고통을 느낀다면 이는 올바른 상태라는 것을 의미하며, 그 이유는 리듬이 매우 빠르기 때문입니다. 단기 목표와 빠르게 변화하는 중장기 계획 간의 균형을 찾아야 하며, 책임지는 비즈니스 라인에 대한 제품 계획, 전략 로드맵을 수립하고 결과를 전달해야 합니다.

팀은 의도적으로 매우 도전적인 초기 적응 과제를 배정합니다. 빠르게 적응하는 사람들은 곧 발전의 빠른 길로 들어서고, "너무 어렵다"며 여러 가지 이유로 하지 못하는 사람들은 점점 더 힘들어지며, 입사 1~2개월 내에 기본적으로 잠재력을 파악할 수 있습니다. 궁극적으로 성장형 사고가 시험대에 오릅니다.

어려움을 느끼는 사람들이 주로 어디에서 막히는지에 대해 질문했을 때, 다이앤 나 펜은 특히 대기업 출신의 제품 관리자들이 엄격한 위계적 작업 방식에 익숙하다고 지적했습니다. 부사장이 지시를 내리면 실행 체계가 맹목적으로 따르며, 누군가가 이 지시가 여전히 현재의 올바른 선택인지 의문을 제기하는 경우는 드뭅니다. 이는 연구 개발 방식과 가장 가까운 학계와는 전혀 다릅니다. 학계에서는 1학년 박사생조차도 지도교수를 의심할 수 있습니다.

Anthropic에서는 직원들이 고정된 계층 관념을 깨고, 수석 과학자 제레드에게 의견을 표현할 용기를 가져야 합니다. 예를 들어, 그가 특정 기술에 대한 글을 읽고 몇 가지 전제 가정을 간과했음을 지적하고, 조정 후 사용자에게 더 가치 있는 방안을 제안하는 것입니다. 이는 초기부터 목소리를 내고 논의에 참여해야 하며, 고위 경영진이 모든 것을 충분히 고려했다고 가정해서는 안 됩니다. 표현은 호기심과 상호 신뢰를 바탕으로 해야 하며, 단순히 다른 사람을 잘못했다고 비난하는 것이 아니라 세부적인 논증을 제시해야 합니다. 팀이 원하는 것은 깊이 있는 논의에 참여하고, 새로운 관점을 보충하며, 기존의 기초 위에서 반복하고 실현할 수 있는 사람입니다. 모두가 처음 제시하는 아이디어는 아마도 2~3년 전 고려되었지만 보류된 것일 수 있으며, 누군가가 기꺼이 노력하여 기존 가정을 의문시하고 독창적인 통찰을 제시한다면 종종 큰 성공을 거둘 수 있습니다.

이러한 풍토의 근원은 다이앤 나 펜이 모델 반복의 빈번함과 관련이 있다고 생각하지만, 궁극적으로는 기업 문화에서 비롯됩니다. 회사는 연구 실험실에서 시작되었으며, 많은 공동 창립자들이 제1원칙을 극도로 존중합니다. 이 기술이 오늘날의 돌파구를 이룰 수 있었던 것은 과거의 가정에 얽매이지 않고, 가정을 의심하고 직접 실험을 통해 검증하는 것이 최상급 연구자들 간의 가장 핵심적인 운영 논리이기 때문입니다. 내부 소통은 극도로 투명하며, 대부분의 채널이 완전히 공개되어 있습니다. 누군가가 제품 세부 사항에 대해 논의할 때, 당신이 주목하지 못한 사람이 정중하게 끼어들어 다른 방안을 고려해 보았는지 물어볼 수 있습니다. 팀은 서로를 긍정하고, 끊임없이 사고를 확장하는 협업을 중시합니다.

성공적인 제품 관리자에 대해 한 가지 더 중요한 점은 이 기술에 대한 거의 광적인 집착입니다: 입사하자마자 프로토타입 단계에서 자사 제품 기능을 깊이 사용해 보거나 최신 모델을 반복적으로 테스트하고 평가 결과를 공개적으로 공유하여, 입으로만 최적화 방법을 증명하는 것이 아니라 실제 행동으로 보여주는 것입니다. 구석에 숨어 요구 문서를 작성하는 것보다 모델과 제품의 실행을 적극적으로 추진하는 것이 최고의 제품 관리자가 두드러지는 상징입니다.

많은 초급 제품 관리자들이 대외 환경이 좋지 않고 좋은 직책이 적다고 불평하지만, 다이앤 나 펜의 관찰은 정반대입니다: 팀 내 경력이 짧은 제품 관리자들이 매우 높은 작업 효율성과 무한한 잠재력을 보여주는데, 그 이유는 고정된 조직 구조의 제약에서 벗어나기 위해 애쓸 필요가 없기 때문입니다. 여기서는 다른 사람이 지시하기를 기다리거나 상사가 요구 문서에 서명하기를 기다릴 필요 없이, 의욕이 넘치고 주도적인 사람들은 "이 모듈은 내가 책임지므로 반드시 실행해야 한다"고 생각하며, 고객과 소통하고 연구원과 연결하는 데 적극적으로 나섭니다. 상대방이 연구 책임자가 아니더라도 말입니다.

대기업 배경을 가진 제품 관리자와 비교할 때, 이들은 각 팀을 조정하고 단계별로 절차를 밟는 과정을 거칠 필요가 없어 가벼운 마음으로 임할 수 있어 매우 효율적입니다. 그러나 이것이 중고급 경력의 제품 관리자가 이러한 특성을 갖추지 못한다는 것을 의미하지는 않습니다. 팀 내에는 창업 경험이 있는 전직 선임 제품 관리자와 내부에서 어려운 프로젝트를 극복하며 진정한 경쟁을 통해 성공한 사람들이 있습니다.

다이앤 나 펜은 핵심은 대규모 조직의 관성과 저항을 극복해야 하는 일을 성사시킨 경험이 있는지 여부라고 생각합니다. 끝까지 밀어붙이는 끈기와 반드시 목표를 달성하겠다는 태도는 다른 어떤 특성보다도 더 강력한 영향을 미치며, 이는 항상 호기심을 유지하고 답을 찾기 위해 최선을 다하며, 미지의 문제에 직면했을 때 스스로 동기를 부여하는 것을 의미합니다. 수동적으로 기다리는 것이 아닙니다.

교육 측면에서 팀의 출발점은 제품 관리의 정의입니다. 다이앤 나 펜은 새로운 기술의 초기 상태로 돌아가야 하며, 기계적으로 직무를 규정하는 것이 아니라, 가장 핵심적인 원칙은 여전히 사용자 중심이어야 하며, 어떻게 복리 효과를 갖춘 방식으로 사용자에게 가치를 창출할 것인지에 대한 것입니다. 다른 실행 동작은 여기에서 파생됩니다. 아마도 1년 후 모델 평가를 작성하는 것이 사용자 성과를 정의하는 최선의 형태가 아닐 수도 있고, 모든 사람이 직접 코드를 작성하여 프로토타입을 만들어야 할 수도 있지만, 북극성 목표는 변하지 않습니다.

입사 과정은 극도로 압박감이 큽니다: 신입 사원은 처음 두세 주 안에 사용자 조사를 완료하고 모델 평가를 작성하며 제품 로드맵을 수립해야 합니다. 종종 두 주 더 연장할 수 있는지 묻는 경우가 있지만, 이는 실행력을 끌어내기 위해서이며, 그들이 회사의 리듬에 맞춰 실전 상태에 들어가도록 하기 위한 것입니다. 실제로 매우 효과적입니다. 동시에 신입 사원은 가장 우선 순위가 높은 핵심 비즈니스 라인에 직접 배치되며, 팀은 소규모를 유지하여 각자가 두세 가지 방향을 동시에 맡도록 하여 부서 간 소통과 아이디어 충돌, 빠른 학습을 촉진하고, 강한 납품 긴박감을 가져옵니다.

팀은 매년 훈련 캠프를 개최하며, 핵심은 지수 성장에 대응할 수 있는 제품을 만드는 방법을 공유하는 것입니다. 즉, 모델의 기본 능력이 향상됨에 따라 제품 가치도 지수적으로 폭발할 것입니다. 내용에는 클로드 최적화, 고품질 프롬프트 작성 및 모델 평가가 포함되며, 강의 녹화 후 모든 신입 사원의 필수 과목이 됩니다. 이 이니셔티브는 2024년에 시작되었으며, 당시 팀은 네다섯 명뿐이었고, 일상 업무는 점점 연구형 PM처럼 변해가고 있었습니다. 예를 들어, 사용자 권한의 피드백 데이터를 읽고 평가를 작성하는 것이었습니다. 제품 기능에 큰 도움이 되므로 더 많은 사람들이 이를 이해할 수 있도록 하고자, 작업 단계, 주요 지표 및 가치가 낮은 부분을 기록했습니다. 처음에는 연구형 제품 팀 외의 PM을 대상으로 했으나, 현재는 앤트로픽 전 직원에게 개방되었습니다.

훈련 캠프는 또한 열린 질문 및 답변 플랫폼을 구축하는 기회입니다. 다이앤 나 펜은 PM이 단순히 모델의 반복을 기다릴 필요가 없으며, 프롬프트를 수정하여 원하는 결과를 얻을 수 있다고 강조합니다. 현장 시연은 문턱을 낮추고 기술의 신비감을 깨뜨렸으며, 심지어 영업 팀도 참여한 후 "이게 평가구나, 이게 프롬프트구나, 나도 할 수 있겠네"라고 감탄했습니다. 이러한 방법은 완전히 복제 가능하며 대규모로 확산될 수 있으며, 어떤 회사든 할 수 있습니다.

멘토링 제도 측면에서 신입 사원은 팀의 선임 직원과 1:1로 교육을 받으며, 클로드 태그와 같은 내부 도구를 활용하여 입사를 지원받습니다. 신입 사원은 종종 지난 두 달간의 그룹 채팅 기록을 살펴보라는 조언을 받습니다. 회사에 합류하는 것은 마치 한창 진행 중인 대화에 중간에 합류하는 것과 같기 때문에, 가장 효율적인 방법은 먼저 충분한 준비를 한 후 비즈니스 배경에 대한 자신의 이해를 표현하고 의견을 구하며 적극적으로 통합하는 것입니다. 회사가 지식을 입에 넣어주기를 기다리는 것이 아닙니다.

05 전선 배치 엔지니어: 깊이와 넓이의 선택

제품 관리자가 1선에 깊이 들어가 고객 상황에 내재해야 하는지에 대해 앤트로픽은 전선 배치 엔지니어와 전담 전선 배치 팀을 배치하여 기업 고객이 플랫폼이나 애플리케이션에서 대규모로 실행될 수 있도록 지원합니다. 다이앤 나 펜은 이러한 1선에서 깊이 있는 기술이 필수적이라고 동의하지만, 현실의 모순은 한쪽에 너무 깊이 파고들면 다른 쪽에서 반드시 타협해야 한다는 것입니다. 이로 인해 종종 갈등을 느끼게 됩니다: 매번 연구 모델의 반복을 따라가고 싶으면서도 각 고객의 피드백을 듣고 싶지만, 현재의 규모에서는 모든 고객의 전화 회의에 참여할 수 없습니다.

핵심 문제는 비즈니스 전선의 깊은 통찰이 어떻게 효과적으로 위로 피드백되고, 담당 제품에 반영될 수 있는가입니다. 팀은 API 고객과 새로운 모델 기능을 시험해 보는 고객으로부터 직접 피드백을 수집하지만, 에너지와 생산성이 완전히 전담하는 전선 배치를 허용하지 않기 때문에, 1선 비즈니스 팀과 긴밀히 협력하여 그들의 통찰을 보완적인 검증으로 삼습니다. 현재의 모델은 각 PM이 고객 전선에 뿌리를 내리고 최고 연구 팀과 일치해야 한다고 요구하기보다는, 전체적인 비즈니스 맥락 공유에 더 중점을 두고 있습니다. 양쪽 모두에서 깊은 전문성을 갖추는 것은 매우 어렵습니다.

효과적인 경험 중 하나는 팀이 나중에 내부 응용형 및 전선 배치 엔지니어 팀에서 일부 인원을 선발하여 PM으로 전환했으며, 그들의 성과는 놀라웠습니다: 그들은 깊은 비즈니스 감각을 가지고 있으며, 하네스의 원리, 사용자 측의 응용 아키텍처 및 사용 동기를 깊이 이해하고, 1선의 목소리를 연구 팀에 원활하게 전달할 수 있습니다. 다이앤 나 펜은 2023년 클로드.ai가 처음 출시되었을 때, 유일한 내부 테스트 제품이었으며, 시스템 프롬프트를 오랜 시간 동안 직접 작성했으며, 이후에 새로 합류한 PM에게 넘겼다고 회상합니다. 이는 사실상 전선 배치 엔지니어의 일상입니다. 기술의 깊이를 추상적으로 논의하는 것은 종종 공허하며, 이를 실현하기 위해 가장 확실한 방법은 아마도 전선 배치 엔지니어가 되어 고객의 목소리를 직접 듣는 것일 수 있으며, 이는 PM의 직업 경로를 재구성하는 하나의 답이 될 수 있습니다.

위험 경고