엔지니어 출신의 프로그램 관리자 데이빗 라가데르는 크리테오의 엔지니어링 팀 중 3개 팀의 수장으로 Criteo AI Lab 최대의 프로젝트들을 성공으로 이끌고 있습니다. 15년간 재무 분야에서 경력을 쌓은 데이빗은 약 10년 전 광고 기술 분야로 전향한 후 쉴 새 없이 달려왔습니다.
이번 주에는 데이빗과 함께 재무와 광고 기술은 어떤 공통점이 있으며, 그와 팀원들이 Criteo AI Lab에서 어떤 도전과제에 직면하고 있고 또 왜 모든 것이 그렇게 흥미로운지 알아보도록 하겠습니다.
먼저 간단하게 자기 소개를 해주시고 어떻게 크리테오에 입사하게 되었는지 말씀해주시겠어요?
저는 컴퓨터 과학 석사 학위를 받은 후 금융 기관에서 R&D 엔지니어로 직장 생활을 시작했습니다. 금융 시장은 빠르게 변화하기 때문에, 실시간으로 정확하게 금융 상품의 가격을 책정할 필요가 있었어요. 기술적, 비즈니스적 도전과제가 대단히 매력적이라서 15년 동안 업계에 머물면서 개별적인 기여자의 역할에서 개발 리더로 이동하게 되었습니다. 비즈니스 분야에서 역량을 강화하기 위해 재무 엔지니어링 석사 학위를 받기도 했습니다.
400;”>그러다 약 10년 전에, 프로그래매틱 광고에 대해 알게 되었습니다. 기술적인 측면에서 보면, 제가 금융분야에서 즐겁게 처리해왔던 문제들과 비슷한 듯 보였지만, 프로그래매틱 광고는 모든 것이 아직 구체적으로 자리를 잡지 않은 상태였습니다. 즉각적으로 시작한 것이 아니라 이 분야에 좀 더 익숙해지고
엔지니어로서 처음 십 년 동안을 금융 분야에서 몸담으셨는데요. 광고 기술과 금융 분야는 어떤 차이가 있나요?
비즈니스의 관점에서 얼핏 보면 확실하게 두드러지지는 않지만, 기술적인 측면에서 보면, 금융업계와 디지털 광고의 세계는 많은 공통점이 존재합니다.
일례로, 금융 기관의 매매 데스크는 수년 동안 프로그래매틱한 방식으로 다양한 자산을 매매해왔습니다. 이러한 환경에서는 금융 기관이 개발한 알고리즘이 실시간으로 시장 업데이트 흐름들을 처리하고 순식간에 매도나 매수 결정을 내리죠.
마찬가지로, 디지털 광고의 세계에서도, 사용자가 게시자의 웹페이지를 둘러볼 때, 이 페이지의 광고가 크리테오 같은 구매자들에게 경매가 됩니다. 이 경우 구매자의 알고리즘이 해당 광고 위치를 구매할 것인지 또 어떤 광고를 표시할 것인지를 결정하죠. 이 모든 것은 실시간으로 이루어집니다. 크리테오는 머신 러닝 모델을 통해 매초마다 수백만 건의 경매를 처리해 특정 사용자에게 최고의 광고를 표시합니다.
모델링은 금융업계와 광고 기술업계에 공통적인 핵심 구성 요소입니다.두 업계 모두 과거의 데이터에 기반해 특정 미래 시점의 이벤트나 양을 가장 잘 예측하는 역량이 대단히 중요하고, 이를 구현하는데 대규모의 고가용성 클러스터 컴퓨팅이 필요하죠. 크리테오가 처음부터 다르게 해온 점은 방대한 양의 데이터를 이해하는 모델을 구축하는데 머신 러닝을 대규모로 사용한다는 것입니다.
투자 은행 배경을 가진 엔지니어와 연구자들에게는 아주 적합한 분야라고 할 수 있죠.
크리테오에서 어떤 일을 하나요?
저는 엔지니어링 프로그램 관리자(EPM)입니다. 간단히 말하면, 프로젝트가 성공할 수 있도록 관리를 하는 거에요.
좀 더 자세히 설명하자면, 저는 엔지니어링팀 세 개를 맡고 있습니다. 그 중 두 팀은 크리테오의 모든 제품 개발과 실험 모델링을 지원하는 머신 러닝 플랫폼을 담당하고 있습니다. 엔지니어들이 운전석에 앉아 제품 엔지니어링과 연구원들의 목표에 맞는 인프라를 구축한다면, 저는 공동 드라이버의 역할을 수행하며 다른 EPM들과 협력해서 그러한 니즈를 예측하고 잠재적인 장애물을 제거하거나 완화하는데 도움을 주는거죠.
마지막으로 또 다른 주요 역할은 Criteo AI Lab의 성과를 조직의 다른 부서들과 정기적으로 공유하여 모든 직원들이 우리가 무슨 일을 하고 왜 그 일을 하는지 알 수 있도록 하는 것입니다.
일상적인 하루 일과를 알려주세요.
전형적인 분기 별 업무를 설명해드릴께요. 크리테오는 목표 및 핵심 성과(OKR) 프레임워크를 통해 분기 별로 모든 업무에 우선 순위를 매깁니다. 모든 R&D 팀은 3개의 목표를 세우고 각 목표(또는 핵심 성과) 별로 최대 3개의 이정표를 수립하죠. 제가 이끄는 엔지니어링 팀의 업무 과정은 이렇습니다.
각 분기의 마지막 달에는 다음 분기의 우선 순위는 어떤 것이 되어야 할지 토론을 시작합니다. Criteo AI Lab에서, 이러한 토론은 기본적으로 연구의 요구사항과 엔지니어링팀의 기술 로드맵으로 추진이 됩니다. (예를 들면, 엔지니어들이 기술적 부담을 제거하길 원한다거나, 애플리케이션의 견고함을 향상시키거나 새로운 기술을 시도해보길 원하다거나 하는 겁니다.) 이는 가시적인 결과물을 얻을 수 있는 연구 아이디어를 자세히 살펴보는 대단히 흥미로운 시간입니다. 또한 EPM들이 높은 활동 수준을 보여주죠. 필요한 업무를 분류하고 목표 달성에 도움을 받을 수 있는 다른 팀들과 조율을 하는 등 여러 가지 반복 작업이 요구됩니다.
파리 시외에서 열린 EPM 팀 구축 이벤트에서. 앞줄 가운데가 데이빗
분기의 첫 두 달 동안에는 EPM에게 일상적인 하루라는게 존재하지 않습니다. 모든 관련 직원들과 프로젝트에 대한 후속 조치를 취한다든지, 로드맵을 수정하고, 협업팀들의 제품 이슈를 지원하거나 장기적인 비전을 수립하거나, 또는 프로젝트가 방향을 잃지 않도록 실행 계획을 세우는 일 등을 합니다.
매일 변함없이 하는 일이 있다면, 제가 관리하는 3개 팀과 스탠딩 회의를 하는 것입니다. 회의에서는 각 팀원들이 전날 한 일에 대해 얘기를 하고, 진전이 있었는지 업데이트를 하죠. 그리고 오늘은 어떤 일을 하려고 하는지에 대해 이야기를 합니다. 이 회의를 통해, 팀원들의 일과를 파악할 수 있어요. 그리고 다른 팀들이 제기한 문제나 요청 사항을 구분하거나 우선순위를 결정하는 등 제가 팀원들에게 어떤 도움을 줄 수 있는지도 알 수 있죠.
현재 어떤 업무를 진행하고 있나요?
요즘 가장 우선시하는 일 중 하나는 엔지니어링 및 연구팀과 협력해서 TensorFlow 같은 오픈소스 라이브러리를 크리테오 데이터에 맞게 확장할 수 있도록 머신 러닝 플랫폼을 업그레이드하는 일입니다. 커뮤니티 지원이 활발하게 이루어지고는 있지만, 이러한 라이브러리를 그대로 크리테오의 규모에 적용할 수는 없거든요. 세부 조율을 하고 잠재적으로 어떤 문제가 생길 수 있는지 이해를 해야 합니다.
현재 진행하고 있는 또 다른 주요 프로젝트는 원스톱 노트북 숍을 통해 실험의 완전한 수명주기를 지원함으로써 연구원 및 머신 러닝 엔지니어들의 일상적인 업무 부담을 덜어주는 것입니다. 마지막으로 실시간 비딩(RTB)에서 우리가 익숙한 레이턴시에서 다계층 딥 러닝 모델이 작동하도록 만들기 위해 TPU, IPU, FPGA 등 새로운 아키텍처를 찾고 있습니다.
가장 큰 도전과제 하나를 꼽는다면?
집중력을 유지하는 것입니다. Criteo AI Lab은 엔지니어링팀과 연구팀이 결합되었어요. 이 팀들이 함께 많은 다양한 노선을 탐구합니다. 이 때문에 원만한 협업을 한다는 것이 조직적인 도전과제가 됩니다. Criteo AI Lab의 EPM들은 개개인의 집중력을 극대화하고 업무 간의 문맥 전환을 최소화하는 방법을 정기적으로 적절하게 조정해서 이러한 문제를 해결하고 있습니다. 아무래도 가장 중요한 것은 민첩한 관행을 실질적으로 활용하는 것이니까요.
지금까지 가장 자랑스럽게 생각하는 프로젝트가 있다면?
자체적으로 구현되었던 머신 러닝 알고리즘을 Spark로 이동한 것이죠. 이 프로젝트가 특히 자랑스러운 이유는 파리와 팔로 알토에서 10여 개 팀들이 협력해서 성공을 이끌어냈거든요.
머신 러닝 분야에서 일하고 싶어하는 사람이나 크리테오에 지원하려는 사람들에게 조언을 해준다면?
열정과 창의력을 표출할 준비를 하라는 겁니다. 크리테오는 단순히 맡은 업무를 수행하는 것 말고도 많은 방식으로 기여할 수 있습니다. 새로운 제품 아이디어, 새로운 기술, 새로운 프로젝트 관리 기술을 제안하고 실제 테스트까지 모두 해볼 수가 있습니다. 모든 것이 자신에게 달렸다고 할 수 있죠.
감사합니다, 데이빗!Criteo AI Lab에 대한 보다 자세한 정보는 여기를,크리테오의 기업 문화에 대한 정보는 여기를 클릭하세요!
