토스는 이미 ‘좋은 제품을 정말 잘 만드는 회사’ 로 많은 분들에게 알려져 왔습니다.
이 멋진 평가 뒤에는 정말 세계 어디 내놔도 자랑스러운 PO와 디자이너들, 그리고 그들의 서포트하는 남다른 시스템과 플랫폼이 있었죠. 이제 토스는 ML/AI로도 그만큼 인정받는 회사로 진화합니다. 그래서 'ML/AI를 정말 잘 하는 회사'가 반드시 되려고 합니다. 지금의 토스가 존재할 수 있도록 밑바탕이 되었던 데이터 인프라와 기술 역량, 제품 중심 문화 위에, 업계를 리드할 수 있는 세계적인 수준의 ML/AI 역량을 더해 다시 한번 시장을 놀라게 할 혁신을 만들어갈 것입니다.
ML/AL분야 최고수준의 팀원들이 토스에 오셔도 좋을 이유는,
•
ML 엔지니어가 스스로 모델을 만들고, 배포하고, 실험 결과를 바로 그 다음날 확인할 수 있습니다. 하루 만에 실험을 설계하고 바로 라이브 배포하는 사례도 드물지 않습니다. (End to end decision making)
•
배포는 시스템적으로 지원이 워낙 잘 되어 있어서, 실험을 가로막는 장애물이 없습니다. (best in class deployment system)
•
의사결정도 간단합니다. ML 엔지니어가 직접 실험 설계하고 A/B 테스트까지 자율적으로 실행합니다.(Tech/data driven decision making)
•
또한 토스는 높은 트래픽과 방대한 데이터 스케일, 뛰어난 동료들과의 협업 환경때문에 ML/AI 전문가들이 성장하기에 최적의 환경입니다 (massive data with inspring colleague)
실제 토스팀 ML 엔지니어가 일하는 방식
1. End to End Decision Making
2. Best-in-Class Deployment System
토스에서는 피처스토어, 모델 서빙 플랫폼, 모델 배포 시스템 등 ML 플랫폼이 자체 구축되어 있어서, ML 엔지니어가 서버 개발자의 도움 없이도 바로 실시간 추론이 가능한 프로덕션 모델을 만들고 배포할 수 있어요. 실험에 필요한 피처 정의부터 모델 학습, A/B 테스트 설계, 서빙 환경 배포까지 대부분의 과정을 스스로 진행할 수 있는 구조라 반복 실험 속도가 빠르고, 실무 적용까지의 거리가 짧습니다.
인프라구축, AB테스트 편하게해볼수있고, 너가 하고싱프 ㄴ 실험이 ㅇㅆ따면ㅇ ㅓㄴ제든지 함ㄴ 된다.
우리는 이미 만들어져있고, 서빙하고있어, 너가 오면 사용하기만 하면 된다.
이것을 서빙하기 위해서 어떤 기술스택을 사용하고 있는지?
3. Tech/Data Driven Decision Making
(커머스) Target CPA 캠페인 성과 고도화
기존 전환 예측 모델이 성과를 과대평가하는 문제를 발견했어요. 분석 결과, 학습 데이터와 실제 운영 환경 간의 차이에서 비롯된 것으로 판단했고, 이를 해결하기 위해 CTR과 CVR을 함께 학습하는 모델로 구조를 바꿨습니다.A/B 테스트 결과 예측 과대 문제가 개선되었고, 예측값이 낮은 광고를 필터링하는 방식도 추가해 CVR과 CPA 개선을 확인했습니다. 실험 설계와 정책 적용은 팀 내에서 자연스럽게 논의되고 실행됐습니다.
(커머스) 중복 광고 노출 제어 방식 개선
광고 중복 노출이 증가할수록 CTR이 낮아지는 패턴이 있었고, 기존에는 이를 제어하기 위해 룰 기반 로직을 사용했어요. 반복 관리가 필요한 룰을 줄이고자, 중복 노출 수를 모델 입력 피처로 추가해 CTR 예측값이 자연스럽게 조정되도록 구성했습니다.
오프라인 실험과 A/B 테스트를 거쳐 기존과 유사한 제어 효과가 나타났고, 이후 룰 기반 로직은 제거했어요. 운영 복잡도가 줄어든 덕분에 유지보수도 훨씬 단순해졌죠.
4. Massive Data with Inspiring Colleagues
(커머스) 모먼트 광고 블랙리스트 적용
모먼트 배너 지면이 확장되면서 광고 성과(CPA)가 전반적으로 낮아지는 문제가 있었어요. DA 팀원과 함께 앱 로그를 분석했고, 특정 지면에서 유저 이탈률(bounce rate)이 높다는 점을 확인했어요.이후 유저별 이탈 확률을 예측하는 모델을 학습해, 일정 기준 이상인 경우 해당 지면의 광고를 노출하지 않는 실험을 설계했어요. 트래픽 규모가 충분해 학습과 실험이 빠르게 진행할 수 있었어요.
