실시간 최적전략을 자동으로 찾고 업데이트할 수 있다면?
시장 상황을 직접 분석하고 즉각 반영해 최적의 승인전략을 자동으로 만들어내는 시스템이 있다면 어떨까요?
대출을 위한 심사과정에는 신용점수 외에도 다양한 변수가 활용됩니다. 이들을 사용해 만들어낼 수 있는 변수의 조합도 무수히 많은데요. 이 많은 변수의 조합 중 지금의 경제 상황에 가장 적합한 것을 찾는 게 어려운 과제입니다.
이렇게 어떤 변수를 얼마나 활용할지 결정하고 조합하는 것이 바로 승인전략입니다. 대출실행 여정에 있어서, 외부에서 일어나는 크고 작은 변화에 최적의 승인전략으로 빠르게 대응해낼 수 있는 역량은 곧 금융회사의 핵심적인 경쟁력이죠.
피플펀드의 데이터전략팀은 이 문제에 대해 ‘AGOS’라는 답을 내놨습니다. 그 성과는 학계에서도 인정을 받아, 이번에 피플러들은 미국 인디애나폴리스에서 열린 INFORMS 학회에 발표를 다녀왔는데요. 이번 학회에 참가한 47개의 발표팀 중 현업 인원으로만 구성된 유일한 팀이었으니, 연구의 결실이 현업에서뿐 아니라 이론적으로도 탄탄하고 유효하다는 것을 확인한 셈입니다.
데이터전략팀에서 AGOS 연구의 주축이었던 두 피플러, 영우님과 현우님이 미국 방문기를 가져왔습니다. 유익하고 즐거웠던 5일 간의 학회 일정을 지금부터 들려드릴게요!
전 세계 전문가들과 승인전략 시스템을 고민하다
INFORMS는 산업공학 분야에서 가장 규모가 크고 저명한 학회 중 하나입니다. 올해는 미국 인디애나폴리스 컨벤션센터에서 3년 만에 대면으로 개최됐죠. 5일간 열린 이번 2022 INFORMS 연례 행사에는 학계와 업계에서 무려 6천 명 이상의 전문가들이 참여했습니다.
2022년 ‘AI계의 노벨상’으로 불리는 AAAI Squirrel 상을 수상한 듀크대 Cynthia Rudin 교수와, 2012년 노벨 경제학상 수상자인 스탠포드대 Albin 교수를 포함해 여러 유명한 연사가 키노트 스피커로 등장했습니다. 미국 CB사인 FICO와 통계프로그램 회사인 SAS에서 주최한 기술세션에도 많은 사람이 참여했고요.
세계 석학들에게 승인전략 최적화를 소개하다
피플펀드의 데이터전략팀은 학회 첫날 있었던 Data Science Workshop에서 승인전략의 최적화를 주제로 발표를 맡았습니다. Data Science Workshop은 데이터과학 분야에서 다양한 주제의 연구가 소개되는 시간이었는데요.
그중에서도 저희가 속한 세션은 “Optimization for Business Analytics”로, 비즈니스 문제 해결을 위해 고안된 최적화 방법론과 실제 이용 사례들을 다루었습니다. 저희는 이 자리에서 ‘아고스(AGOS – Automatically Generated Optimal Strategy)’라는 이름의 승인전략 최적화 시스템을 소개했습니다.
승인전략은 변수와 임계값으로 구성됩니다. 승인전략에 사용되는 로직 중 가장 단순한 형태는 신용점수만을 이용하는 것입니다. 신용점수가 커트라인보다 높으면 대출을 승인하고, 낮으면 거절하는 1차원 컷오프(cut-off) 룰을 적용하는 거죠.
하지만 대부분의 금융기관에서는 더 정교한 승인전략을 위해, 신용점수 외에도 대출신청자와 관련된 다양한 추가정보를 이용해 다차원의 컷오프 룰을 만들어 운용하고 있습니다. 피플펀드는 1,800개에 이르는 변수를 사용하고 있고요.
연체 여부, 신용카드 이용금액 등 활용될 수 있는 정보는 무수히 많고, 사람이 수기분석으로 최적조합을 일일이 찾는 것은 불가능에 가까울뿐더러 효율적이지도 않습니다. 유입되는 고객의 분포가 변할 때마다 이를 분석해서 승인전략을 업데이트하기까지 긴 시간이 소요되기 때문에, 빠르게 변하는 시장에 실시간으로 대응하기도 어렵습니다.
AGOS는 이런 승인전략에 사용되는 변수들과 각각의 임계점 값들을, 회사가 원하는 비즈니스 요건에 맞게 찾을 수 있도록 도와주는 시스템입니다. 승인전략을 제약조건 최적화 문제로 접근하며, 유전 알고리즘을 이용해서 승인 여부를 판단하는 최적의 변수와 임계값을 ‘자동으로’ 탐색하고 설정하죠.
예를 들어 볼까요? 사용자는 목표하는 승인율 및 불량률 수준을 정한 후 다음의 두 가지 과제 중 하나를 AGOS에게 주문할 수 있습니다.
1. 주어진 불량률 수준에서 승인율 최대화
2. 주어진 승인율 수준에서 불량률 최소화
그러면 AGOS는 수천 개의 변수 조합을 자동으로 탐색해 다음과 같은 형태의 승인전략을 만들어냅니다.
피플펀드 신용점수 < 700점
and
신용카드 사용비율 > 80%
and
최근 1년간 연체일 수 > 3일
이처럼 AGOS는 비즈니스 목적에 맞게 목표 변수를 변경할 수 있는 데다, 시장 상황에 민감하게 반응하는 주요 관심 변수들을 모니터링하며 시장 변화를 감지하고 대응하도록 설계돼 있습니다. 게다가 특정 변수에 대해서는 유입고객들의 분포 변화를 감지하고 반영하도록 설계되어 있죠.
이렇게 AGOS는 유입고객 분포의 변화를 실시간 반영하기 어려운 기존 신용평가의 취약점을 극복했습니다. 뿐만 아니라 기존 신용전략과의 비교 결과, 동일 불량률(1.5%) 조건에서 대출승인율은 기존의 123%로 높이고, 동일 대출승인율(22.5%) 조건에서 불량률은 75%로 낮추는 성능을 나타냈죠.
‘AI 업계 노벨상’ AAAI 수상자, Cynthia Rudin 교수를 만나다
INFORMS 둘째 날은 기조연설을 맡았던 Cynthia Rudin (이하 루딘) 교수의 발표로 시작됐습니다. 2022년 루딘 교수는 15년 간 ‘해석 가능한 머신러닝(Interpretable Machine Learning)’을 연구한 공로로, ‘AI업계의 노벨상’으로 불리는 ‘AAAI Squirrel’ 상을 수상했습니다. (상금이 한화로 15억 원에 달한다고 하네요.)
루딘 교수님의 발표는 크게 ‘단순함(Simplicity)’과 ‘차원축소(Dimension Reduction)’로 요약할 수 있습니다. 두 요소 모두 피플펀드의 신용평가 모형 전반과 깊게 관련돼 있죠. 그는 해결하고자 하는 문제 영역에 *Rashomon Set(비슷한 성능을 보이는 모형 집합)이 매우 크다면, 그땐 복잡한 모형보다 ‘간단한 모형(설명 가능한 모형)’과 해당 분야의 ‘지식’이 오히려 더 큰 역할을 할 수 있다는 주장을 펼쳤는데요.
그의 이론을 뒷받침하는 실증 결과들 중, 미국 최대 신용평가사(CB사)인 FICO사가 제공한 데이터가 저희의 관심을 사로잡았습니다. 루딘 교수의 주장에 따르면, FICO 데이터 셋은 Rashomon Set이 매우 크고, 따라서 모형의 성능이 모형의 복잡도에 크게 의존하지 않습니다. 오히려 도메인 지식에 더 부합하면서 간단한 모형이 더 좋은 성능을 보일 수 있다는 거죠.
물론 이 주장이 모든 데이터에 정확하게 들어맞지는 않습니다. 게다가 피플펀드 내부의 데이터는 오히려 모델 간에 유의미한 성능 차이를 보이고 있어, ‘Rashomon Set’이 크지 않기 때문에 루딘 교수의 이론을 그대로 적용하긴 어렵습니다. 루딘 교수가 시도한 AI 모델들은 FICO 데이터와 피플펀드 내부 데이터에서 다르게 작동하는 모습을 보이죠. 그럼에도 불구하고, 신용평가 모형의 고도화 과정에서 충분히 참고해볼 만한 이론입니다.
Good Models ⊂ { Rashomon ⋂ Interpretable Models } ⊂ All Models
루딘 교수 연구진은 데이터가 가진 거시적/미시적 구조를 모두 유지하면서 속도도 빠른, 매우 효율적인 차원축소 기법도 개발했습니다. 이 기법을 FICO 데이터에 적용해서 나타난 시각화 결과는 매우 인상적이었죠. 피플펀드 내부 데이터를 활용했을 때 나올 결과와는 어떻게 다를지 궁금해지기도 했는데요. 특히 차원축소는 모형개발과 전략개발 모두에 사용될 수 있어, 유용성이 높은 내용인 만큼 더 집중해서 듣게 되었습니다.
FICO Day: 기술 세션부터 소셜 이벤트까지!
INFORMS의 마지막 날은 FICO Day였습니다. FICO는 신용평가 서비스에 중점을 둔 데이터 분석 회사로, 60년이 넘게 북미 전역에 다양한 신용평가 서비스를 제공하고 있습니다. 금융 분야에서 이미 큰 명성을 떨치고 있지만, 그밖에도 에너지, 헬스케어, 이커머스, 운송 등 다양한 산업으로 활동 범위를 넓히고 있죠.
이번 INFOMS 컨퍼런스에서 FICO는 자사의 최적화 솔루션인 Xpress 소프트웨어에 관한 세션을 진행했습니다. Xpress는 사용자가 최적화를 위한 프레임워크를 Python, C 등 프로그래밍 언어로 사용할 수 있게 하는 솔루션입니다. 다양한 산업군에 속한 회사들이 각자 직면한 비즈니스 문제에 대해서, 이익을 최대화하고 비용을 최소화하는 최적해를 찾기 위해 많이 사용하죠.
FICO가 제공하는 Linear/Mixed Integer Programming, Constraint Programming 등의 방법론은 빠르고 정확하며 손쉽게 사용할 수 있는 장점이 있습니다. Global한 최적해를 빠른 속도로 찾아주는 만큼, 저희가 개발한 승인전략 시스템 AGOS에도 추후 적용해볼 수 있을 것 같습니다. 앞으로 피플펀드가 직면할 다양한 최적화 문제에도 마찬가지고요.
FICO는 최적화 문제 해결을 고민하는 INFORMS 참가자들을 위해 교류행사도 열었습니다. 컨퍼런스장 근처의 “GoodWood”라는 양조장에서 FICO 관계자들과 최적화에 관한 얘기를 나누며 즐거운 시간을 보냈는데요. 행사장에서 만난 많은 참여자들의 첫 질문은, “요즘 피플펀드는 어떤 최적화 문제를 풀고 있어?”였습니다. 그만큼 최적화 문제에 열정 있는 사람들이 많이 참여했다는 걸 느낄 수 있었죠.
각 나라의 신용평가가 어떠한지에 관한 재미있는 대화도 오갔습니다. FICO의 한 직원은 “영국인들은 본인 신용점수를 잘 알지도 못하고 관심도 없다”고 전하더군요. FICO의 시니어 디렉터인 데이빗(David)은 아시아-태평양 지역 시장에 크게 관심을 갖고 있다며, 비즈니스 논의를 위해 저희를 FICO 한국 지사 직원과 연결해주었습니다. FICO의 프로덕트 매니저(Product Manager) 다나카와는 비즈니스적인 대화뿐 아니라 회사생활의 면면에 관한 이야기도 주고받았습니다.
Alvin Roth 교수의 매칭이론과 피플펀드 AGOS
마지막 날은 스탠퍼드대학교 앨빈 로스(Alvin Roth) 교수님의 발표로 마무리되었습니다. 로스 교수님은 매칭 이론과 시장설계에 관한 연구로 2012년 노벨 경제학상을 수상한 분입니다.
1962년 매칭이론을 소개한 로스 교수님을 필두로, 많은 연구자들이 현실에 일어나고 있는 문제들(결혼, 취업, 대학입학, 에어비앤비 이용 등)에 효율적인 시장 메커니즘을 제시해 왔는데요. 연구의 근간이 되었던 잠정 수락 알고리즘(Deffered Acceptance Algorithm)은 대학 입학과 결혼 매칭이라는 유명한 예시와 함께 아직까지도 매칭이론 개념을 설명하는 데에 가장 많이 사용되고 있습니다.
시장설계에 관해 로스 교수님은 세 가지 요소를 강조했습니다. 첫째, Thickness. 둘째, Safety. 셋째, No Congestion. Thickness는 많은 수요자와 공급자가 있어야 한다는 의미입니다. Safety는 불량한 사용자의 유입과 사기를 방지해야 한다는 거죠. No Congestion이란, 규모가 커져도 안정적으로 작동할 수 있어야 한다는 것입니다.
이 연구는 피플펀드가 진입하고자 하는 대출비교서비스 시장에도 적용될 수 있습니다. Thickness와 Safety를 유지하면서 Congestion을 없애려면, 변화에 맞춰 적시에 대응해야 합니다. 대출신청자의 신용평가라는 과제는 환경의 변화에 적절하게 반응하며 해결되어야 하지만, 금리인상 등 환경변화에 민감한 대출시장에서 승인전략을 주기적으로 업데이트하는 것은 도전적인 과제죠.
기존 금융업권의 대출승인전략은 전문가가 두 달여에 걸쳐 수작업으로 개발하는 방식이었습니다. 반면, 피플펀드가 고안한 AGOS 시스템은 변화하는 대출시장에 실시간 대응할 수 있는 도구입니다. 국내 최초로 대출승인전략을 데이터에 기반해 하루 안에 개발하는 방법론이죠. AGOS를 활용해 고객 및 시장의 변화에 맞춰 승인전략을 업데이트할 수 있고, 신용평가모형보다 빠른 주기로 대출의 공급을 조절할 수 있습니다.
나가며
이번 컨퍼런스에서 AGOS를 소개하게 된 것은 피플펀드의 일원으로서도, 연구자 개인으로서도 뿌듯한 일이었습니다. 데이터를 활용한 대출상품 개선 노력에 대해 인정을 받는 경험이었고, 동료 연구자로부터 유익한 피드백도 들을 수 있었으니까요. 여러 세션에 참여하며 새로운 아이디어를 얻어 피플펀드를 더 발전시킬 실마리를 얻은 것도 뿌듯하게 생각합니다.
앞으로도 데이터에 기반해 보다 많은 사람들에게, 보다 합리적인 금리와 한도의 대출상품이 공급될 수 있도록 노력하겠습니다. 물심양면 지원을 아끼지 않은 회사에 감사를 전합니다.
written by Youngwoo, Hyunwoo
edited by Hayoung
