숫자로 말하는 습관 – 데이터 기반 보고의 기술
보고를 받다 보면 이런 말이 자주 나옵니다.
“모델 성능이 많이 좋아졌습니다.” “현장에서 반응이 괜찮습니다.” “오탐이 줄어드는 추세입니다.”
틀린 말이 아닐 수 있습니다. 하지만 이 말만으로는 아무것도 결정할 수 없습니다.
얼마나 좋아졌는지, 어느 현장에서 어떤 반응인지, 오탐이 얼마에서 얼마로 줄었는지.
숫자가 없으면 보고를 받는 쪽에서 알아서 해석해야 합니다.
해석의 여지가 생기는 순간, 논란이 시작됩니다.
AI 솔루션 개발과 구축을 하다 보면 정량 기준이 없어서 생기는 문제를 자주 봅니다.
모델 성능을 두고 개발팀과 현장 엔지니어가 다른 결론을 내는 경우가 있습니다.
개발팀은 내부 테스트 환경에서의 정확도를 기준으로 “충분히 좋다”고 판단합니다.
현장 엔지니어들은 실제 운영 중 또는 현장 테스트에서 발생하는 오탐 건수를 기준으로 “아직 멀었다”고
합니다.
둘 다 틀리지 않았습니다. 측정 기준이 달랐을 뿐입니다.
이런 상황에서 회의를 해봐야 결론이 나지 않습니다.
서로 다른 기준으로 같은 것을 보고 있기 때문입니다.
처음부터 “어떤 환경에서, 어떤 조건으로, 어떤 수치가 나와야 현장 배포를 승인한다”는 기준이 정해져 있었다면 그 논쟁은 처음부터 없었을 겁니다.
정량 기준이 없으면 해석은 사람마다 달라집니다.
오탐률 3%라는 숫자가 있습니다. 이게 높은 건지 낮은 건지는 비교 대상 없이는 알 수 없습니다.
이전 버전이 7%였다면 크게 개선된 겁니다. 목표가 1%였다면 아직 멀었습니다.
같은 3%를 두고 누군가는 “잘 됐다”고, 누군가는 “부족하다”고 말하는 게 이상한 일이 아닙니다.
저희 본부에서는 신규 모델을 배포하기 전에 기준을 먼저 정합니다.
내부 QA 담당자와 개발팀이 기준을 정하고 이에 따른 1차 QA가 진행됩니다.
어떤 환경에서 테스트할 것인지, 오탐률과 미탐률 각각의 허용 범위는 얼마인지, 기준을 충족하지 못했을 때 어떤 조건이 개선되어야 재검토를 진행할 것인지.
이 기준이 있으면 결과를 받았을 때 판단이 빠릅니다. 됐는지 안 됐는지가 명확합니다.
납기 관리도 마찬가지입니다.
“거의 다 됐습니다”는 말은 프로젝트 일정 관리에서 아무 의미가 없습니다.
전체 개발 항목 중 몇 퍼센트가 완료됐는지, 미완료 항목의 예상 완료 시점이 언제인지, 현재 속도로 납기를 맞출 수 있는지가 숫자로 나와야 합니다.
PO나 PM은 이러한 문제를 중요하게 고려하고 관리하게 됩니다.
숫자로 보고하는 습관을 만들려면 측정할 항목부터 정해야 합니다.
모든 것을 숫자로 만들려고 하면 보고가 형식적으로 흐릅니다.
의미 없는 수치로 채우는 데 시간을 씁니다.
중요한 건 이 업무에서 핵심이 되는 지표가 무엇인지를 먼저 합의하는 겁니다.
그 지표만 제대로 측정하고, 명확한 기준과 함께 보고하면 됩니다.
보고서에 숫자가 들어오면 다음 질문도 달라집니다.
“잘 되고 있습니까”가 아니라 “목표 대비 현재 몇 퍼센트입니까, 이 속도면 납기를 맞출 수 있습니까”를
묻게 됩니다.
이 질문을 반복하다 보면 팀 전체가 숫자로 생각하는 방식을 갖추게 됩니다.
결국 보고는 수치가 아니라 판단이어야 합니다.
“오탐률 4.2%입니다”는 수치입니다. “목표 3% 대비 1.2%p 초과했으며, 야간 시간대 저조도 환경이 주요 원인으로 분석됩니다.
다음 스프린트에서 야간 전용 모델 추가 학습을 진행할 예정입니다”는 판단입니다.
같은 숫자지만, 이 두 보고를 받았을 때 다음 행동이 달라집니다.
숫자는 해석의 여지를 줄이고, 기준은 논란을 없앱니다.
그 두 가지가 갖춰진 보고가 의사결정을 빠르게 만듭니다.
2026. 05. 22 Rhapsody
카테고리: Work & Insight
