모델은 그림 한가운데 있는 작은 상자입니다

논문의 주장은 이렇습니다. 머신러닝은 기술부채를 쌓기가 유난히 쉽다. 일반 소프트웨어가 겪는 유지보수 문제를 그대로 겪으면서, ML만의 문제가 그 위에 얹히기 때문입니다.

가장 많이 인용되는 그림에서 ML 코드는 작은 상자 하나로 그려집니다. 그 주변을 설정 관리, 데이터 수집, 피처 추출, 데이터 검증, 서빙 인프라, 자원 관리, 프로세스 관리 도구, 분석 도구, 모니터링이 훨씬 큰 덩어리로 둘러쌉니다. 모델링은 시스템의 일부일 뿐입니다.

ML에만 있는 실패 유형

• 얽힘 — 입력 분포 하나가 바뀌면 나머지 모든 피처의 의미가 함께 바뀝니다. 진짜로 분리된 건 아무것도 없습니다.
• 숨은 피드백 루프 — 모델이 내놓은 결과가 나중에 그 모델을 학습시킬 데이터에 영향을 줍니다.
• 선언되지 않은 소비자 — 다른 팀이 조용히 우리 모델 출력에 의존하고 있고, 그 사실은 우리가 뭔가 바꿀 때 알게 됩니다.
• 데이터 의존성 — 코드 의존성보다 추적이 어려운데, 잡아줄 컴파일러도 없습니다.
• 설정 부채 — 튜닝 옵션이 계속 늘어나다가 결국 어떤 값이 왜 그렇게 설정됐는지 아무도 설명하지 못하게 됩니다.

트랜스포머도 생성형 모델도 나오기 전에 쓰인 논문인데, 분석은 놀랄 만큼 잘 버텼습니다. 지금의 흐름이 바꾼 것은 그 작은 상자의 내용물이지, 상자가 시스템에서 차지하는 비중이 아닙니다.