AI가 “완료했습니다” 할 때 확인해야 할 것

AI에게 작업을 시키면 꽤 빠르게 “완료했습니다”라는 말이 돌아온다.

파일을 만들었습니다. 코드를 수정했습니다. 보고서를 작성했습니다. 자동화를 구성했습니다.

처음에는 그 말을 그대로 믿었다. 결과물이 있으니까 끝난 줄 알았다. 그런데 몇 번 겪고 나니 “완료”라는 말의 의미가 내가 생각한 것과 다르다는 걸 알게 됐다.


만들어진 것과 돌아가는 것은 다르다

AI가 대시보드를 만들었다. HTML 파일이 생겼고, 차트도 들어가 있고, 데이터도 표시된다. “완료했습니다.”

그런데 이 대시보드는 누가 갱신하는가?

데이터가 바뀌면 자동으로 반영되는가, 아니면 사람이 매번 파일을 열어서 숫자를 고쳐야 하는가. 서버에 올라가 있는가, 아니면 내 컴퓨터 폴더에만 있는가.

산출물이 존재하는 것과 그것이 실제로 운영되는 것은 같지 않다. 파일이 있다는 사실만으로는 “돌아가고 있다”고 말할 수 없다.

이 구분이 중요한 이유는, AI가 보고하는 “완료”는 대부분 파일 생성 시점의 완료이기 때문이다. 운영 상태의 완료가 아니다.


한 번 해본 것과 반복되는 것은 다르다

AI에게 블로그 글을 자동으로 발행하는 스크립트를 만들어달라고 했다. 스크립트가 나왔다. 한 번 실행해 봤더니 글이 올라갔다. “완료했습니다.”

그런데 다음 주에 새 글이 나왔을 때 이 스크립트를 다시 쓸 수 있는가?

파일 경로가 바뀌면? 제목 형식이 달라지면? 이미지가 없는 글이면? 한 번 성공했다고 해서 반복적으로 사용할 수 있는 것은 아니다.

1회 성공은 “시도”다. 조건이 바뀌어도 매번 작동하는 것이 “정착”이다. 점수를 매긴다면 정착 기준으로 매겨야 한다.


파일이 있는 것과 다음에 다시 쓸 수 있는 것은 다르다

AI와 함께 작업하다 보면 꽤 많은 파일이 만들어진다. 템플릿, 스크립트, 설정 파일, 체크리스트. 폴더 안에 산출물이 쌓이면 뭔가 체계가 잡힌 것 같은 느낌이 든다.

하지만 그 파일들이 다음 작업에서 실제로 다시 사용되는가?

체크리스트를 만들었는데 다음번에는 처음부터 다시 만들고 있다면, 그 파일은 자산이 아니라 기록일 뿐이다. 템플릿이 있는데 매번 구조를 다시 설명하고 있다면, 그 템플릿은 작동하지 않고 있는 것이다.

파일이 존재하는 것과 그것이 워크플로우에 연결되어 있는 것은 다른 문제다.


호출 횟수가 많다고 잘 시킨 것은 아니다

AI 서브에이전트를 수백 번 호출한 사람이 있고, 한 자릿수만 호출한 사람이 있다. 숫자만 보면 많이 호출한 쪽이 훨씬 잘 활용한 것처럼 보인다.

하지만 호출 수가 곧 위임 능력은 아니다.

중요한 것은 역할을 얼마나 명확히 분리했는가, 결과를 어떻게 통합했는가, 그 결과가 후속 작업에 반영됐는가, 그리고 같은 패턴을 다음에 다시 쓸 수 있는가이다.

도구를 많이 쓰는 것은 활동이다. 활동이 성과와 같지는 않다.


“다 했습니다”를 받았을 때 물어볼 다섯 가지

AI가 완료를 보고할 때 나는 이제 다섯 가지를 확인한다.

  • 이것은 만들어진 것인가, 돌아가는 것인가?
  • 한 번 성공한 것인가, 조건이 바뀌어도 반복되는가?
  • 이 파일은 다음 작업에서 실제로 다시 쓸 수 있는가?
  • 문서가 있으면 — 그 문서에서 바로 실행할 수 있는가?
  • 자동화라고 했으면 — 사람 없이 다음번에도 알아서 실행되는가?

다섯 개 중 하나라도 “아니오”이면, 그것은 아직 완료가 아니다. 좋은 시작일 뿐이다.


오늘의 인사이트

AI의 “완료했습니다”는 거짓말이 아니다. AI 입장에서는 실제로 요청받은 작업을 수행한 것이다. 파일을 만들었고, 코드를 짰고, 결과를 보여줬다.

다만 우리가 기대하는 “완료”는 보통 그 다음 단계를 포함한다. 돌아가는가, 반복되는가, 다시 쓸 수 있는가.

이 간극을 알고 나면 AI의 보고를 다르게 읽게 된다. 완료 보고가 도착하면 끝이 아니라 확인이 시작되는 시점이라는 것을.


한 줄 정리

AI가 “완료했습니다”라고 말하면, 그것은 파일이 생겼다는 뜻이지 일이 끝났다는 뜻이 아니다.