챗봇 대화 로그는 무엇을 알려 주나 — 상담 데이터를 읽는 네 가지 축

챗봇을 도입한 뒤 보고서에 흔히 남는 숫자는 대화 수와 응답률입니다. 그런데 이 두 가지는 챗봇이 잘 돌아가는지를 보여 줄 뿐, 무엇을 바꿔야 하는지는 알려 주지 않습니다.

대화 로그가 실제로 가진 가치는 다른 데 있습니다. 방문자가 자기 말로 던진 질문이 그대로 쌓여 있다는 것입니다. 검색어 데이터가 짧은 단어인 것과 달리, 로그에는 문장이 남습니다.

① 답하지 못한 질문

가장 먼저 볼 것은 챗봇이 답을 만들지 못한 대화입니다. 여기에는 두 가지가 섞여 있습니다.

• 사이트에 정보가 없어서 답하지 못한 경우 — 콘텐츠로 채워야 할 자리입니다.
• 정보는 있는데 찾지 못한 경우 — 문서의 구조나 표현이 질문의 말과 어긋나 있는 상태입니다.

이 둘을 구분하지 않으면 대응이 어긋납니다. 앞은 새 문서를 쓸 일이고, 뒤는 기존 문서의 제목과 소제목을 손볼 일입니다.

② 같은 질문의 반복

표현은 달라도 같은 것을 묻는 질문이 반복해서 나타나는 묶음이 있습니다. 이것이 가장 값싼 개선 지점입니다.

반복 질문이 많다는 것은 두 가지 중 하나를 뜻합니다. 그 정보를 사이트에서 찾기 어렵게 배치했거나, 애초에 다루지 않았거나입니다. 어느 쪽이든 페이지 하나로 해결되는 문제인 경우가 많습니다.

그리고 이 묶음은 콘텐츠 주제 선정에서 가장 신뢰할 만한 근거가 됩니다. 상상해서 고른 주제가 아니라 실제로 물어본 것이기 때문입니다.

③ 이탈 지점

대화가 어디에서 끊겼는지를 봅니다.

• 첫 질문 뒤 바로 끊긴 경우 — 답이 필요한 것과 달랐을 가능성이 큽니다.
• 서너 번 주고받다가 끊긴 경우 — 근접했는데 마지막에 원하는 것이 나오지 않은 상태입니다. 이쪽이 개선 여지가 더 큽니다.
• 예약이나 문의로 넘어가는 단계에서 끊긴 경우 — 정보가 아니라 다음 행동으로 넘어가는 경로에 문제가 있습니다.

특히 마지막 유형은 콘텐츠가 아니라 동선의 문제라서, 글을 더 써도 해결되지 않습니다.

④ 사이트에 없는 표현

사람들이 쓰는 말과 문서에 적힌 말이 다른 경우가 흔합니다. 로그에는 방문자가 실제로 쓰는 단어가 그대로 남습니다.

이 표현들을 문서에 반영하면 두 가지가 함께 좋아집니다. 검색에서 닿는 범위가 넓어지고, 챗봇이 찾아낼 확률도 올라갑니다. 같은 내용을 다르게 부르는 말을 문서 안에 한 번씩 놓아 두는 것만으로도 차이가 납니다.

정리 방법

복잡한 도구가 필요하지 않습니다. 실무적으로는 다음 정도면 충분합니다.

• 주기를 정해 로그를 내려받는다 — 주 1회 또는 월 1회.
• 질문만 뽑아 비슷한 것끼리 묶는다 — 수작업으로도 몇 십 건 단위는 정리됩니다.
• 묶음마다 대응을 정한다 — 새 문서, 기존 문서 보강, 동선 수정 중 하나로.
• 다음 주기에 그 묶음이 줄었는지 확인한다 — 이것이 개선의 확인 방법입니다.

주의할 것

대화 로그는 방문자가 남긴 기록입니다. 개인을 식별할 수 있는 내용이 포함될 수 있으므로, 보관 기간과 접근 권한을 정해 두고 다루어야 합니다. 분석에 쓸 때는 질문의 유형만 남기고 개인 정보는 제거하는 것이 기본입니다.

특히 의료 분야에서는 방문자가 증상이나 상태를 그대로 적어 넣는 경우가 있어, 이 부분을 처음부터 설계에 넣어야 합니다.

정리

챗봇의 가치는 응답하는 기능에만 있지 않습니다. 답하지 못한 질문의 목록이 쌓인다는 점이 오히려 더 오래 쓰이는 자산이 됩니다. 그 목록을 콘텐츠 계획으로 옮기는 과정이 있어야 도입이 결과로 이어집니다.