소개
챗봇 제안 때 먼저 보여 주는 대화·운영 화면
포너즈는 챗봇 과제를 상담할 때 운영 화면까지 함께 요청받는 일이 많았습니다. 그래서 대화 화면과 관리 화면을 함께 갖춘 자체 제품을 만들었습니다. 챗봇 과제를 제안할 때 이 화면으로 구성을 먼저 보여 줍니다.
문제
챗봇 대화를 쌓아 두고도 들여다볼 화면이 없던 운영자
챗봇을 들인 조직의 운영 담당자는 대화가 쌓여도 볼 화면이 없습니다. 이용자가 무엇을 묻는지 보려면 대화 기록을 내려받아 따로 정리합니다.
응답 방식을 바꾸려는 담당자도 사정이 비슷합니다. 말투나 안내 범위를 고치려면 개발자에게 코드 수정을 맡겨야 합니다. 고친 결과는 다시 배포한 뒤에야 확인합니다.
포너즈는 사용 현황 대시보드와 화면에서 고치는 응답 규칙부터 만들기로 했습니다.
해결
대화 화면 하나와 운영자용 관리 화면 다섯 개
포너즈는 사용자가 쓰는 챗봇 화면과 운영자가 쓰는 관리 화면을 나눠 만들었습니다.
- 챗봇 화면: 사용자가 GPT-4o와 GPT-3.5 가운데 하나를 골라 대화합니다. API 키도 이 화면에서 넣습니다.
- 관리자 대시보드: 사용자 수, 일일 메시지 수, 활성 프롬프트, API 호출 수를 카드로 보여 줍니다. 최근 7일 추이는 막대그래프로 봅니다.
- 프롬프트 관리: 운영자가 응답 프롬프트를 만들고 고칩니다. 프롬프트마다 켜고 끌 수 있고, 생성일과 수정일이 남습니다.
- 사용자 관리·통계·설정: 사용자 목록, 통계, 화이트·다크 모드 전환을 메뉴로 나눴습니다.
- 담당자 확인: 새 프롬프트는 운영자가 켜야 응답에 쓰입니다. 바뀐 응답은 운영자가 대시보드에서 다시 확인합니다.
응답 규칙을 관리자 화면의 프롬프트로
챗봇이 어떻게 답할지는 관리자 화면의 프롬프트로 정합니다. 응답 규칙이 코드 안에 있으면 말투 하나를 고칠 때도 다시 배포해야 합니다. 규칙을 화면으로 빼면 운영자가 직접 고치고 바로 결과를 봅니다.
언어 모델을 사용자가 고르게
챗봇 화면에서 GPT-4o와 GPT-3.5를 고를 수 있습니다. GPT-4o는 답이 더 정확하고, GPT-3.5는 빠르고 호출 비용이 낮습니다. 같은 질문에 두 모델의 답을 견줘 보고 쓸 모델을 정하게 했습니다.
대시보드 숫자는 운영자가 매일 보는 네 가지로
대시보드 첫 줄에는 사용자 수, 일일 메시지, 활성 프롬프트, API 호출 수만 두었습니다. API 호출 수는 언어 모델 비용과 바로 이어집니다. 운영자는 이 네 숫자로 쓰임새와 비용을 한 번에 봅니다.
결과
운영자가 화면에서 켜고 끄는 응답 규칙
이 제품에서 운영자는 대화 기록을 내려받지 않고 대시보드에서 사용 현황을 봅니다. 응답 방식은 개발자를 거치지 않고 프롬프트를 켜고 끄는 것으로 바꿉니다.
