AI 개발 업체 첫 미팅, 이 4가지만 물어보세요

AI 개발을 맡길 업체를 추려 첫 미팅을 잡으셨다면, 주어진 시간은 보통 한 시간 정도입니다. 그 안에 무엇을 물어야 제대로 된 업체를 가려내거나 여러 업체를 비교할 자료를 얻을 수 있을까요?

첫 미팅에서 확인할 것은 두 가지입니다. 이 업체가 우리 프로젝트에 맞는지, 그리고 계약 전에 무엇을 더 확인해야 하는지입니다. 데모보다 우리 요구사항을 이해하는지, 개발 밖의 보안·법률·운영까지 보는지를 네 가지 질문으로 확인하면 됩니다.

일반 외주 개발 미팅에서는 포트폴리오, 일정, 예산을 주로 확인합니다. AI 프로젝트는 여기에 데이터 상태, 성능 검증 방법, 모델이 바뀔 때의 대응이 추가됩니다. 이 부분을 묻지 않으면 견적과 일정이 무엇을 전제로 나왔는지 모른 채 다음 단계로 넘어가게 됩니다.

미팅에서 바로 답을 듣지 못한 항목은 따로 적어 두세요. 그 목록을 다음 미팅에서 물어볼 질문으로 남겨 두면 됩니다.

첫 미팅에서 확인해야 하는 것

첫 미팅에서 확인해야 하는 것은 두 가지입니다.

1. 이 업체가 우리 프로젝트에 맞는지
   • 데모보다 우리 요구사항을 제대로 이해하고 있는가?
2. 계약 전에 무엇을 더 확인해야 하는지
   • 개발만이 아니라 보안·법률·운영 같은 다른 관점에서도 이 프로젝트를 보고 있는가?

겉으로 보이는 데모보다도 더 중요한 건 우리 업무와 데이터를 얼마나 이해하는지, 그리고 개발 밖의 위험까지 함께 고려하는지입니다.

그래서 첫 미팅에서 업체를 바로 고르기보다, 추가로 확인할 위험과 다음 미팅에서 확인할 항목을 정하세요.

업체가 아직 우리 데이터를 보지 못했다면, 바로 답하지 못하는 항목이 있는 게 당연합니다. 오히려 데이터를 보지도 않고 기간과 금액을 딱 잘라 말한다면, 그 숫자가 무엇을 전제로 나왔는지 물어보세요.

미팅에서 쓸 네 가지 질문

질문은 위의 두 기준에 맞춰 가장 중요한 내용을 담아 네 가지로 정리했습니다. 1·2번으로는 이 업체가 우리 프로젝트에 맞는지를, 3·4번으로는 계약 전에 무엇을 더 확인해야 하는지를 확인합니다.

포너즈가 실제 첫 미팅에서 고객분들께 가장 많이 받는 질문들을 보면, "AI 도입이 진짜 효과가 있을까요?", "앞으로도 계속 성능을 개선하고 유지보수할 수 있을까요?", "이 분야를 해 보셨나요?" 같은 걱정을 많이 하십니다. 아래 네 가지 질문은 이 걱정을 직접 확인하실 수 있는 효과적인 방법입니다. 하나씩 살펴보겠습니다.

1. 이번 프로젝트에서 AI를 어디까지 적용하면 좋을까요?

이 질문은 업체가 우리 요구사항을 이해하고, AI가 필요한 곳과 아닌 곳을 가려 설계하는지 보려는 것입니다.

잘 이해한 업체라면 AI 대신 기존 규칙, 기존 검색, 담당자 승인으로 처리할 업무를 함께 이야기합니다. 예를 들어 금액 계산은 기존 규칙 엔진에 두고, AI는 문서 검색과 설명만 맡기는 식입니다. 데이터 샘플, 기존 시스템, 담당자 인터뷰 중 무엇부터 보겠다고 하는지도 들어보세요.

AI 범위를 줄이는 건 소극적인 판단이 아닙니다. 틀리면 손해가 큰 업무를 규칙으로 처리하면, AI를 검증할 범위도 운영 중 사고 위험도 함께 줄어듭니다.

그림 1. 금액 계산을 규칙 엔진에 두면 AI 평가 범위가 문서 검색·설명으로 좁아집니다.

2. AI가 제대로 작동하는지는 어떻게 확인하나요?

이 질문은 "잘 된다"는 말을 무엇으로 증명할지 보려는 것입니다. 검증 방법이 정해지지 않으면 납품 때 합격 여부를 가를 기준이 없습니다.

평가 질문을 누가 몇 개 만들고 정답은 누가 판정하는지 들어보세요. RAG(문서를 검색해 답하는 방식)라면 검색과 생성을 나눠 보는지도 확인하세요. Microsoft의 RAG 평가 자료도 검색 문맥의 적합성·회수율과 답변의 근거성·관련성을 별도 지표로 다룹니다. Microsoft RAG 평가 지표

이어서 "어떤 경우에 잘 안 되던가요?"라고 물어보세요. 스캔 PDF, 표가 많은 문서, 줄임말이 섞인 질문, 권한이 갈리는 문서처럼 실패 지점을 구체적으로 말한다면 비슷한 시스템을 운영해 본 경험이 있다는 신호입니다.

그림 2. RAG는 검색과 생성을 나눠 잽니다. 평가 질문을 만드는 사람과 정답을 판정하는 사람도 함께 확인합니다.

3. 개인정보나 보안, 법적인 문제는 어떻게 대비하나요?

이 질문은 업체가 개발 밖의 위험까지 보고 있는지 확인하려는 것입니다. 우리 데이터는 업체 서버만이 아니라 외부 모델 제공사나 재위탁 업체로 갈 수도 있습니다.

"학습에 쓰지 않습니다"는 답의 시작이지 끝이 아닙니다. 수집·전송·저장·로그·삭제·재위탁까지 이어지는 흐름을 요청하세요. 개인정보보호위원회의 2025년 안내서는 생성형 AI 수명주기 각 단계에서 개인정보 처리 이슈와 안전조치를 검토하도록 구성돼 있습니다. 생성형 AI 개인정보 처리 안내서

AI가 사내 시스템을 직접 조작한다면, 프롬프트 인젝션(입력에 숨은 지시를 넣어 AI가 원래 규칙을 무시하게 만드는 공격)이나 권한 밖의 동작을 어떻게 막고 시험하는지도 물어보세요. 이런 공격은 일반 웹 보안 점검만으로는 걸러지지 않습니다. OWASP LLM 애플리케이션 Top 10

그림 3. 수집·전송·저장·로그·재위탁 경로. 저장소와 로그마다 보관 기간과 삭제 절차를 묻습니다.

4. 오픈한 뒤 운영과 인수인계는 어떻게 진행하나요?

이 질문은 계약이 끝난 뒤에도 서비스를 이어갈 수 있는지 보려는 것입니다.

운영 중에는 문서가 바뀌고, 모델의 가격과 버전도 바뀝니다. 바뀐 문서를 누가 반영하는지, 모델을 바꿀 때 기존 기능이 그대로 되는지 다시 확인하는지 들어보세요.

납품 때는 소스코드만이 아니라 배포 설정, 평가 데이터, 계정, 운영 문서가 인수 목록에 있는지 확인하세요. 받는 것이 소스코드뿐이면 다른 업체로 옮기거나 직접 운영하기 어렵습니다. 소프트웨어 임치(업체의 소스코드를 제3의 기관에 맡겨 두는 제도)를 활용할지도 이 시점에 논의할 수 있습니다. 한국저작권위원회 SW 임치

미팅 뒤 확인하지 못한 항목 정리하기

첫 미팅에서 모든 항목이 확정될 필요는 없습니다. 답을 듣지 못한 항목이 있다고 업체를 탈락시킬 이유도 없습니다. 항목마다 아래 네 가지 상태 중 하나로 적고, 확인하지 못한 항목은 추가 검토, 제안서 조건, 계약 협의에서 다시 다루면 됩니다.

그림 4. 미팅 뒤 항목별 상태와 넘길 곳. 데이터를 본 뒤 확정할 조건이 유상 진단이나 PoC의 범위가 됩니다.

기록은 확인된 사실, 업체의 가정, 제공받은 증거, 추가 요청 자료로 나눠 적으세요.

그 기록으로 작은 유상 진단이나 PoC 범위를 정하면, 영업 발표가 아니라 실제 작업 방식으로 업체를 비교할 수 있습니다.

NIST AI RMF(미국 국립표준기술연구소 NIST가 2023년에 내놓은 AI 위험관리 프레임워크로, AI 시스템의 위험을 파악하고 관리하는 기준을 정리한 문서)는 시험 데이터·지표·도구를 문서화하고 실제 배포 환경과 유사한 조건에서 성능을 측정하도록 제시합니다. 첫 미팅에서 이 수준을 요구할 수는 없지만, 어떤 절차로 그 상태에 도달할지는 들을 수 있습니다. NIST AI RMF Measure

이 방법은 후보 업체가 둘 이상이고 후속 미팅이나 자료 요청이 가능한 상황에 맞습니다.

이 글은 어떤 답변이 실제 구축 성공률과 상관관계가 있는지 조사하지 않았습니다.

자주 묻는 질문

첫 미팅에서 네 가지를 다 물어봐야 하나요?

1·2·4번은 대부분의 프로젝트에서 유효합니다. 3번은 개인정보를 다루지 않고 AI가 사내 시스템을 직접 조작하지도 않는다면 짧게 확인하고 넘어가도 됩니다.

업체가 답을 못 하면 탈락시켜야 하나요?

답을 모르는 것과 확인 절차를 못 말하는 것은 다릅니다. "데이터를 봐야 알 수 있고, 다음 주까지 샘플 검토 후 알려드리겠다"는 답은 정상입니다. 무엇을 언제 확인할지 말하지 못하는 경우에만 추가 확인이 필요합니다.

기술 담당자를 데려가야 하나요?

2·3번은 기술 배경이 있으면 더 깊이 들어갈 수 있습니다. 어렵다면 답변을 그대로 받아 적어 두었다가 사내 개발자에게 검토를 요청하는 방법도 있습니다.

견적을 첫 미팅에서 받아도 되나요?

받을 수는 있습니다. 다만 데이터를 보지 않은 상태의 숫자이므로 가정과 제외 범위를 함께 서면으로 받으세요. 그 가정이 나중에 변경 사유가 됩니다.

참고자료

• NIST, AI RMF Core: Measure, 2026-09-01 확인.
• 개인정보보호위원회, 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서, 2025-08.
• OWASP, Top 10 for Large Language Model Applications.
• Microsoft, RAG evaluators.
• 한국저작권위원회, 소프트웨어 임치제도.