ChatGPT, 회사에서 써봤는데… 제가 헤매고 깨달은 3가지

지난주 후배가 'ChatGPT 업무에 잘 쓰는 팁 없어요?' 묻더라고요. 저도 처음엔 똑같은 고민을 했죠. 다들 좋다고 하는데, 막상 써보면 생각만큼 똑똑하지 않거든요.

제가 1년 넘게 ChatGPT를 회사 업무에 쓰면서 헤매고 깨달은 것들이 많습니다. 처음엔 뭐 대단한 비법이 있는 줄 알았어요. 결론부터 말씀드리면, ChatGPT는 시키는 대로만 하는 똑똑한 신입사원과 비슷합니다. 어떻게 시키느냐가 가장 중요해요.

회사에서 ChatGPT, 속는 셈 치고 써봤습니다

솔직히 처음엔 ChatGPT가 엄청난 마법 지팡이인 줄 알았습니다. 클릭 몇 번으로 모든 업무가 끝날 줄 알았죠. 근데 현실은 달랐습니다. 대충 물어보면 대충 답해주더라고요. '보고서 초안 써줘'라고 했더니, 영혼 없는 문장만 가득한 보고서를 뱉어내서 다시 제가 다 고쳤습니다. 시간만 더 들었죠. 동료들도 비슷했습니다. '이거 쓸모없다'는 말이 많았어요. 제가 써보면서 느낀 건, 이건 단순히 검색 엔진이 아니라는 겁니다. 대화형 AI죠. 그래서 대화하듯이, 구체적으로 지시해야 제대로 작동합니다.

제가 처음 ChatGPT를 업무에 도입할 때 가장 먼저 한 건, 제가 맡은 업무 중에 단순 반복적이거나 초안 작성이 필요한 부분을 쭉 나열해보는 거였습니다. 이메일 답장, 회의록 요약, 간단한 보도자료 초안 같은 것들이요. ChatGPT가 이런 작업에 의외로 꽤 강하더라고요. 한 번은 마케팅 아이디어를 짜야 했는데, 제가 생각하는 범위를 훌쩍 넘는 아이디어를 몇 초 만에 쏟아내서 놀랐습니다. 물론 그대로 쓸 순 없었지만, 제 사고의 폭을 넓히는 데는 확실히 도움 됐어요.

포인트: ChatGPT는 똑똑한 비서입니다. 대충 시키면 대충 하고, 구체적으로 시키면 기대 이상의 결과를 내줘요.

똑똑하게 일 시키는 법, 제가 해보니 이거였어요

ChatGPT를 업무에 잘 쓰려면 결국 '프롬프트'를 잘 만들어야 합니다. 프롬프트가 뭐냐면, AI한테 내릴 지시문 같은 거예요. 저는 이 프롬프트를 만드는 데 시행착오를 꽤 겪었는데, 몇 가지 원칙을 세우고 나니 훨씬 좋아졌습니다. 핵심은 '역할 부여', '구체적 목표', 그리고 '제약 조건'입니다. 단순히 '보고서 써줘'가 아니라, '너는 지금 신입 마케터야. 20대 타겟으로 신제품 런칭 보고서 초안을 써줘. 보고서는 3가지 핵심 강점 위주로 500자 이내로 작성해줘.' 이런 식으로요. 이렇게 시키니 훨씬 만족스러운 결과가 나왔습니다.

제가 특히 중요하게 생각하는 건 '페르소나'를 부여하는 겁니다. 예를 들어, '너는 이제 글쓰기 코치야. 내가 쓴 초안을 읽고 문법 오류와 비문, 그리고 더 자연스러운 표현을 제안해줘. 단, 말투는 격식 있고 전문적으로 해줘.' 이렇게요. 이렇게 역할을 주면 AI가 그 역할에 맞춰서 답변의 톤과 내용을 조절합니다. 처음엔 이걸 몰라서 여러 번 시도했는데, 딱 이 세 가지만 지키면 ChatGPT가 진짜 똑똑하게 일하는 걸 볼 수 있습니다.

직장인 업무에 ChatGPT, 이렇게 써보니 좋더군요

제가 실제로 회사에서 ChatGPT를 사용하면서 가장 효과를 본 몇 가지 업무 사례를 말씀드릴게요. 첫째는 초안 작성입니다. 특히 처음 시작하기 막막한 기획서나 보고서, 이메일 답장 같은 경우에 유용합니다. 제가 대략적인 아이디어와 핵심 키워드를 던져주면, ChatGPT가 기본적인 틀을 잡아줘요. 이걸 바탕으로 제가 살을 붙이면 되니, 빈 문서 앞에서 고민하는 시간이 확 줄었습니다.

둘째는 자료 요약 및 분석입니다. 긴 회의록이나 해외 기사, 리서치 자료를 빠르게 요약해달라고 요청합니다. 핵심만 뽑아달라거나, 특정 관점에서 분석해달라고 하면 수십 페이지 자료도 1분 안에 정리해주죠. 예를 들어, '이 50페이지짜리 시장 보고서에서 우리 회사 경쟁사 관련 내용만 뽑아서 300자 이내로 요약해줘.'라고 시키는 식입니다. 이 작업은 최소 30분에서 1시간 걸리던 것을 5분 이내로 줄여줬습니다.

셋째는 아이디어 발상 및 브레인스토밍입니다. 새로운 프로젝트를 시작하거나 문제 해결 방안을 찾을 때, 제가 미처 생각지 못한 관점이나 아이디어를 얻을 수 있었습니다. '30대 미혼 여성 직장인을 위한 재테크 서비스 아이디어 5가지 제안해줘. 각 아이디어별로 타겟층과 예상 수익 모델도 포함해줘.' 이렇게 구체적으로 요청하면, 진짜 기발한 아이디어들을 많이 얻을 수 있습니다. 저는 이렇게 받은 아이디어를 바탕으로 다시 제 생각을 정리하고 발전시키는 편입니다.

ChatGPT만 믿다간 큰코다쳐요: 함정 몇 가지

ChatGPT가 만능은 아닙니다. 제가 써보면서 몇 가지 함정을 발견했는데, 이걸 모르고 쓰면 오히려 독이 될 수 있습니다. 가장 큰 문제는 정보의 부정확성, 즉 '환각(Hallucination)' 현상입니다. ChatGPT가 자신 있게 말해도 틀린 정보가 섞여 있을 수 있어요. 특히 숫자나 통계, 최신 시사 정보 등은 반드시 제가 다시 한번 확인해야 합니다. 한 번은 중요 보고서에 쓸 통계를 ChatGPT가 생성해줬는데, 제가 직접 찾아보니 아예 없는 통계였습니다. 큰일 날 뻔했죠. 그래서 저는 중요한 정보는 항상 크로스 체크하는 습관을 들였습니다.

또 하나는 데이터 보안 문제입니다. 회사 기밀이나 개인 정보가 포함된 내용은 절대 ChatGPT에 입력하면 안 됩니다. 입력된 정보는 AI 학습에 활용될 가능성이 있고, 외부로 유출될 위험도 배제할 수 없거든요. 그래서 저는 민감한 내용은 직접 입력하지 않고, 일반적인 정보나 가상의 시나리오를 활용해서 질문하는 편입니다. 요즘은 기업용 AI 솔루션도 많이 나오는데, 이런 부분에서 더 안전할 수 있다고 하더라고요. 일반 ChatGPT를 쓸 때는 항상 이 점을 명심해야 합니다.

제가 써보니, 이런 업데이트가 아쉽습니다

ChatGPT가 계속 발전하고 있지만, 제가 업무에 써보면서 아쉬웠던 점도 있습니다. 저는 특히 최신 정보 반영 속도가 좀 더 빨라지면 좋겠다고 생각합니다. 2026년 현재 기준으로도, 실시간으로 바뀌는 주식 시장 정보나 정부 정책 같은 건 바로바로 반영이 안 되더라고요. 그래서 이런 정보는 결국 제가 직접 검색해서 찾아야 합니다. 언젠가는 실시간 정보를 완벽하게 반영해서 제 질문에 오류 없이 답해줄 날이 오겠죠. 그러면 업무 시간이 더 줄어들 겁니다.

그리고 긴 문맥 이해 능력도 아직은 좀 아쉽습니다. 제가 긴 대화를 이어가다 보면, 초반에 했던 지시나 맥락을 잊어버리고 엉뚱한 답변을 할 때가 종종 있습니다. 그러면 다시 처음부터 지시해야 하죠. 이게 생각보다 번거로워요. 좀 더 긴 호흡으로 대화를 기억하고, 이전 지시를 계속 유지하는 능력이 생긴다면 훨씬 생산성이 높아질 겁니다. 이런 점들이 개선된다면, ChatGPT는 단순히 보조 도구를 넘어 진짜 '똑똑한 동료'가 될 수 있을 거라고 저는 생각합니다.