AI는 왜 같은 질문에도 매번 다른 답을 내놓을까

 

AI 챗봇이 자꾸 '딴소리' 하는 이유, 궁금하지 않으세요?

요즘 AI 챗봇 많이 사용하시죠? 똑같은 질문을 여러 번 했는데도 답변이 매번 조금씩 달라서 당황한 적이 있을 거예요 . 실제로 어떤 사람이 GPT 모델에게 교육 관련 질문을 던졌는데, 답변이 마음에 들지 않아 다시 시도했더니 매번 내용이 달랐다고 해요 . 심지어 동일한 질문을 여러 사용자에게 물어봐도 답변의 구조나 예시가 서로 다르게 나오기도 했대요 . 대체 왜 AI는 우리에게 늘 일관된 답을 주지 않는 걸까요?

 

이런 현상은 AI가 다음에 올 단어를 예측할 때 확률을 이용하기 때문이에요 . AI는 단순히 가장 가능성이 높은 답 하나만 결정하는 게 아니에요. 여러 후보 중에서 확률 분포를 기반으로 하나를 골라내는 샘플링 과정을 거쳐요 . 이렇게 확률에 기반해서 답변을 만들기 때문에, 같은 질문이라도 실행할 때마다 다른 단어의 순서가 선택될 수 있어요 . 그래서 AI는 매번 다른 답변을 내놓는 것이죠.

 

AI의 '랜덤성'을 조절하는 비밀 버튼이 있다고요?

AI의 답변이 얼마나 '랜덤'하고 '다양'할지를 조절하는 아주 중요한 설정이 있어요. 바로 'Temperature(온도)'라는 하이퍼파라미터예요 . Temperature 값을 높이면 AI는 확률이 낮은 응답도 선택할 가능성이 커져요 . 쉽게 말해 답변이 더 다양하고 창의적으로 변하는 것이죠.

 

반대로 Temperature 값을 낮추면 어떻게 될까요? AI는 가장 확률이 높은 단어만 고르려고 해요 . 이 경우 AI는 보다 일관되고 반복적인 응답을 생성하게 됩니다 . Temperature가 낮을수록 '안전한' 선택을 하고, 높을수록 '모험적인' 선택을 하는 셈이에요 . 예를 들어, 매우 낮은 온도(0.2)에서는 특정 예측('apples')의 확률이 거의 1에 가깝지만, 높은 온도(50)에서는 'onions', 'pants', 'shoes' 등 여러 후보가 고른 확률로 분포한다고 해요 . 이 설정값 하나로 AI의 성격이 확 달라지는 것이죠.

 

AI는 방금 나눈 대화를 다 기억하고 있나요?

AI 챗봇은 우리가 생각하는 것보다 훨씬 더 '눈치'가 빠르고 맥락에 민감해요 . 챗봇과의 대화에서는 여러분의 질문뿐만 아니라, 이전에 주고받았던 모든 대화 내용이 중요한 컨텍스트(맥락)로 고려된답니다 . 심지어 AI가 미리 설정받은 지시(시스템 프롬프트)까지도 답변에 영향을 주죠 .

 

예를 들어, 이전 대화에서 마케팅에 대해 이야기하고 있었다면, AI는 같은 질문이라도 마케팅 관점에서 답을 구성해요 . 또, 대화 분위기가 캐주얼한 톤으로 형성됐다면 AI는 그 어조를 계속 유지하려고 노력한대요 . 심지어 질문자가 잘못된 전제를 가지고 물어보면 AI는 그 '입맛에 맞춘' 왜곡된 답을 내놓는 연구 사례도 있었어요 . AI는 질문 자체의 표현 방식이나 직전 맥락의 미세한 차이에 따라서도 그때그때 최적이라고 판단한 답을 구성하기 때문이에요 .

 

 

정답이 없는 질문에는 AI도 고민을 많이 한다고요?

생성형 AI는 정답이 딱 하나로 정해지지 않은 질문에 대해 매우 유연하게 대처해요 . 만약 명확한 사실을 묻는 질문이라면 AI는 거의 동일한 답을 내놓을 거예요 . 하지만 창의력을 요구하거나 의견을 물어보는 질문의 경우, 답변의 방향이나 내용이 매번 달라질 수 있죠 .

 

한 실험 결과에 따르면, 사실 질문의 답은 일치했지만, 창의적인 과제에서는 사용자마다 완전히 다른 구조의 시가 생성되었대요 . 의견을 묻는 질문 역시 큰 뼈대는 유사해도 세부적인 예시나 강조점이 제각기 달랐다고 해요 . 이는 하나의 질문에도 여러 가지 합리적인 답변 경로가 존재할 때, AI가 매번 새로운 생성을 시도할 때마다 그중 다른 방향을 택하기 때문이에요 . AI는 광범위한 지식과 패턴을 학습했기 때문에 동일한 질문이라도 여러 근거와 관점을 조합하여 그럴듯한 답변을 구성할 수 있는 유연성을 갖고 있는 것이죠 .

 

AI에게 원하는 답을 얻으려면 질문을 어떻게 바꿔야 할까요?

업무상 늘 일관된 답변이 필요하다면, AI의 '랜덤성'을 최대한 통제하는 방식으로 접근해야 해요 . 가장 중요한 것은 질문을 명확하고 구체적으로 작성하는 거예요 . "결과의 구체성은 질문의 구체성과 직접적인 관련이 있다"는 지적처럼, 질문을 상세히 좁혀줄수록 AI가 엉뚱한 방향으로 빠질 가능성이 줄어든답니다 .

 

예를 들어, 단순히 "오늘 날씨 알려줘"라고 묻기보다 "서울 지역의 오늘 기온과 강수 확률을 알려줘"처럼 조건을 분명히 하는 것이 좋죠 . 또한, 앞서 배운 대로 무작위성을 낮추기 위해 Temperature 값을 낮추는 것이 도움이 돼요. API를 사용할 수 있다면 Temperature를 0에 가깝게 설정하면 된답니다 . 게다가, 이전 대화 맥락이 섞이는 것을 막기 위해 가능하면 매번 새로운 대화 세션에서 질문을 시작하는 것도 권장되는 방법이에요 .

 

첫 답변이 마음에 안 들면 어떻게 해야 하죠?

만약 첫 답변이 기대했던 내용이 아니더라도 실망하지 마세요. AI와의 대화는 계속 피드백을 주면서 답변을 조정할 수 있답니다 . 첫 답변에서 부족했던 부분이나, 더 강조하고 싶은 방향을 파악한 뒤 후속 질문을 추가해 보세요 .

 

예를 들어, 개략적인 답이 나왔다면 "좀 더 기술적인 세부 정보를 추가해 줄래?" 또는 "이 답을 마케팅 관점에서 다시 설명해줘" 같이 원하는 요소를 강조하며 다시 물어볼 수 있어요 . 중요한 것은 AI도 사람처럼 대화하며 피드백을 통해 답변을 조정할 수 있다는 점이에요 . 질문을 반복하고 수정하면서 원하는 대답에 점진적으로 가까워지도록 유도하는 전략이 효과적이랍니다 .

 

 

다양한 아이디어를 얻고 싶을 때 AI를 어떻게 활용해야 할까요?

AI의 응답이 다양하다는 특징을 오히려 적극적으로 활용할 수도 있어요. 브레인스토밍이 필요할 때 아주 유용하죠 . 만약 같은 질문에 대해 여러 가지 답변을 얻고 싶다면, 일부러 여러 번 질문하여 다양한 결과를 비교해볼 수 있어요 .

 

실제로 한 연구에서는 질문을 여러 번(특히 무작위성 설정을 높였을 때) 물어보면 단 한 번의 응답보다 훨씬 폭넓은 아이디어를 얻을 수 있었다고 보고해요 . 예를 들어, "원격 근무에 대한 블로그 포스트 아이디어를 알려줘"라고 다섯 번 반복해서 물어보면, 매번 겹치지 않는 다양한 관점의 아이디어 목록을 얻을 수 있다는 것이죠 . 이는 마치 여러 동료에게 각각 의견을 물어본 것과 같은 효과를 낼 수 있답니다 . 코딩 문제에 대한 여러 가지 풀이 방법을 AI에게 물어보고 각 풀이의 장단점을 비교해보면 더 깊은 이해를 얻을 수도 있고요 . 결국, 여러 번 질문하는 전략을 통해 AI의 다채로운 답변을 확보하고 최적의 아이디어를 선택할 수 있어요 .