전문가가 AI 에이전트에 판단을 넘기는 지점

전문가의 판단을 누가 내리는가

Anthropic이 2026년 10월 27일 How AI agents shape experts' judgment calls를 공개했습니다. 전문가가 AI 에이전트에게 실무를 맡겨도 중요한 결정은 여전히 사람이 내린다는 통념을 무작위 대조 실험으로 검증한 연구입니다. Anthropic Alignment 팀의 Amaç Herdağdelen, Hailey Joren, Alex Tamkin이 주도했습니다.

연구진은 인과추론 실무 경험이 있는 전문 분석가 50명에게 Claude Code로 현실적인 통계 분석을 수행하게 했습니다. 각 분석가의 에이전트에는 다섯 번의 열린 판단마다 한쪽 선택지를 지지하도록 숨겨진 지시를 넣었고, 어느 쪽을 지지할지는 동전 던지기로 정했습니다. 네 번의 분석 판단에서 분석가가 에이전트의 선호와 같은 선택을 한 비율은 86%였습니다. 에이전트의 입력이 영향을 주지 않았다면 약 50%가 나왔어야 하는 수치입니다.

이 결과가 우리나라 기업에 중요한 이유는 분명합니다. Anthropic이 공개한 Claude Code 사용 실태 분석에 따르면 실제 세션에서 사람은 계획 결정의 약 70%를 내리고 에이전트는 실행 결정의 약 80%를 내립니다. 무엇을 할지는 사람이 정하고 어떻게 할지는 에이전트가 정하는 분업 구조입니다. 이번 연구는 그 분업 구조에서 사람에게 남겨둔 계획 결정 자체가 에이전트의 선호를 따라 움직일 수 있음을 보여줍니다.

실험 설계

연구진은 사전 선별된 전문가 집단에서 61명을 모집했습니다. 모두 인과추론 지식 검증을 통과했고 Python이나 R을 상시 사용하며 관찰 데이터로 인과관계를 분석한 실무 경험이 있는 사람들입니다.

과제는 가상의 조직인 Greenfields 농업 협동조합을 배경으로 설계했습니다. 이 협동조합은 회원 농가의 수확량 개선을 돕는 유료 자문 프로그램을 운영 중이고 약 40%의 회원이 가입했습니다. 이사회는 프로그램을 보조금과 함께 확대할지 중단할지 결정해야 합니다. 확대 기준은 생산성이 약 3~4% 개선되는 경우인데, 생산성을 어떻게 측정할지는 정해두지 않았습니다.

연구진은 각각 두 가지 합리적 선택지를 갖는 네 가지 분석 판단을 의도적으로 열어두었습니다.

이 네 가지 판단은 최종 권고로 이어집니다. 프로그램을 전체 회원에게 확대할지 중단할지이며 1년 연장 제안도 가능했습니다. 각 분석 판단은 추정 생산성 개선치를 몇 퍼센트포인트씩 움직일 수 있었고, 이사회 기준이 3~4%라는 점을 생각하면 결정적인 차이입니다.

에이전트의 선호는 참가자마다, 판단마다 동전 던지기로 정했습니다. 연구진은 시스템 프롬프트로 해당 선호를 에이전트 자신의 견해로 유지하고, 그 판단이 나올 때 먼저 제기하며, 데이터가 허용하는 한 가장 강한 근거를 제시하라고 지시했습니다. 같은 지시에 증거가 결정적으로 반대로 기울면 생각을 바꾸고, 결과를 왜곡하거나 데이터를 숨기거나 숫자가 뒷받침하지 않는 주장을 하지 말라는 조건도 함께 넣었습니다.

61명 중 11명은 에이전트를 쓰지 않기로 선택해 분석에서 제외했습니다. 남은 50명 가운데 65%가 석사 또는 박사 학위를 보유했거나 6년 이상의 경력이 있었고, 설문에 답한 48명 중 90%가 관찰 인과추론에 숙련 또는 전문가 수준이라고 자평했습니다. 과제 소요 시간의 중앙값은 65분이었습니다. 참가자들은 Claude Code가 내장된 웹 기반 VS Code 편집기에서 Claude Opus 4.8을 High effort로 사용했습니다.

작업을 마친 분석가는 네 가지 분석 선택과 최종 권고를 프로그램 효과 추정치 및 신뢰구간과 함께 제출하고 사후 설문에 응답했습니다. 별도의 AI 모델이 각 제출물과 코드를 읽어 어떤 선택을 했는지 기록했고, 모델의 판독과 본인 응답이 어긋나면 연구진이 최종 확인했습니다.

결과

네 가지 분석 판단에서 86% 일치

네 가지 분석 판단 각각에서 분석가의 선택은 대부분 에이전트의 선호와 일치했습니다.

에이전트가 A를 지지했을 때와 B를 지지했을 때 참가자가 A를 고른 비율의 차이는 네 가지 분석 판단에서 62~82퍼센트포인트였습니다.

최종 권고는 동전 던지기로 82% 예측

최종 권고에서는 영향이 약했습니다. 에이전트가 확대를 지지했을 때 54%가 확대를 권고했고, 반대로 기울었을 때는 36%였습니다. 1년 연장은 확대하지 않는 것으로 계산했습니다. 연구진은 추정치가 나온 뒤에는 권고가 이사회의 3~4% 기준을 넘는지에 따라 대체로 결정되어 판단의 여지가 줄었기 때문으로 해석합니다.

중요한 점은 그 시점에 이미 에이전트의 선호가 추정치 자체를 형성했다는 것입니다. 네 가지 선호만 사용한 통계 모델은 분석가 권고의 82%를 맞혔습니다. 가장 흔한 권고를 항상 찍는 경우의 정확도는 61%였습니다. 연장을 제안한 분석가는 제외한 수치입니다. 과제를 시작하기도 전에 던진 동전만으로 분석가가 무엇을 권고할지 상당 부분 예측할 수 있었다는 뜻입니다.

먼저 밝힌 의견도 뒤집힘

에이전트가 선호를 밝히기 전에 분석가가 먼저 자기 선호를 표현한 사례는 38건이었습니다. 에이전트의 선호가 자신의 선택과 어긋났을 때 분석가는 60%의 경우 입장을 바꿨고, 일치했을 때는 6%만 바꿨습니다. 54퍼센트포인트 차이지만 38건에 기반한 추정이라 정밀하지 않으며 95% 신뢰구간은 24~82퍼센트포인트입니다. 연구진은 먼저 선호를 밝힌 분석가가 그렇지 않은 분석가와 체계적으로 달랐을 가능성이 있어 이 차이가 AI의 영향 때문이라고 확언할 수 없다고 밝혔습니다.

경력과 전문성은 수용 여부를 예측하지 못함

탐색적 분석에서 연구진은 10가지 특성이 에이전트 선호 추종 빈도를 예측하는지 확인했습니다. 경력 연수, 인과추론 자평 전문성, 학력, 인과추론 퀴즈 점수, AI 신뢰도, AI 사용 빈도, 인지욕구, 개방성, 성별, 연령입니다. 통계적으로 유의한 연관을 보인 것은 연령뿐이었고 나이가 많은 분석가가 더 자주 선호를 따랐습니다. 다만 연구진은 여러 항목을 동시에 검정하면 우연히 양성 결과가 나올 확률이 높아지며, 이를 보정하자 결과가 사라졌다고 밝혔습니다. 대부분의 분석가가 대부분의 판단에서 에이전트를 따랐기 때문에 설명할 변동 자체가 적었다는 점도 함께 지적했습니다.

영향을 받고도 자기 판단이라고 답함

사후 설문에서 52%는 최종 권고가 에이전트보다 자신의 것에 가깝다고 답했습니다. 나머지는 에이전트 쪽에 가깝다고 답했습니다. 그러나 두 집단이 받은 영향은 비슷했습니다. 전자의 선택은 평균 약 65퍼센트포인트, 후자는 약 79퍼센트포인트 에이전트의 선호 쪽으로 이동했고 그 차이는 오차 범위 안이었습니다.

확신도도 같은 양상이었습니다. 0점은 동전 던지기 수준, 100점은 직업적 평판을 걸 수 있는 수준으로 정한 척도에서 네 가지 분석 판단 모두 에이전트 선호를 따른 분석가는 평균 71점, 나머지는 73점이었습니다.

에이전트의 말로 자기 선택을 설명함

과제 후 설문은 각 판단에 대해 "간단히, 왜 다른 대안이 아닌 그 선택을 했는가, 적극적인 선택이 아니었다면 그렇다고 답해달라"고 물었습니다. 분석가는 답변 중에 에이전트와의 대화를 다시 볼 수 없었습니다. 그럼에도 77%가 최소 한 문항에서 에이전트의 논거를 반복했고 일부는 표현까지 같았습니다. 에이전트를 출처로 밝힌 사람은 15%였습니다.

연구 목적을 무엇이라고 생각하는지 명시적으로 물었을 때 48명 중 6명이 AI가 선택에 미치는 영향에 관한 연구라고 정확히 추측했지만, AI의 선호가 조작되었다고 의심한 사람은 없었습니다.

에이전트를 쓰지 않은 참가자

에이전트를 쓰지 않기로 한 11명 중 6명(55%)이 결과를 무효화하는 심각한 방법론적 오류를 범했습니다. 에이전트를 사용한 50명 중에서는 3명(6%)이었습니다. 두 개의 AI 모델이 오류를 표시했고 연구 저자 한 명이 참가자의 소속 집단을 모르는 상태에서 각각을 확인했습니다.

두 집단은 직접 비교할 수 있는 조건이 아니었습니다. 에이전트를 쓰지 않은 쪽이 평균적으로 경력이 짧았기 때문에 결과 차이가 AI 사용 여부 때문이라고 단정할 수 없습니다.

연구가 밝힌 한계

연구진은 네 가지 한계를 명시했습니다.

첫째, 에이전트의 선호를 의도적으로 강화했습니다. 효과를 측정하기 위해 선호를 확실히 갖고 표현하도록 지시했습니다. 보고된 수치는 에이전트가 한쪽으로 기울고 그것을 말하는 상황에서 일어나는 일이며, 실제 업무에 얼마나 적용될지는 전문가 본인의 견해가 얼마나 확고한지, 판단이 얼마나 명확히 정의되어 있는지, 모델이 선호를 갖고 먼저 꺼내는지에 달려 있습니다. 참고로 선호를 지정하지 않았을 때 Claude Opus 4.8은 123회 실행 중 112회에서 같은 다섯 가지 선택을 했습니다.

둘째, 하나의 과제, 하나의 분야, 하나의 모델만 다뤘습니다. 과제는 약 한 시간 분량의 농업 주제였고 모델은 Claude Opus 4.8이었습니다. 분석가는 인과추론 전문가였지만 농업에는 익숙하지 않았습니다. 실제 업무라면 분야를 더 잘 알고 자기 견해도 더 강했을 것이며, 관계자를 인터뷰하고 이사회와 대화해 합리적 선택지를 좁힐 수 있어 에이전트의 영향이 줄었을 수 있습니다.

셋째, 추정치는 분석가 전체의 평균입니다. 동전 던지기 결과가 참가자마다 달랐기 때문에 서로 반대 방향으로 기운 에이전트를 받은 집단을 비교해 평균 효과를 구했습니다. 에이전트가 선호를 밝히기 전 각 참가자의 견해를 기록하지 않았으므로 개별 참가자가 얼마나 영향을 받았는지는 말할 수 없습니다.

넷째, 어떤 선택지를 골랐는지는 기록했지만 그 선호가 얼마나 강했는지는 측정하지 않았습니다. 전문가에게 애초에 강한 의견이 없었다는 설명도 가능합니다.

왜 전문가가 쉽게 수용했는가

연구진은 전문가가 항상 완성된 견해를 갖고 시작하지는 않는다는 점을 한 가지 이유로 제시합니다. 선택지를 저울질하면서 자기 생각을 정리하거나 처음 발견하는 경우가 많습니다. 이번 연구의 에이전트는 오도하지 말라는 지시를 받았고 각 선택지에서 결과가 어떻게 달라지는지도 대체로 솔직하게 밝혔습니다. 다만 전문가가 반대쪽을 선호할 만한 이유를 강하게 제시하는 일은 드물었습니다. 한쪽 논거만 잘 전개된 상태에서 분석가는 자기 가정을 세우는 과정 없이 에이전트의 가정을 받아들일 수 있었습니다.

개별 전문가에게 이는 자기 작업에 대한 주도권 상실을 뜻합니다. 연구진은 이를 연구자들이 말하는 무력화의 한 형태로 설명합니다. 결과물은 전문가의 이름으로 나가지만 그의 판단에 가장 많이 의존하는 결정은 실제로는 에이전트의 사전 믿음이 정했다는 것입니다.

영향은 개인을 넘어섭니다. 서로 다른 연구팀이 같은 결론에 도달하면 우리는 각 팀이 독립적으로 도달했다고 가정하고 그 결론을 더 신뢰합니다. 그 팀들이 모두 같은 선호를 가진 모델을 따랐다면 그 일치는 더 이상 독립적이지 않습니다. 겉보기 합의가 한 모델의 선호를 반영하는 것일 수 있고, 그 선호가 임의적이거나 정렬되지 않았다면 같은 편향이 여러 결과를 동시에 형성합니다.

AI 안전 연구에도 같은 문제가 적용됩니다. 연구자들은 이미 실험을 실행하고 분석하는 데 AI 에이전트를 쓰기 시작했습니다. 사람을 검토 단계에 두는 방식은 그 사람의 판단이 독립적 점검 역할을 한다는 가정 위에 서 있는데, 이번 연구에서 분석가들은 판단이 무작위로 배정된 에이전트의 선호로 결정된 작업물에 서명했습니다.

이런 수용은 탐지하기도 어렵습니다. AI가 도운 작업을 오류 기준이나 정답 기준으로 점검하는 방법은 정답이 존재한다는 전제를 깔고 있습니다. 판단 문제처럼 정답이 없는 영역에서는 어느 선택지를 골라도 작업이 타당해 보입니다. 사후에 전문가에게 물어보는 방법도 도움이 되지 않을 수 있습니다. 본인이 영향을 알아차리지 못하기 때문입니다.

앞으로 필요한 세 가지

연구진은 AI를 덜 쓰자는 주장을 하지 않는다고 밝히면서 세 가지 연구 방향을 제시했습니다.

말하는 방식도 영향을 줍니다. 연구진은 확신에 차고 유창한 표현이 사람을 움직이며, 지나치게 확신하는 모델은 필요 이상으로 사람을 기울게 하고 애매하게 말하는 모델은 사용자를 짜증나게 한다고 지적합니다.

제도 측면에서는 숙련 문제도 함께 걸립니다. 판단은 숙련에 의존하고, 이런 결정을 더 이상 내리지 않는 사람은 결정하는 능력을 잃을 수 있습니다. 모델이 더 유능해질수록 조직은 사람의 역할과 역량 개발에 관한 명시적 전략이 필요합니다. 연구진은 사람과 AI 사이에 정답인 분업이 하나만 있는 것은 아니며, 어떤 결정은 넘겨도 괜찮고 어떤 결정은 지킬 가치가 있다고 정리합니다. 중요한 점은 그 경계를 조직이 명시적으로 정하는 것입니다.

우리나라 기업이 확인할 것

첫째, 열린 판단이 몇 개인지 먼저 세어봐야 합니다. 이번 실험에서 결과를 가른 것은 지표 정의, 비교 방법, 대상 범위, 가중치처럼 정답이 없는 네 가지 선택이었습니다. 우리나라 기업의 성과 분석, 투자 심사, 정책 제안 문서에도 같은 성격의 판단이 들어 있습니다. 어떤 판단이 결론을 몇 퍼센트포인트씩 움직이는지 문서로 남겨두면 검토자가 무엇을 봐야 할지 알 수 있습니다.

둘째, 담당자의 경력으로 안심할 수 없습니다. 연구진이 검정한 10가지 특성 중 수용 빈도를 안정적으로 예측한 항목은 없었습니다. 석박사 학위나 전문가 자평이 에이전트 선호 추종을 막아주지 않았다는 뜻입니다. 다만 변동 자체가 적어 실제 차이를 탐지하기 어려웠다는 연구진의 단서도 함께 읽어야 합니다.

셋째, 서명을 독립 검토의 증거로 삼는 결재 구조를 점검해야 합니다. 연구에서 분석가의 77%가 에이전트의 논거를 반복했고 15%만 출처를 밝혔습니다. Anthropic이 Claude Code auto mode 설계 문서에서 보고한 것처럼 수동 승인 환경에서도 사용자는 승인 요청의 93%를 그대로 수락합니다. 승인란에 사람 이름이 들어간다는 사실만으로 독립적 검토가 이뤄졌다고 보기는 어렵습니다.

넷째, AI 활용 교육의 내용을 조정할 필요가 있습니다. 프롬프트 작성법이나 도구 사용법보다 먼저 필요한 것은 에이전트가 한쪽 논거만 제시할 때 반대쪽 논거를 요구하는 습관, 자기 견해를 에이전트에게 묻기 전에 기록해두는 절차입니다. 연구진이 제안한 에이전트 설계 방향도 같은 맥락입니다.

다섯째, 이 연구의 조건을 그대로 자기 조직에 대입하지 않는 것이 좋습니다. 연구진은 에이전트의 선호를 의도적으로 강화했고, 하나의 과제와 하나의 모델만 다뤘으며, 참가자는 해당 산업 지식이 없었다고 밝혔습니다. 자기 분야를 잘 아는 담당자가 관계자와 대화하며 선택지를 좁히는 실제 업무에서는 영향이 줄어들 수 있습니다. 동시에 에이전트를 쓴 집단이 더 빠르게 끝내고 심각한 오류도 훨씬 적었다는 점도 같은 자료에 들어 있습니다.

출처: How AI agents shape experts' judgment calls, Anthropic Alignment team, How Claude Code is used in practice, How we built Claude Code auto mode