AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights 논문 정리

한 줄 요약

LLM이 이력서를 평가할 때, 자신이 만든 문장을 더 좋게 판단할 수 있다.

이 편향은 단순한 글쓰기 품질 차이가 아니다.
논문은 후보자의 실제 경력과 자격을 고정한 뒤에도, 평가 LLM이 자기 문체에 가까운 이력서를 더 자주 선택한다는 점을 보인다.

채용 현장에서는 결과가 꽤 크다.

• 같은 LLM을 써서 이력서를 만든 지원자는 면접 후보에 오를 확률이 더 높아진다.
• 인간이 직접 쓴 이력서는 같은 자격을 갖고도 불리해진다.
• 특히 영업, 회계, 사업개발, 금융 등 일부 직군에서 격차가 두드러진다.

---

문제의식: 이제 LLM은 ‘작성자’이자 ‘심사자’다

지원자는 LLM으로 이력서를 다듬는다.
기업은 LLM으로 이력서를 선별한다.

문제는 여기서 생긴다.

같은 모델이 한쪽에서는 글을 만들고, 다른 한쪽에서는 그 글을 평가한다.
이때 평가 LLM은 내용보다 자신이 생성한 문체와 표현 방식에 더 익숙할 수 있다.

논문은 이를 AI 자기 선호 편향으로 본다.

 

주목할 부분: 같은 평가자 LLM이 작성자 유형만 다른 이력서를 비교한다는 구조가 이 연구의 출발점입니다.

연구는 자기 선호를 두 가지로 나눈다.

• LLM-vs-Human: 평가 LLM이 자신이 만든 이력서를 인간이 쓴 이력서보다 선호하는가?
• LLM-vs-LLM: 평가 LLM이 다른 LLM이 만든 이력서보다 자신이 만든 이력서를 선호하는가?

핵심은 “누가 더 잘 썼는가”가 아니다.
핵심은 “동일한 후보자 정보가 있을 때, 출처가 평가를 바꾸는가”다.

---

실험 설계: 후보자는 그대로, 요약 문장만 바꾼다

저자들은 실제 이력서 데이터를 사용한다.

• 원본 데이터: LiveCareer.com의 인간 작성 이력서
• 정제 후 표본: 2,245개 이력서
• 대상 영역: 이력서의 executive summary
• 고정한 정보: 학력, 경력, 기술, 기타 이력서 본문
• 바꾼 정보: 요약 문장의 표현 방식

즉, 같은 후보자를 두고 요약 문장만 바꾼다.

그다음 여러 LLM이 해당 요약을 생성한다.

사용된 모델은 GPT-4o, GPT-4o-mini, GPT-4-turbo, LLaMA 계열, Mistral-7B, Qwen-2.5-72B, DeepSeek-V3 등이다.

 

주목할 부분: 후보자의 사실 정보는 유지하고, 요약 문장의 생성 주체만 바꾸는 설계가 핵심입니다.

실험은 두 단계로 진행된다.

1. 반사실 이력서 생성
   원본 이력서에서 요약 부분을 제거하고, LLM이 새 요약을 작성한다.
2. 쌍대 비교 평가
   평가 LLM은 두 개의 요약을 보고 더 강한 이력서를 고른다.

저자들은 몇 가지 혼선을 줄였다.

• 너무 긴 글을 선호하는 문제를 줄이기 위해 요약 길이를 제한했다.
• A/B 위치에 따른 선택 편향을 줄이기 위해 제시 순서를 섞었다.
• 글의 명료성, 유창성, 정보 보존 정도 등을 통제했다.
• 일부 비교는 인간 평가자 18명의 판단과도 대조했다.

---

측정 방식: 단순 선호와 품질 통제 후 선호를 분리한다

논문은 두 가지 관점으로 편향을 측정한다.

 

첫째, 단순 선택률 차이다.
평가 LLM이 자신이 만든 이력서를 인간 또는 다른 LLM의 이력서보다 얼마나 더 자주 고르는지 본다.

 

둘째, 품질을 통제한 뒤의 선택률 차이다.
이 방식은 더 중요하다.
글이 더 명료하고 잘 정리되어 선택된 것인지, 아니면 평가자가 자기 문체를 알아보고 선호한 것인지 구분하려는 장치다.

쉽게 말하면 질문은 이것이다.

“동일하게 좋은 이력서라면, 평가 LLM은 여전히 자기 글을 더 고르는가?”

 

답은 대체로 “그렇다”에 가깝다.

---

결과 1: 인간이 쓴 이력서는 크게 불리하다

LLM-vs-Human 결과는 매우 강하다.

단순 비교에서는 9개 모델 중 8개가 자신이 만든 이력서를 더 자주 선택했다.
편향의 크기는 모델에 따라 다르지만, 큰 모델일수록 더 강한 경향이 나타났다.

품질을 통제한 뒤에도 결과는 크게 바뀌지 않았다.

• GPT-4o: 81.9%
• LLaMA-3.3-70B: 78.9%
• Qwen-2.5-72B: 78.0%
• DeepSeek-V3: 71.6%
• GPT-4o-mini: 67.9%
• GPT-4-turbo: 66.9%

이 수치는 “자기 생성 요약을 더 선택하는 경향”이 품질 통제 후에도 남아 있음을 뜻한다.

주목할 부분: 품질을 통제한 뒤에도 큰 모델 대부분에서 오른쪽으로 길게 뻗는 막대가 남아 있습니다.

 

인간 평가와 대조한 결과도 중요하다.

인간 평가자가 인간 작성 요약을 더 좋게 판단한 경우에도, GPT-4o, DeepSeek-V3, LLaMA-3.3-70B는 자기 생성 요약을 선택하는 경향을 보였다.

즉, 이 현상은 “AI가 더 매끄럽게 썼기 때문”만으로 설명하기 어렵다.

---

결과 2: LLM끼리 비교하면 편향은 더 복잡하다

LLM-vs-LLM 결과는 LLM-vs-Human보다 덜 일관적이다.

DeepSeek-V3는 가장 뚜렷한 자기 선호를 보였다.
특히 LLaMA-3.3-70B와 비교할 때 강한 우위를 보였다.

반면 GPT-4o는 혼합적이다.
LLaMA-3.3-70B보다 자기 출력을 더 선호하는 모습도 있었지만, DeepSeek-V3와 비교할 때는 오히려 DeepSeek-V3의 출력을 더 고르는 경우가 있었다.

LLaMA-3.3-70B는 상대적으로 약한 자기 선호를 보였다.

주목할 부분: DeepSeek-V3 패널처럼 모델 조합에 따라 자기 선호가 강해지거나 뒤집히는 비대칭성이 나타납니다.

 

이 결과는 중요한 시사점을 준다.

자기 선호는 모든 LLM에 같은 방식으로 나타나는 고정 속성이 아니다.
모델의 문체, 학습 방식, 자기 출력 인식 능력, 다른 모델과의 표현 유사성에 따라 달라질 수 있다.

---

강건성 검증: 새로 쓰지 않고 ‘수정’만 해도 편향은 남는다

기본 실험은 원본 이력서의 나머지 정보를 보고 LLM이 요약을 새로 생성하는 방식이었다.

저자들은 대안 실험도 수행했다.

이번에는 인간이 쓴 요약을 LLM이 더 명확하고 세련되게 수정하도록 했다.
실제 지원자가 AI로 이력서를 다듬는 상황에 더 가깝다.

결과는 여전히 비슷했다.

LLM-vs-Human 자기 선호는 약해지긴 했지만 사라지지 않았다.
품질 통제 후에도 여러 모델에서 큰 편향이 남았다.

주목할 부분: 새로 생성하지 않고 기존 요약을 다듬기만 해도 자기 선호 막대가 여전히 크게 남습니다.

 

LLM-vs-LLM 수정 조건에서도 결과는 혼합적이었다.
하지만 모델 간 비대칭성은 유지됐다.

특히 DeepSeek-V3는 수정 조건에서도 일정한 자기 선호를 보였다.
LLaMA-3.3-70B도 GPT-4o와 비교할 때 상당한 자기 선호를 보였다.

 

주목할 부분: 수정 조건의 LLM-vs-LLM 결과는 모델 간 문체 궁합에 따라 방향이 달라질 수 있음을 보여줍니다.

 

따라서 이 현상은 단순히 “처음부터 생성한 AI 글”에만 국한되지 않는다.
AI로 살짝 다듬은 문장도 평가 모델에 유리하게 작동할 수 있다.

---

채용 시뮬레이션: 같은 LLM을 쓴 지원자가 더 많이 뽑힌다

논문은 실험 결과를 실제 채용 파이프라인에 가까운 상황으로 확장한다.

시뮬레이션 구조는 간단하다.

• 24개 직군을 대상으로 실험했다.
• 각 직군에서 30회 반복했다.
• 한 번의 실험마다 5명의 후보자 프로필을 뽑았다.
• 각 후보자마다 인간 작성 요약과 평가 LLM 생성 요약을 만든다.
• 총 10개의 이력서가 4개의 면접 슬롯을 놓고 경쟁한다.

후보자의 실제 정보는 동일하다.
편향이 없다면 인간 작성 이력서와 AI 생성 이력서가 비슷한 비율로 선택되어야 한다.

하지만 결과는 그렇지 않았다.

평가 LLM과 같은 모델로 작성된 이력서를 낸 지원자는, 인간 작성 이력서를 낸 동등한 지원자보다 면접 후보에 오를 가능성이 더 높았다.

전체 직군에서 그 차이는 약 23%에서 60% 사이였다.

주목할 부분: 모든 직군의 점이 0% 오른쪽에 있어, 같은 LLM을 쓴 지원자가 면접 슬롯을 더 많이 가져갑니다.

특히 격차가 큰 직군은 다음과 같다.

• Sales
• Accountant
• Business Development
• Finance

격차가 상대적으로 작은 직군도 있었다.

• Automobile
• Agriculture
• Consultant
• Construction

하지만 중요한 점은 방향이다.
모든 직군에서 AI 생성 요약이 과대표집됐다.

이 결과는 채용 시장의 “잠금 효과”로 이어질 수 있다.

많이 쓰이는 평가 LLM의 문체가 유리해지면, 지원자들은 그 문체를 따라가게 된다.
이 과정이 반복되면 특정 모델의 표현 방식이 이력서 시장의 표준처럼 굳어질 수 있다.

---

왜 이런 일이 생기나: 자기 인식 능력

논문은 가능한 메커니즘으로 자기 인식을 제시한다.

여기서 자기 인식은 의식이나 자아를 뜻하지 않는다.
모델이 자신이 만든 문장과 비슷한 패턴을 통계적으로 알아보는 능력에 가깝다.

큰 모델일수록 이런 신호를 더 잘 포착할 수 있다.
그 결과 자기 문체에 가까운 글을 더 자연스럽고 적합한 글로 판단할 수 있다.

채용에서는 이것이 위험하다.

이력서 평가가 후보자의 역량보다 “평가 모델과 문체가 얼마나 맞는가”에 영향을 받을 수 있기 때문이다.

---

완화 방법: 간단한 개입도 효과가 있다

저자들은 두 가지 완화 전략을 실험했다.

첫째, 시스템 프롬프트 조정이다.
평가 모델에게 이력서가 인간이 쓴 것인지 AI가 쓴 것인지 추론하지 말고, 내용 품질에만 집중하라고 지시한다.

둘째, 다수결 앙상블이다.
하나의 큰 평가 모델에만 맡기지 않는다.
자기 선호가 약한 작은 모델들을 함께 넣고, 세 모델의 다수결로 판단한다.

평가 모델	완화 전 자기 선호	시스템 프롬프트 후	다수결 앙상블 후
GPT-4o	82%	61%	30%
LLaMA-3.3-70B	79%	30%	23%
DeepSeek-V3	72%	60%	29%

 

효과는 다수결 앙상블에서 특히 컸다.

• GPT-4o: 82%에서 30%로 감소
• LLaMA-3.3-70B: 79%에서 23%로 감소
• DeepSeek-V3: 72%에서 29%로 감소

이 결과는 중요하다.

자기 선호 편향은 완전히 고정된 속성이 아니다.
모델을 다시 학습하지 않아도, 평가 설계만 바꿔 상당 부분 줄일 수 있다.

---

실무적 의미: 채용 AI 공정성의 기준을 넓혀야 한다

기존 채용 AI 공정성 논의는 주로 인구통계학적 차별에 집중했다.

예를 들면 성별, 인종, 나이, 이름, 출신 배경에 따른 차별이다.

이 논문은 다른 위험을 보여준다.

편향은 사람의 속성이 아니라 AI 시스템끼리의 상호작용에서도 생길 수 있다.

기업 입장에서는 다음 질문이 필요하다.

• 평가 LLM과 지원자가 많이 쓰는 작성 LLM이 같은가?
• 특정 모델 문체가 과도하게 유리해지는가?
• 인간 작성 이력서와 AI 보조 이력서가 같은 기준으로 평가되는가?
• 단일 LLM 평가 대신 모델 조합이나 인간 검토가 필요한가?
• 채용 AI 감사에 “출처 기반 자기 선호” 지표가 포함되어 있는가?

정책적으로도 의미가 있다.

채용 AI의 공정성 검증은 더 이상 입력 데이터와 보호 속성만 보면 부족하다.
AI가 만든 콘텐츠를 AI가 평가하는 구조 자체를 점검해야 한다.

---

한계와 해석상 주의점

이 연구는 강력하지만, 몇 가지 한계가 있다.

• 실제 채용 결정 전체가 아니라 이력서 요약 평가에 초점을 둔다.
• 시뮬레이션은 현실을 단순화한 채용 파이프라인이다.
• 모델 버전과 사용 환경이 바뀌면 편향의 크기도 달라질 수 있다.
• 인구통계학적 편향과 자기 선호 편향이 어떻게 결합되는지는 추가 연구가 필요하다.

그럼에도 핵심 메시지는 분명하다.

LLM이 평가자로 쓰이는 순간, 평가 기준은 내용만의 문제가 아니다.
작성 도구와 평가 도구의 관계도 결과를 바꿀 수 있다.

---

결론

이 논문은 알고리즘 채용에서 새롭게 등장한 편향을 실증적으로 보여준다.

핵심은 세 가지다.

1. LLM은 자신이 만든 이력서 요약을 인간 작성 요약보다 선호하는 경향이 있다.
2. 이 편향은 품질을 통제한 뒤에도 남는다.
3. 채용 파이프라인에서는 같은 LLM을 쓴 지원자가 면접 기회를 더 많이 얻을 수 있다.

가장 중요한 시사점은 이것이다.

AI 채용의 공정성은 “사람에 대한 편향”만이 아니라 “AI끼리의 편향”까지 다뤄야 한다.

 

LLM을 평가자로 쓰는 조직은 단일 모델의 판단을 그대로 신뢰해서는 안 된다.
평가 프롬프트, 모델 조합, 감사 지표, 인간 검토 절차를 함께 설계해야 한다.

---

Source

• Jiannan Xu, Gujie Li, Jane Yi Jiang. AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights. Manuscript, written on August 29, 2025.
• SSRN: https://ssrn.com/abstract=5417394
• DOI: https://doi.org/10.2139/ssrn.5417394
• arXiv: https://arxiv.org/abs/2509.00462
• Figures extracted from the provided PDF: Figure 1, Figure 2, Figure 3, Figure 4, Figure 5, Figure 6, Figure 7.