머신 러닝 모델: 편견에서 우리는 신뢰합니까?

머신 러닝 모델: 편견에서 우리는 신뢰합니까?
날짜:
2022년 6월 1일
원천:
매사추세츠 공과 대학
요약:
연구원들은 사용자가 기계 학습 모델의 예측을 신뢰할지 여부를 결정하는 데 도움이 되도록 설계된 설명 방법이 편견을 영속화하고 불우한 그룹의 사람들에 대해 덜 정확한 예측으로 이어질 수 있다는 것을 발견했습니다.

이해 관계가 높을 때 기계 학습 모델은 때때로 인간의 의사 결정자를 돕는 데 사용됩니다. 예를 들어, 모델은 입학 담당자가 어떤 학생을 받아들여야 하는지 결정하는 데 도움이 되도록 어떤 로스쿨 지원자가 변호사 시험을 통과할 가능성이 가장 높은지 예측할 수 있습니다.

이러한 모델에는 종종 수백만 개의 매개변수가 있으므로 기계 학습 경험이 없는 입학 담당자는 고사하고 연구자가 예측을 수행하는 방법을 완전히 이해하는 것은 거의 불가능합니다. 연구자들은 때때로 예측에 대한 간단한 근사치를 만들어 더 큰 모델을 모방하는 설명 방법을 사용합니다. 이해하기 훨씬 쉬운 이러한 근사값은 사용자가 모델의 예측을 신뢰할지 여부를 결정하는 데 도움이 됩니다.

그러나 이러한 설명 방법이 공정합니까? 설명 방법이 여성보다 남성에 대해 더 나은 근사치를 제공하거나 흑인보다 백인에 대해 더 나은 근사치를 제공하는 경우 사용자가 일부 사람들에 대해서는 모델의 예측을 신뢰하지만 다른 사람들에 대해서는 신뢰하지 않도록 권장할 수 있습니다.

MIT 연구원들은 널리 사용되는 일부 설명 방법의 공정성을 면밀히 조사했습니다. 그들은 이러한 설명의 근사 품질이 하위 그룹 간에 크게 다를 수 있으며 소수화된 하위 그룹의 경우 품질이 종종 상당히 낮다는 것을 발견했습니다.

실제로 이것은 여성 지원자의 근사치 품질이 낮을 경우 설명과 모델의 예측 사이에 불일치가 있어 입학 담당자가 남성보다 여성을 잘못 거부할 수 있음을 의미합니다.

MIT 연구원들은 이러한 공정성 격차가 얼마나 만연한지를 확인하고 경쟁의 장을 평준화하기 위해 여러 기술을 시도했습니다. 그들은 약간의 격차를 좁힐 수 있었지만 그것들을 없앨 수는 없었습니다.

"현실 세계에서 이것이 의미하는 바는 사람들이 다른 하위 그룹보다 일부 하위 그룹에 대한 예측을 더 잘못 신뢰할 수 있다는 것입니다. 따라서 설명 모델을 개선하는 것이 중요하지만 이러한 모델의 세부 사항을 최종 사용자에게 전달하는 것도 똑같이 중요합니다. 이러한 격차가 존재합니다. 따라서 사용자는 이러한 설명을 사용할 때 얻을 수 있는 기대치를 조정할 수 있습니다."라고 MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 Healthy ML 그룹 대학원생인 수석 저자 Aparna Balagopalan이 말했습니다.

Balagopalan은 CSAIL 대학원생 Haoran Zhang 및 Kimia Hamidieh와 함께 논문을 작성했습니다. CSAIL 박사후 연구원 Thomas Hartvigsen; 토론토 대학 컴퓨터 과학 부교수 Frank Rudzicz; 그리고 수석 저자인 Marzyeh Ghassemi, 조교수이자 Healthy ML Group의 수장입니다. 이 연구는 공정성, 책임성, 투명성에 관한 ACM 회의에서 발표될 예정입니다.

높은 충실도

단순화된 설명 모델은 인간이 이해할 수 있는 방식으로 더 복잡한 기계 학습 모델의 예측을 근사화할 수 있습니다. 효과적인 설명 모델은 더 큰 모델의 예측과 얼마나 잘 일치하는지 측정하는 충실도라는 속성을 최대화합니다.

전체 설명 모델에 대한 평균 충실도에 초점을 맞추는 대신 MIT 연구원은 모델 데이터 세트에서 사람들의 하위 그룹에 대한 충실도를 연구했습니다. 남성과 여성이 포함된 데이터 세트에서 충실도는 각 그룹에 대해 매우 유사해야 하며 두 그룹 모두 전체 설명 모델의 충실도에 근접해야 합니다.

Balagopalan은 "모든 인스턴스에서 평균 충실도를 볼 때 설명 모델에 존재할 수 있는 인공물을 놓칠 수 있습니다."라고 말합니다.

그들은 충실도 격차 또는 하위 그룹 간의 충실도 격차를 측정하기 위해 두 가지 메트릭을 개발했습니다. 하나는 전체 설명 모델에 대한 평균 충실도와 실적이 가장 낮은 하위 그룹에 대한 충실도 간의 차이입니다. 두 번째는 가능한 모든 하위 그룹 쌍 간의 충실도의 절대 차이를 계산한 다음 평균을 계산합니다.

이러한 메트릭을 사용하여 환자가 ICU에서 사망하는지, 피고인이 재범을 하는지 또는 법이 위반하는지 여부를 예측하는 것과 같이 위험이 큰 상황에 대해 4가지 실제 데이터 세트에서 훈련된 두 가지 유형의 설명 모델을 사용하여 충실도 격차를 검색했습니다. 학교 지원자는 변호사 시험에 합격할 것입니다. 각 데이터 세트에는 개인의 성별 및 인종과 같은 보호된 속성이 포함되어 있습니다. 보호된 속성은 종종 법률 또는 조직 정책으로 인해 결정에 사용되지 않을 수 있는 기능입니다. 이에 대한 정의는 각 의사결정 설정에 특정한 작업에 따라 달라질 수 있습니다.

연구원들은 모든 데이터 세트와 설명 모델에 대한 명확한 충실도 격차를 발견했습니다. 불우한 집단에 대한 충실도는 종종 훨씬 더 낮았으며 어떤 경우에는 최대 21%였습니다. 로스쿨 데이터 세트는 인종 하위 그룹 사이에 7%의 충실도 격차가 있었는데, 이는 일부 하위 그룹에 대한 근사치가 평균적으로 7% 더 자주 틀렸음을 의미합니다. 예를 들어 데이터 세트에 이러한 하위 그룹의 지원자가 10,000명 있는 경우 상당한 부분이 잘못 거부될 수 있다고 Balagopalan은 설명합니다.

"나는 우리가 평가한 모든 데이터 세트에서 이러한 충실도 격차가 얼마나 만연한지 놀랐습니다. 설명이 블랙박스 머신 러닝 모델에 대한 '수정'으로 얼마나 일반적으로 사용되는지 지나치게 강조하기 어렵습니다. 이 백서에서 우리는 다음을 보여주고 있습니다. 설명 방법 자체는 일부 하위 그룹의 경우 더 나쁠 수 있는 불완전한 근사치입니다."라고 Ghassemi는 말합니다.

격차 좁히기

연구원들은 충실도 격차를 확인한 후 이를 해결하기 위해 몇 가지 기계 학습 접근 방식을 시도했습니다. 그들은 설명 모델을 훈련하여 충실도가 낮은 데이터 세트 영역을 식별한 다음 해당 샘플에 더 집중했습니다. 그들은 또한 모든 하위 그룹에서 동일한 수의 샘플로 균형 잡힌 데이터 세트를 사용하려고 시도했습니다.

이러한 강력한 교육 전략은 일부 충실도 격차를 줄였지만 제거하지는 못했습니다.

그런 다음 연구원들은 처음에 충실도 격차가 발생하는 이유를 탐구하기 위해 설명 모델을 수정했습니다. 그들의 분석에 따르면 설명 모델은 성별이나 인종과 같은 보호된 그룹 정보를 간접적으로 사용할 수 있으며, 그룹 레이블이 숨겨져 있더라도 데이터 세트에서 배울 수 있습니다.

그들은 향후 작업에서 이 수수께끼를 더 탐구하기를 원합니다. 그들은 또한 실제 의사 결정의 맥락에서 충실도 격차의 의미를 더 연구할 계획입니다.

Balagopalan은 독립적인 연구소의 설명 공정성에 대한 동시 작업이 유사한 결론에 도달하여 이 문제를 잘 이해하는 것이 중요하다는 사실을 알게 되어 매우 기쁩니다.

그녀는 이 연구의 다음 단계를 바라보면서 기계 학습 사용자들에게 몇 마디 경고합니다.

"설명 모델을 신중하게 선택하십시오. 그러나 더 중요한 것은 설명 모델을 사용하는 목적과 그것이 궁극적으로 누구에게 영향을 미치는지 신중하게 생각하는 것입니다."라고 그녀는 말합니다.