알고리즘이 재정 운명을 좌우한다…
기업들은 점점 더 많은 알고리즘과 인공지능(AI)을 사용하여 우리가 어떤 금융 상품을 받을 자격이 있는지, 얼마를 지불할지 결정하기 위해 수집하는 방대한 양의 데이터를 분석하고 있습니다. 이러한 정교한 도구는 대출 결정을 내릴 때 은행, 고용주가 입사 지원서를 심사할 때, 대부분의 주에서 자동차 및 주택 보험 회사가 보험료를 책정할 때 사용합니다.
공정성과 정확성을 보장하도록 훈련되면 AI는 신용에 대한 접근성을 확대하고 인간의 편견으로 인한 차별을 줄일 수 있습니다. 그렇지 않으면 막대한 재정적 피해를 입을 수 있습니다.
예를 들어, AI가 대출 신청을 거부하면 그 결정이 왜 내려졌는지, 어떤 데이터가 사용되었는지 알 방법이 없습니다.
컨슈머 리포트의 금융 정책 옹호자인 척 벨은 “많은 AI 및 머신 러닝 모델을 통해 소셜 미디어, 휴대폰의 디지털 앱 사용 등의 데이터를 진공 청소기로 청소하고 있으며, 해당 데이터베이스에 무엇이 있는지 전혀 알 수 없습니다.”라고 말합니다. “비슷한 이름을 가진 다른 사람을 위한 것일 수도 있고, 당신을 위한 것은 아닐 수도 있습니다.”
대부분의 지원자는 AI가 언제 결정을 내리는지 전혀 모릅니다. 그리고 설령 결정을 내렸다고 해도 의사 결정 과정이 불투명하기 때문에 어떤 요소가 고려되었는지 알 수 없습니다. AI 도구는 인터넷에서 부정확하거나 완전히 잘못된 지원자에 대한 정보를 스크랩할 수 있습니다.
비영리 단체인 미국 소비자 연맹의 CEO인 수잔 와인스톡은 “블랙박스 문제입니다.”라고 말합니다. 와인스톡은 최근 체크북의 컨슈머피디아 팟캐스트 에피소드에서 “나쁜 데이터가 들어가면 쓰레기 데이터가 나올 것입니다.”라고 말했습니다. “그러면 소비자는 그 나쁜 데이터에 완전히 좌우됩니다. 규제 당국은 알고리즘이 편향되어 있다는 사실조차 모를 수 있습니다.”
알고리즘이 재정 운명을 좌우한다
작년에 컨슈머 리포트와 미주 소비자 연맹은 소비자 금융 보호국에 “알고리즘적 차별이 여러 출처에서 발생할 수 있다”고 경고하는 서한을 보냈습니다. 예를 들어, “비대표적이거나 부정확하거나 불완전한 훈련 데이터뿐만 아니라 역사적 편향을 반영하는 데이터”가 포함됩니다 이는 유색인종 커뮤니티와 저소득층 소비자가 저렴한 신용에 접근하는 것을 막을 수 있다고 그들은 썼습니다.
편견은 인종과 같은 “보호된 특성”이 직접적으로 또는 대리인을 통해 부적절하게 사용되는 경우와 같이 설계 과정에서 AI 모델에 포함될 수 있습니다.
예를 들어, 대출 도구를 위해 생성된 데이터베이스에는 개발자에게 중립적인 요소로 보일 수 있는 우편번호가 포함될 수 있지만 인종, 소득, 성별 또는 종교의 대리인 역할을 할 수 있습니다.
“대리 차별이 있을 때 벨은 “공정한 대우를 받을 자격이 있는 보호 대상 계층을 차별하고 있으며, 모델로 인해 피해를 입고 있다는 사실에도 주의를 기울이지 않고 있다”고 설명했습니다. 그리고 그것이 본질적으로 우리가 처한 상황입니다.”
체크북은 산업 무역 단체인 AI 협회에 이에 대한 논평을 요청했지만, 우리의 요청에 응답하지 않았습니다.
소비자 우려 사항
알고리즘이 재정 운명을 좌우한다
컨슈머리포트의 2024년 설문조사 결과
트위터 공유: 알고리즘이 재정 운명을 좌우한다