인간의 의사 결정을 인공지능 알고리즘이 대체하는 일들이 알게 모르게 곳곳에서 벌어지고 있다. 유튜브와 넷플릭스의 콘텐츠 추천뿐만 아니라 포털사이트나 소셜미디어의 뉴스 우선순위 등도 이미 빅데이터와 알고리즘에 의해 대개 자동으로 이뤄지고 있다. 알고리즘의 결정을 선호하는 배경은 알고리즘은 인간처럼 편견에 좌우되지 않고 실수를 저지르지도 않을 것이라는 기대, 즉 공정성과 정확성에 대한 믿음에 있다. 2016년 페이스북이 뉴스토픽을 알고리즘이 아닌 인간 편집자가 선정한다고 밝혀 큰 비난이 일었던 경우나 지난해 네이버가 뉴스 우선순위 선정을 전적으로 알고리즘에 의존한다고 밝혀 많은 이가 안심한 경험도 이런 사정을 잘 보여 준다.

사실 자동화된 결정 시스템은 인간과 달리 편향적이지 않고 객관적이고 공정할 것이라는 기대는 미디어 기업들의 뉴스 선택을 넘어 공공 영역의 의사 결정에까지 확산됐다. 미국 일부 주의 법원에선 피고인의 재범률을 추정하는 알고리즘을 참조해 판사가 형량을 선고하거나 가석방 허용 여부를 결정한다. 흑인들은 비슷한 범죄를 저질러도 백인보다 더 긴 형량을 받는다는 통계들은 사법 불신을 불러와 이런 알고리즘 도입의 근거가 됐다. 범죄를 예방하는 치안 당국의 임무에도 알고리즘이 도입됐다. 미국 애틀랜타와 로스앤젤레스 등에서는 범죄 가능성이 큰 지역을 예측하는 데 알고리즘을 사용한다. 범죄 유형, 발생 장소, 발생 시점 등의 정보들을 빅데이터로 수집해 범죄 발생 위험이 큰 곳을 예측하고, 이런 곳에 치안 인력을 집중해 범죄를 예방하는 것이다.

하지만 최근 한 워크숍에서 서울대 홍성욱 교수가 잘 보여 주었듯이 사실 공공 영역에서 사용 중인 알고리즘들은 생각만큼 공정하지 않다. 한 조사 연구에 따르면 재범 확률 예측의 정확도에선 오히려 인간이 내린 판단이 알고리즘보다 조금 더 나았다. 게다가 이 자동화된 결정 시스템은 사회적 불평등을 강화하기도 했다. 예를 들어 과거 강력 범죄자 중에 젊은 남성이나 흑인들이 많은 편인데, 이 때문에 알고리즘은 젊은 흑인 피의자에게 더 무거운 형량을 선고하기도 했다. 달리 말하면 여러 정책 실패로 나타난 불평등한 사회 현실이 데이터로 입력된 알고리즘은 이 데이터에 기초해 과거의 불평등을 더욱 강화하는 결정을 내리는 것이다. 근본적으로 정책 결정 영역에서 ‘공정성’을 알고리즘상에서 어떻게 구현할지에 대해 전문가들이 만족하는 기준이 없다. 한 연구에 따르면 알고리즘의 공정성 지표는 5개나 존재하며 이들은 서로 양립하지도 않았다. 우리 사회에서 입시나 군입대 문제에서 공정성의 방식이 쉽게 합의되기 어려운 것과 같다.

우리나라도 재판과 범죄 예측, 대학 입시와 기업 입사시험 등에서 자동화된 결정 시스템을 개발하거나 도입하려 하고 있다. 4차 산업혁명의 지원이라는 명분하에 이런 시도는 가속화될 수도 있다. 하지만 알고리즘에 의한 자동화가 공정성을 보장하는 것은 아니며, 적어도 공공 영역에서는 인간을 대신하는 알고리즘의 의사 결정 도입은 신중히 고려될 필요가 있다. 미국의 범죄 예측 사례에선 통계분석을 하던 과거 관행에서 진일보한 기법이라며 자동화된 결정 시스템을 ‘자연스럽게’ 도입했는데, 이런 식의 과정은 위험하다. 이런 시스템의 도입은 어느 개인이 결정할 사항이 아니며 기계를 통한 공정성이 왜 요구되는지, 이런 기술이 약속하는 공정성이 진정성이 있는지 등을 사전에 폭넓게 논의해야 할 것이다. 특히 사회적 갈등 비용을 줄일 수 있고 이해당사자들의 반발을 손쉽게 피할 수 있다는 이유로 이런 자동화된 의사 결정에 의존하는 것을 경계해야 한다.

공정성이 쟁점인 공적 영역일수록 찬반 논란이 크기 때문에 정책 결정자는 인공지능 알고리즘이라는 ‘기계적 객관성’을 내세워 공정성 논란을 모면하려는 유혹이 클 수밖에 없다. 공공성이 높은 영역에서는 자동화된 시스템에 따른 결정을 도입하기 전에 충분히 사회적 논의를 거쳐야 하며, 이런 자동화된 결정을 사용하기로 합의한 후엔 사용한 데이터와 알고리즘의 주요 고려 사항 등을 상세히 공개해야 할 것이다. 스마트한 인공지능과 함께 잘 살아가기 위해서는 공정한 제도를 마련하기 위한 스마트한 인간의 상상력도 요구된다.