AI 의사 편향적 판단시 의사결정의 도덕성 불분명

AI, 알고리즘 편향으로 중립성에 근본적 한계…인지적 오류 불가피한 문제 발생

김효은 교수, ‘AI 의사, AI 판사 알고리즘 편향과 윤리’ 주제 발표



인공지능을 활용한 기계학습이 미국의 흑인 여성을 고릴라로 인식하는 등 편향의 오류를 낳을 수 있어 주의가 필요하다는 지적이 제기됐다. 인종 구분 실패 등 알고리즘의 편향으로 발생하는 이같은 오류는 왓슨 등 AI 의사에게도 나타날 수 있어 인간의 적절한 개입이 필요하다는 주장이다.

김효은 한밭대 인문교양학부 교수는 지난달 27일 서울시 중구 국가생명윤리정책원 대회의실에서 열린 콜로키엄에서 ‘AI 의사, AI 판사 알고리즘 편향과 윤리’를 주제로 발표하며 이 같이 밝혔다.

전기전자기술협회(IEEE)에서 AI윤리분과위원을 맡고 있는 김 교수는 “컴퓨터 알고리즘을 만드는 데 인간이 개입하는 만큼 인간의 인지적 오류나 실수 등이 여기에 불가피하게 반영될 수밖에 없다”고 지적했다.



◇AI 결정 과정에도 도덕적 기준이 적용됐는가?



김 교수에 따르면 가장 대표적인 오류는 ‘편향된 대표성’의 문제다. 알고리즘의 특정 결과를 낼 때 참고하는 데이터가 전체를 대표하지 못한다는 것이다. 인공지능 방식을 활용한 구글 포토 서비스는 2015년 한 흑인 여성의 얼굴에 ‘고릴라’ 태그를 띄워 논란을 일으켰다. 한 카메라의 얼굴인식 시스템이 사진에 나온 아시아인에게 ‘누군가 눈을 감았나요?’란 메시지를 띄운 사례도 여기에 포함된다.

마찬가지로 인공지능의 판단이 어떤 기준에 따라 내려졌는지 알 수 없는 점도 사회적 문제가 될 수 있다. 대표적인 인공지능 학습 방식인 ‘딥러닝’은 받아들인 데이터에서 패턴을 찾아 연결망을 강화하는 방식으로 결론을 산출한다.





문제는 이 연결망이 강화되면서 중간 단계의 판단과 기준을 알 수 없게 된다는 점이다. 재범 가능성을 가리는 미국 경찰의 빅데이터 컴퓨터 컴파스는 범죄자 중 백인이나 소득수준이 높은 시민보다 흑인이나 소득수준이 낮은 이들의 재범 가능성을 높게 판단해 물의를 빚기도 했다.

김 교수는 “연결망이 강화돼 중간 단계의 판단 근거를 알 수 없는 ‘블랙박스’는 인공지능의 판단 결과가 윤리적인지의 여부를 알 수 없게 만든다”며 “인공지능의 의사결정 결과 뿐 아니라 과정에도 도덕적 기준이 적용됐는지 살펴봐야 하는 이유”라고 강조했다.

김 교수는 그러면서 AI 의사인 왓슨의 진단 및 치료 방식과 이 과정상의 쟁점을 소개했다. 왓슨은 미국과 국내 의료 부문에서 인공지능 학습을 도입해 사용하고 있다.

미국의 왓슨은 현재 의료기관에서 영상분석과 진단, 치료법 권고, 위험 징후 예측 등의 역할을 하고 있다. 인공지능과 증강현실을 결합한 현미경으로 뇌, 폐, 심혈관 등 인체를 관찰한 결과를 수집한다.

왓슨의 치료 권고안이 인간 의사의 권고안과 차이가 있어 정확성에 대한 의문을 증폭시킨다는 내용은 2014년 미국의 메모리얼 슬론 캐터링 암센터와 IBM의 공동 연구 결과를 통해 확인됐다.



◇암 치료하는 美 AI 의사 결정, 신뢰 가능한가?



김 교수는 “왓슨을 활용하고 있는 의료기관은 사람인 의사와 AI인 의사가 한 결정을 클라우딩 시스템에 올려 의견을 주고받는 식으로 운용하고 있다”며 “이 과정에서 데이터가 포함하고 있는 무의식적인 편향이 영향을 미칠 수 있다는 점을 간과해서는 안된다”고 지적했다.

김 교수는 알고리즘의 편향을 방지할 수 있는 방법으로 설명 가능한 인공지능의 도입과 신경과학 방법론 도입을 제시했다.

전자는 의사 결정 과정을 알 수 없는 인공지능의 판단 기준을 설명하게 해서 인간이 개입할 수 있는 여지를 높이는 방법이다. 미국 국방부의 방위고등연구계획국(DARPA)은 딥러닝 알고리즘을 제작할 때 학습 절차를 설명하도록 하는 펀딩 이니셔티브를 추진 중이다. 우리나라도 지난해 인공지능의 의사결정 이유를 설명하는 국가전략 프로젝트를 지원하기 시작했다.





그런가 하면 신경과학론의 방법론은 유전자 기능을 찾기 위해 유전자 돌연변이를 일으키는 신경과학론의 방법론을 적용한 방식이다. 인공지능에 입력된 특정 정보를 지우거나 변형시킨 결과를 추적해 의사결정에 미친 영향을 파악하는 식이다.

김 교수는 “그동안 인종, 계층에 대한 공정성의 화두는 전통적인 윤리의 영역이었지만 오늘날의 각 학문은 서로 영향을 주고받으며 함께 변화하는 추세를 보이고 있다”며 “마찬가지로 기술 발전은 윤리 문제와 떼려야 뗄 수 없는 관계가 돼 가고 있다. 기업은 윤리적 문제 해결을 통해 소비자의 위험을 기업의 책임이 아닌 공공의 안전문제로 전환시킬 수 있을 것”이라고 밝혔다.