제 1장 "AI에게 '설명'이 필요한 이유"
제3차 AI붐으로 딥러닝을 통한 이미지 인식, 자연어 처리, 데이터 축적 및 계산에 기반하여 많은 서비스가 등장하였다.
AI 서비스는 다양한 분야에 등장하였지만, "AI에 일을 뺏긴다" 라는 현상은 거의 일어나지 않았다. 그 이유는 각 입력이 어떻게 처리되는지를 추적할 수 있는 즉 '처리의 근거'를 확인할 수 있는 일반적인 소프트웨어와는 다르게 AI는 처리 방법이나 조건이 학습에 의해 습득되어 근거를 제시하기 어렵기 때문이다.
하지만, AI는 학습데이터에 맞추어 유연한 처리 방법을 학습할 수 있어 소프트웨어로는 구현하기 힘든 사람의 의사결정에 연관된 업무를 대체하는 경우가 늘어나고 있다.
이러한 변화로 근거를 제시하기 어려운 AI에 대해 '정확도' 이외에 Fairness(공평성), Accountability(책임성), Transparency(투명성) 3가지를 요구한다.
※ 2019년 G20에서 승인된 '인간 중심의 AI 사회 원칙'에서도 '공평성, 책임성 및 투명성의 원칙'이 기재되어 있다.
AI 공평성·책임성·투명성
AI의 공평성(Fairness)
AI 학습 시 입력 데이터에 바이어스가 포함되면 편향적인 처리 방법을 습득한다.
- '역사적 바이어스' - 인간의 역사적 사회통념을 기반
- '샘플링 바이어스' - 데이터 수집 시에 편향적인 데이터 소스를 참조
위의 바이어스를 제거해야 AI가 공평한 서비스를 제공할 수 있다.
AI 적용 시나리오별로 다양한 시점에서 데이터와 AI를 검증해야 공평성을 높일 수 있다.
AI의 책임성(Accountability)
AI가 추론한 결과가 잘못되었을 경우 오류의 원인과 책임이 누구한테 있는지 명확하게 하는 것이다.
하지만, AI의 학습은 데이터, 알고리즘, 전체 시스템 설계를 통해 진행되기 때문에 원인을 정확하게 밝혀내기 어렵고, 그로 인해 책임을 묻는 것이 어렵다.(방대한 데이터에 문제가 있을수도 있고, 알고리즘 내 코드 몇 줄로 문제가 발생할 수도 있기 때문에 오류의 원인이 100%로 어떤 이유다 라고 정의할 수 없다.)
AI책임성을 위해서는 근거에 대한 제시가 필요하다. 법률을 통해 사회적으로도 정비가 필요하다.
AI의 투명성(Transparency)
사용자가 이해할 수 있는 형태로 AI가 수행한 검증, 어떤 기준으로 처리를 수행 했는지에 대해 정보를 제시할 수 있어야 한다.
의료, 안전 심사등에서 AI가 사용된다면 투명성은 중요하다. AI가 출력한 결과를 사용해도 좋을지 판단을 내려야 하기 때문이다.
AI의 설명 가능성
위의 3가지가 충족되면 추가로 "어떠한 처리 방법을 습득했는가?", "어떠한 근거를 기반으로 출력값을 결정했는가?" 를 설명할 수 있어야 한다.
AI의 설명 가능성은 AI시스템을 구성하는 알고리즘의 복잡성과 트레이드 오프 관계에 있다.
| 설명 가능성이 높은 알고리즘 | 설명 가능성이 낮은 알고리즘 |
| 의사결정 트리 - 각 마디의 분기 조건을 학습하여 예측값을 내놓는 알고리즘으로 각 마디에 속하는 데이터가 존재 - 마디는 상위 조건을 통해 걸러져 나옴. 따라서 트리가 깊을수록 해석 편의성이 낮아짐 - if-then 규칙을 적용한 트리로 입력 데이터가 어떤 조건을 통해 예측된건지 확인 가능 |
XGBoost -약학습기(weak learner)모델을 여러개 사용하여 합의도로 예측하는 앙상블 학습 모델 -의사결정트리 여러개로 직렬 학습 -의사결정 단독이 아닌 복수로 예측을 진행하기 때문에 도출된 조건을 깊게 파야 예측 근거를 확인 가능 |
| 로지스틱 회귀 -설명 변수의 벡터와 출력 방향값등을 통해 label을 예측 -활성화 함수인 시그모이드 함수를 사용하여 입력 시 중요시되는 속성, 입력의 변화에 대한 예측 변화 확인 가능 -대표적인 값(최빈값, 평균값)과 계수의 곱으로 설명 변수의 영향력을 파악 가능 |
MLP -Neural Network의 일종인 딥러닝 모델 -퍼셉트론을 층상 구조에 연결한 구성으로 각 층마다 정보를 전파함 - 퍼셉트론이 증가함에 따라 파라미터 개수도 늘어남 -출력 이전의 층의 결과는 복잡한 가중치를 가져 해석이 어려움 |
사람을 대체할 수 있는 AI 모델이려면 설명 가능성을 가져야 한다. 사람의 행동에는 근거가 있기때문에 실수나 잘못에 대해 성장이 가능하고, 실수에 의한 문제들에 대해 합당하게 의의를 제기할 수 있다. AI의 결정에도 근거가 있어야 잘못된 예측으로 인해 발생하는 법적 관련 문제들에 대해 합의점을 찾을 수 있다.