인공지능 기술의 의사결정 과정을 밝혀낸다는 것

이주호 AITRICS 리서치팀장

 

우리는 수많은 의사 결정을 하며 살아간다. 그리고 그러한 의사 결정은 특정 근거에 기반한 사고 과정의 흐름 속에서 이루어진다. 사람은 기계처럼 빠르고 정확하지 않을 수 있으며 실수를 할 때도 있지만, 그러한 결론 도출 과정에서의 논리적 또는 감정적인 사고의 흐름을 알고 있다. 그렇기에 우리는 우리가 내린 의사 결정에 따라오는 결과를 납득할 수 있으며, 또한 잘못된 결정으로 인한 실수를 통해 많은 것을 배울 수 있다.

 

인간의 뇌를 모방하고자 하는 인공지능은 어떠한가? 딥 러닝의 핵심 요소인 인공 신경망은 인간의 뇌 속에 있는 뉴런을 수학적으로 표현하기 위한 모델이다. 복잡한 인공 신경망을 이용한 딥 러닝과 이를 가능하게 하는 막대한 계산 자원의 발달로 인공지능의 정확도는 점점 향상되고 있으며, 일부 영역에서는 사람의 정확도를 뛰어넘기도 했다.

 

하지만 인공 신경망은 정말 사람의 뇌에 가까워졌다고 말할 수 있을까? 적어도 사람처럼 의사 결정 과정에 대한 해석이 가능한지의 관점에서 본다면 답은 ‘아니오’일 것이다. 인공 신경망을 포함한 대부분의 인공지능 기술들은 정답을 도출해내는 과정을 설명하기 어렵다. 수많은 양의 학습 데이터와 계산 자원으로 만들어낸 거대하고 복잡한 모델 속에서 어떤 일이 벌어지고 있는지 정확하게 알 수 없다. 인공지능 알고리즘의 결과가 아무리 정확하더라도, 마치 ‘블랙박스’처럼 가려진 그 결론 도출 과정을 설명할 수 없다면 누가 이 결과를 신뢰할 수 있겠는가?

 

특히 사람의 생명이나 금전적인 손실과 연관되는 문제라면 인공지능 기술의 활용은 더욱 조심스러워질 수밖에 없다. 예를 들어, 의료 인공지능의 경우, 개인의 특성이나 병의 진행 과정 등 여러 변수에 따라 예기치 못한 상황이 갑자기 발생할 수 있다. 그런데 이런 상황에서 AI가 비슷한 병으로 끼워 맞춰 의료진에게 오답을 전달하는 과잉 확신이 발생하면 적절하지 못한 의료 조치가 이뤄질 수 있다. 반면, 인공지능 알고리즘이 진단 결과와 함께 “이 진단의 신뢰도는 20%입니다”라는 사실을 제시해 줄 수 있다면 어떨까? 인공지능 알고리즘이 결과의 판단 근거와 신뢰도를 함께 제공할 수 있다면 의료진은 보다 객관적인 판단을 할 수 있을 것이다.

 

비즈니스적인 측면에서도 인공지능 기술의 결론 도출 과정을 파악하는 것은 매우 중요하다. 마케팅을 실행할 때에도 설명 가능한 인공지능을 적용한다면 비용 대비 높은 효율을 발생시키는 전략을 수립할 수 있다. 고객의 구매 이력이나 행동 변화에 더해 왜 그런 결정을 내렸는지를 함께 분석하여 각 고객에게 적합한 마케팅을 개별적으로 진행한다면 효과를 극대화시킬 수 있으며, 이를 통해 비즈니스 이익을 증대시키고 기업의 성장을 유도할 수 있다.

 

각 산업에 합당한 인공지능 모델을 구축했다면, 이를 제대로 활용하기 위하여 해당 모델이 어떠한 원리로 작동하는지 해석할 수 있어야 한다. 특히 의료·법률·금융·국방 등 투명성과 사용자의 신뢰가 요구되는 분야에 인공지능 기술이 사용되는 경우 의사결정에 대한 이유가 사람이 이해할 수 있는 방식으로 제시되지 않는다면 올바르지 않은 판단으로 위험한 결과를 초래할 수 있다.

 

에이아이트릭스(AITRICS)는 인공지능의 해석 가능성을 높이고 신뢰도를 향상시키기 위하여 AI가 어떻게 결과 값을 도출했는지 확인할 수 있도록 딥러닝 모델의 의사결정 과정을 해석하는 ‘해석 모듈(Interpretation module)’과, 결과에 대한 불확실성을 계산하여 신뢰도를 제공하는 ‘베이지안 뉴럴 네트워크(Bayesian neural networks)’ 기술을 도입했다.

 

▲ <위> 기존에 존재하던 방법으로, 두 네트워크 사이의 지식 전이가 채널의 중요도에 대한 고려 없이 일정하게 이루어짐 <아래> 에이아이트릭스 메타트랜스퍼(AITRICS metatransfer) 방법으로, 메타 네트워크 f와 g는 채널의 중요도에 따라 두 네트워크의 레이어 사이에 전달할 지식의 양을 결정한다. 화살표의 너비는 전달되는 지식의 양을 나타낸다. (출처: 논문 Learning what and where to transfer, ICML 2019)

 

무엇을, 어떻게 배울 것인가

인간은 과거의 경험으로부터 현재 당면한 문제를 해결할 방법을 이끌어내는 능력을 보유하고 있다. 인공지능 모델에서도 이와 유사한 기술이 있는데, 바로 ‘전이 학습 (transfer learning)’이라는 기술이다.

딥 네트워크는 일반적으로 많은 양의 학습 데이터와 충분한 학습 시간을 필요로 하지만, 현실 세계의 많은 태스크들이 적은 양의 학습 데이터로 인한 과적합(overfitting) 현상을 겪는다. 전이 학습은 이러한 경우에 학습 데이터가 충분한 다른 태스크들로부터 지식을 전이시켜 데이터가 부족한 태스크의 학습을 돕는 기술이라고 할 수 있다. 다만 일반적인 전이 학습 기술은 구체적으로 어떤 태스크의 학습 데이터가 어떠한 방법으로 전이되는지 해석하기 까다롭다는 단점이 있다.

에이아이트릭스(AITRICS)에서는 이러한 전이 학습에 해석 가능성을 부여하기 위해 ‘메타 러닝(meta learning) 방법론’을 제안했다. 이는 특정 태스크를 풀기 위해 어떠한 태스크에서 얼마만큼의 지식을 끌어와야 하는지, 또 그런 지식들이 현재 문제를 풀기 위한 딥 네트워크의 어떠한 파라미터를 최적화하는 데 주로 사용되어야 하는지를 학습하는 방법론으로, 결과의 근거를 유추하여 해석을 가능하게 하며 전이 학습의 효율성을 증대시켜 예측 성능을 큰 폭으로 향상시킨다.

 

 

▲ 모델의 확신 정도를 보여주는 신뢰성 다이어그램. ECE는 Expected Calibration Error이며, 모델의 신뢰도와 실제 정확도 사이의 가중 평균 격차를 나타낸다. 기존의 ‘Attention 모델’은 눈금 조정이 잘못된 네트워크를 제공하는 반면, 에이아이트릭스(AITRICS)의 ‘Uncertainty-aware Attention 모델’은 눈금 조정이 제대로 이루어진 네트워크를 제공한다. 이렇게 정확하게 교정된 네트워크는 모델의 예측 확신 정도를 통해 결과 사용 여부를 결정하여 신뢰할 수 있는 선택을 할 수 있도록 한다. (출처: 논문 Uncer-tainty-Aware Attention for Reliable Interpretation and Prediction, NeurIPS 2018)

 

불확실성을 고려한 의사 결정 모델

일반적인 인공지능 모델은 정답을 맞추도록 학습될 뿐 ‘정답에 얼마나 확신을 가지는지’는 학습되지 않는다.

예를 들어, 개와 고양이를 분류하는 문제가 있다고 할 때, 모델에게 주어지는 학습 데이터는 개/고양이 두 가지 정답의 양자택일 형태로 주어질 뿐 ‘70% 정도의 확률로 개, 30% 정도의 확률로 고양이’로 결과가 주어지지 않는다는 것이다. 따라서 많은 인공지능 모델들이 틀린 답에 대해 과도한 확신을 갖는 과잉 확신(over-confidence) 문제를 가지고 있으며, 해당 문제는 실제 우버의 자율주행 자동차 사고나 구글의 영상 분류기의 오답 사례에서 볼 수 있듯 현실적인 문제를 초래할 수 있다.

에이아이트릭스(AITRICS)는 인공지능 모델의 의사 결정 과정이 확률 분포로 주어지는 ‘베이지안 뉴럴 네트워크’ 기술을 적극 활용하여 시계열 데이터에서 불확실성을 고려한 의사 결정을 할 수 있는 ‘Uncertainty-aware attention mechanism’을 제안했다. 모델이 결과에 대한 확신이 없다면 “모르겠다”고 말할 수 있음을 의미한다.

특히 이 기술은 특정 의사 결정 과정이 어떤 요인으로부터 주로 영향을 받았는지를 알 수 있고 그 결과의 불확실성을 함께 제공하여, 해석 가능성과 신뢰도가 생명인 의료 문제에 유용하게 활용될 수 있다.

인공지능과 협력하는 미래를 기대하며

인공지능은 인간을 대체하는 것이 아니라 인간의 능력을 한층 더 증대시킬 수 있다. 인공지능 기술을 인터넷망이나 고속도로와 같은 사회적 ‘인프라’로 본다면 인간은 인공지능을 필요한 곳에 활용하여 최적의 결정을 할 수 있다. 기술을 통해 편익을 도모하기 위해서는 정확도뿐만 아니라 그 근거와 결과의 확신 정도를 알아야할 필요가 있다. 결과가 도출되기까지 모든 과정을 완벽하게 이해하기에는 아직 어려움이 있지만, 원인을 유추하고 그 결과의 신뢰 가능 정도를 파악할 수 있다면 인간의 지혜를 더해 최적의 선택을 이끌어내기에는 충분하다.

인공지능은 어느새 우리의 일상에 자리 잡아 삶의 많은 부분을 변화시키고 있다. 인공지능 기술은 더 이상 거스를 수 없는 하나의 큰 흐름이 되었다. 아직 수많은 문제점과 우려가 공존하고 있는 것이 사실이지만, 이러한 한계점을 극복하기 위한 연구는 계속해서 진행되고 있다.

‘블랙박스’로 가려진 인공지능 모델의 의사 결정 과정을 이해할 수 있게 된다면 윤리적, 법적 이슈 등의 문제들을 해결할 수 있는 실마리가 보이는 것처럼 말이다. 빠른 시일 내에 인간의 인공지능에 대한 경계심을 풀고 신뢰를 고취하여 함께 협력하는 미래를 기대해보아도 좋을 것이다.

 

 

기사원문: https://www.itdaily.kr/news/articleView.html?idxno=101297