인공지능(AI) 활용이 올해 들어 폭발적으로 증가하는 가운데, '설명 가능성'이 확산에 있어 중요한 화두로 꼽히고 있다.
19일 정보기술(IT) 업계에 따르면 논문 사전 공개사이트 '아카이브'에 공유된 '설명 가능한 AI'(XAI) 관련 논문은 올해만 230여 편에 달한다.
인공지능은 인간의 뉴런 구조를 본따 만든 기계학습 모델 '인공신경망'을 바탕으로 데이터를 학습하고 알고리즘을 짜는데, 적게는 수백만 개, 많게는 수조 개에 달하는 매개변수(패러미터)가 의사결정에 영향을 미친다.
그래서 데이터를 입력하면 결과를 출력하지만, 처리 과정과 작동 원리를 정확하게 이해할 수 없는 상황에 놓이는데 업계에서는 이를 '인공지능 블랙박스'라고 부른다.
이때 안전 장치처럼 떠오른 개념이 '설명 가능한 AI'다.
설명 가능한 AI는 인공지능이 내린 의사결정이나 결론에 대해 인간이 이해할 수 있도록 판단 근거를 제공하는 기술이다. 시스템의 편견과 결함을 직·간접적으로 추적할 수 있고, 모델 리스크를 정량화하기 때문에 신뢰도를 높일 수 있다.
시장조사기관 프리시던스 리서치는 설명 가능한 AI 시장이 지난해 68억3천만 달러(약 9조1천억 원)에서 2032년 364억2천만 달러(약 48조8천억 원)까지 연평균 18.22％씩 성장한다고 전망하기도 했다.
현재 의료와 금융, 제조업 쪽에서는 특화 모델을 중심으로 도입 사례도 속속 나타나고 있으며, 오픈AI의 'GPT-4'를 이용해 거대언어모델(LLM) 모델의 매개변수를 해석하는 시도에서 성과가 나타났다는 초기 연구가 나오기도 했다.
주요 거대 정보기술 기업들도 관련 연구를 진행하고 있지만, 성과는 물론 자신들이 개발한 기반 모델의 기술 정보 상당수를 비공개로 부치고 있다.
특히 마이크로소프트와 구글은 지난달 말 오픈AI, 앤스로픽과 안전 표준 개발 협의체 '프런티어 모델 포럼'을 구성했는데, 이때 '가장 발전된 대규모 기계학습 모델을 개발하고 인공지능 기술의 안전에 헌신하는 기업'으로 가입 자격을 뒀다.
이 때문에 일각에서는 '설명 가능성' 논의가 후발주자들의 성장을 견제하기 위한 쪽으로 흘러가고 있다는 주장도 나온다.
한 인공지능 업계 관계자는 "지난해 말부터 설명 가능성과 오답의 위험에 대한 이야기가 빠르게 퍼진 이유는 실제 그 중요성을 받아들였다기보단 챗GPT보다 더 잘 할 수 있는 여지가 남아있다는 차원에서 '차별화' 도구로 봤기 때문"이라고 봤다.
그는 "아직 수많은 기업의 기술력이 챗GPT에도 미치지 못하기 때문에 성능을 끌어올리는데 사활을 걸어야 한다"면서 "안전성 이슈를 우선순위로 끌어올리기까지는 시간이 필요해 보이고, 유수의 미국 기업과 격차가 또 발생한다"고 예상했다.
다만 생성 인공지능이 역설적으로 '설명 가능성'으로 가는 길을 열어주고 있다는 분석도 있다.
다른 업계 관계자는 "생성 인공지능은 어떤 결과를 도출하는지 눈으로 볼 수 있기 때문에 설명 가능한 AI를 구현하고 있는 과정으로 볼 수 있다"면서 "설명 가능한 AI를 표방한 모델이 안 나오 는 이유도 그 때문이라 생각한다"고 말했다.
