심장 박동기 등 인공지능 딥러닝을 이용한 다양한 의료기기가 출시되면서 인공지능 관련 의료 제품의 안전성과 책임 소재에 대한 신뢰성 확보와 면밀한 법 제도와 규제가 필요하다는 주장이 제기됐다.

한국보건산업진흥원은 서울아산병원 융합의학과 김남국 부교수의 ‘의료 인공지능의 신뢰성과 안전성’ 디지털 헬스케어 리포트를 최근 공개했다.

보고서는 의료인공지능 신뢰성을 위해 ▲설명 가능한 인공지능 ▲견고한 인공지능 ▲공정한 인공지능 등을 제시했다. 또 안전성을 위해서는 활용 범위에 큰 영향을 줄 수 있는 이슈이기 때문에 면밀한 법 제도와 규제검토가 필요하다고 강조했다. 김남국 부교수는 인공지능의 안전성 검증은 안전성 그 자체뿐만 아니라 실제 인공지능이 활용되는 상황을 면밀히 고려해야 한다고 밝혔다.

김남국 부교수는 우리나라도 의료진의 감독과 개인정보 보호, 공정성, 책임 등을 담은 의료 인공지능 적용에 대한 가이드라인을 만들어야 한다고 밝혔다.

보고서에 따르면 미국은 의료 인공지능 기술의 연착륙을 위해 인간과의 협력, 윤리적·법적·사회적으로 적합한 시스템과 안전한 운영 등 전략적 과제를 제시했다.

유럽연합은 의료 인공지능의 안전성을 보장하기 위해 로봇에 ‘전자인간’이라는 지위를 부여했다.

◇한국, 2018년 윤리 가이드라인 발표=우리 나라는 2016년 발표된 ‘지능정보사회 중장기 종합대책’에는 인공지능을 비롯한 지능정보기술의 연구개발 전략뿐 아니라 프라이버시 침해 등에 대한 두려움 없이 국민이 안심하고 지능정보기술을 활용할 수 있는 제도적 기반 확보를 강조하고 있다.

2018년 4월에는 과학기술정보통신부의 지원 아래 학계와 연구계, 민간 전문가 등 25명으로 구성된 정보문화포럼이 2년여간 연구한 결과로 ‘지능정보사회 윤리 가이드라인’을 발표했다.

공공성, 책무성, 통제성, 투명성 등 4대 원칙과 기술 개발·활용 단계별 38개 세부 지침을 수립했다.

보고서는 가이드라인을 통해 인공지능에 의한 잠재적 위험을 예방하고 구체적 행위 지침을 통해 관련 분야의 자율 규제 환경 조성에 기여하며, 이용자의 권한을 강화해야 한다고 주장했다.

의료 인공지능 적용에 대한 ‘신뢰성 안전성 가이드라인’ (Guidelines for Trustworthy AI)에는 ▲인간의 기본권 보호와 의료진의 감독 ▲견고함과 안정성 ▲개인 정보 보호 및 데이터 관리 ▲투명성 ▲다양성, 공정성, 차별 금지 ▲의료 발달 ▲책임 등 원칙과 이를 실현할 수 있는 방안 및 평가기준이 필요하다고 밝혔다.

가이드라인에 따르면 인공지능은 인간의 기본 권리와 자율성을 침해해선 안되고 인공지능이 내리는 모든 결정에 대해 의료진이 개입, 감독할 수 있어야 한다.

또 의료 인공지능은 안전하고 정확해야 한다. 특히 의료의 불확실성 등에 강인하고 적대적 외부 공격에 의해 쉽게 손상되지 않아야 하며 합리적으로 신뢰할 수 있어야 한다. 이를 위해 의료 인공지능은 적대적 또는 악의적인 공격 등에 최소한의 방어가 되어야 하고 이에 대한 별도의 테스트 결과를 명시해야 한다.

이와 함께 의료 인공지능 시스템이 수집한 개인 데이터는 안전하게 개인정보가 보장되어야 하며 권한 없이 쉽게 접근, 강탈되지 않도록 하기 위해 의료 인공지능이 윤리적으로 개발되었는지에 대하여 명시해야 한다. 개발 과정에서 모인 개인 데이터에 대한 보안법이 명시되어야 한다.

가이드라인은 투명성과 다양성, 차별금지에 대해서도 강조했다.

의료 인공지능 시스템의 알고리즘, 데이터에 접근할 수 있어야 하며 의료진은 의료인공지능 시스템이 내리는 결정에 대해 이해하고 설명할 수 있어야 한다. 의료인공지능이 제공하는 서비스는 연령, 성별, 인종에 관계없이 모든 사람에게 사용되거나 일부에 사용될 경우 이유를 명시해야 한다고 밝혔다.

시스템 구성 역시 편향되지 말아야 한다. 의료 인공지능은 특별한 이유 없이 보편적으로 사용될 수 있게 개발되어야 하며 특정 계층을 차별하지 않게 학습되어야 한다.

이밖에 의료 인공지능은 의학과 의료의 발달에 사용되어야 하고 의료 인공지능 시스템과 그로 인해 발생하는 결과에 책임져야 하고 시스템 오류, 부정적 결과 등을 인지하고 책임질 수 있는 시스템을 구축해야 한다. 구체적으로는 의료인공지능의 오작동 등에 대한 법적 책임 소재 및 보상 방법을 정해야 한다고 강조했다.

◇미국 AIㆍML 기반 소프트웨어 의료기(SaMD) 규정=국가 차원의 인공지능 육성전략을 담은 ‘국가 인공지능 연구개발 전략 계획(The national artificial intelligence research and development strategic plan)을 2016년 10월에 발표했다. 이 보고서에는 인공지능 기술의 연착륙을 위한 정부의 역할을 사회적 이익 측면, 기술 표준 측면, 장·단기적 연구지원 측면, 업계와의 협력 측면 등에서 규정하고 총 7개의 전략을 제시했다.

이 중 ▲인간과의 협력을 위한 효과적 상호작용방법 연구 ▲윤리적, 법적, 사회적 함의에 맞는 인공지능 시스템 개발 ▲안전하고 보안 문제가 없는 인공지능 운영 등 3개 전략이 인공지능의 안전성 및 인간과의 공생에 관한 것이다.

트럼프 대통령은 2019년 2월 ‘인공지능 분야에서 미국의 리더십 유지’라는 행정명령을 발표하고 5대 원칙을 제시했다. 이 중 하나가 인공지능 시스템에 적합한 ‘기술 및 안전 표준’을 개발하는 것이다.

이를 ‘인공지능/ML기반 SaMD(이하 SaMD)’로 정하고 적절한 규제 감독을 통해 안전하고 효과적인 소프트웨어 기능을 제공할 때 SaMD를 의료기기로서 인정했다.

안전한 SaMD 구현을 위해서 소프트웨어의 위험 수준을 정하고, 위험이 일정 수준 이상인 소프트웨어에 대한 사전검증을 시행한다. 이 사전검증은 소프트웨어 개발 전체 주기(Total Product Life Cycle)에서 시행된다. 이런 접근법은 시판 전 개발에서 시판 후 성과에 이르기까지 소프트웨어 제품의 평가 및 모니터링을 하게 한다.

◇유럽연합, 의료용 로봇에 '전자인간' 지위 부여=2012년~2014년까지 인공지능과 로봇의 사회적 영향을 고려한 로봇법(Robolaw) 프로젝트를 수행하면서 수술 로봇, 자율주행차, 로봇 인공기관 등의 사례를 통해 연구하였다.

유럽연합은 2014년 6월 ‘D6.2 로보틱스 가이드라인(D6.2 Guidelines on Regulating Robotics)를 공표했다. 주요 내용을 살펴보면 인공지능의 안전성을 보장하기 위해 로봇에 전자인간(electronic personhood)이라는 지위를 부여하고 인간에게 도움을 주는 목적으로 개발되어야 한다고 규정했다. 또 해킹 등 사회적 악용 가능성을 최소화하고, 인간에게 위협을 가하지 않으며 비상 시 인공지능 시스템을 즉시 멈출 수 있는 ‘킬 스위치’ 탑재에 관한 내용도 포함되었다.

2019년 4월에는 ‘신뢰할 수 있는(Trustworthy) 인공지능을 위한 윤리지침’을 발표했다.

신뢰할 수 있는 인공지능을 개발하고 사용하기 위한 7가지 요구사항 중 하나가 기술적 ‘안전성’이다. 이에 가장 중요한 구성 요소는 기술적인 견고성이다. 의도하지 않은 위험을 최소화하고 허용 가능한 수준으로 위험을 방지함으로써 인공지능 시스템이 안정적으로 작동되도록 개발하는 것이 기술적 견고성이다.

인공지능 안전 확보를 위해서는 모든 생명체와 환경을 해치지 않고 작업을 수행하는지 검토되어야 하며 의도하지 않은 결과와 오류를 최소화해야 한다.

또 다양한 응용 분야에 걸쳐 인공지능 시스템의 잠재적인 위험을 규정하고 평가하는 프로세스가 수립되어야 한다.

민간활동으로는 영국 옥스퍼드 대학과 FHI(Future of Humanity Institute)에서 공동으로 운영하는 전략 인공지능 연구소(Strategic AI Research Center)는 인공지능이 안전하고 유익한지 확인하기 위한 전략과 도구를 개발하고 있으며, 일반 인공지능(AGI)이 자체 보상 기능을 수행할 때 생길 수 있는 기능의 부작용에 따른 위험을 연구한 보고서를 발간했다.