미성년자 대상 인공지능 에이전트에 대한 윤리원칙(AI디지털 교과서에서 피지컬 AI 로봇까지)

2.1 인공지능윤리와 로봇윤리 관계

최근 인공지능윤리가 주목받기 시작했지만 기존의 컴퓨터윤리, 사이버(인터넷)윤리, 정보윤리, 로봇윤리들의 가치와 원칙이 유사한 항목들로 혼재되어 있다. 이에 Han(2022)는 정보윤리 프레임워크 속에서 인공지능윤리가 정보윤리에 포함관계임을 [Fig. 2]와 같이 설명하였다^[10].

[Fig. 2]

AI Ethics in Information Ethics Framework[10]

인공지능윤리는 [Fig. 2]의 ①~③의 보라색 점선 원 영역에 해당하며 인공지능이 탑재된 시스템을 개발하고 사용할 때 준수해야하는 규칙과 규범을 말하며, 피지컬 AI윤리는 ③번의 회색영역으로 인공지능 로봇이나 (3단계이상)자율주행차와 같은 시스템에 대한 개발과 사용할 때의 규칙과 규범을 뜻한다. 로봇윤리는 파란색 격자무늬 영역으로 물리적 동작이 가능한 다양한 형태의 자동장치뿐만 아니라 회색의 ③영역인 인공지능로봇까지 포함하여 이를 개발하고 사용할 때 준수해야하는 규칙과 규범을 말한다. 이때 레벨 0~2까지의 자율주행차는 자동기계장치로 볼 수 있는 파란색 격자무늬 영역의 로봇윤리의 대상이다.

2.2 AI디지털 교과서 에이전트

교육부는 영어, 수학, 정보교과를 시작으로 AIDT의 단계적 확대 적용을 위해서 학생별 패드 지급과 교사 연수를 하고 있다. AIDT는 [Fig. 3]과 같이 맞춤학습, 흥미와 몰입, 다양성과 데이터 기반, 첨단 기술이 고려되어 학생, 교사, 학부모에게 에이전트 서비스를 제공한다.

• ∙ 학생용 AI튜터: 학습 진단 및 분석, 최적의 학습경로 및 콘텐츠 추천을 통한 맞춤형 학습지원
• ∙ 교사용 AI보조교사: 수업설계·맞춤 처방지원, 콘텐츠 재구성과 학생 학습이력 등 데이터 기반 학습관리 지원
• ∙ 학부모용 AI알리미: 자녀 학습정보 제공

[Fig. 3]

AIDT’s User-Specific Services[11]

이러한 에이전트를 포함하여 개발된 AIDT는 교과용 도서에 관한 규정에 의거 검인정 기준을 확정하고, 기초조사와 본심사를 거친다. 검인정 심사기준은 (헌법 이념과 가치의 존중 등) 공통기준, (교과별 핵심역량 함양 등) 내용심사, (기술표준과 AI윤리항목을 포함한 AI기능 적합성 등) 기술심사로 구성된다. 공통기준에서 정보윤리와 관련된 항목과 내용심사와 기술심사 검정기준에 AI윤리관련 항목은 다음 [Table 1]과 같다^[12,13].

[Table 1]

Ethical Criteria for AIDTs

편향성, 알고리즘의 투명성과 설명가능성, 공정한 데이터 수집 및 저장 등 기술윤리 기준에 따라 편찬되는 AIDT는 서책에 비하여 맞춤형 학습경험, 상호작용 콘텐츠의 이점을 가지고 있으나 연령별, 쌍방향성에 대한 검정기준이 반영되었다고 보기는 어렵다. 즉, 미성년자의 연령별(학교급별)로 생성형AI의 포함여부를 구분해야 하며, 쌍방향 측면에서 학생 사용자에 의한 나쁜 데이터의 흐름 방지 등에 대한 추가 보완 논의가 필요하다.

2.3 교육용 인공지능 로봇

현재까지 개발된 교사보조로봇 또는 튜터로봇은 원격 화상을 연결한 형태이거나 e-러닝 기반의 콘텐츠 또는 코스웨어 연동이라는 특성을 가지고 있다. 특히 미국과 일본 로봇과는 달리 한국의 로봇은 [Fig. 4]에서 보듯 AIDT와 같은 교수학습 콘텐츠를 교실내 모니터, 전자칠판 또는 로봇의 얼굴 모니터 또는 가슴 모니터를 통해 아동에게 제공하며, 동료 학습자 또는 교수학습 보조자 역할의 서비스를 하고 있다.

[Fig. 4]

Educational Service Robots Utilizing Courseware[14]

당시의 교육서비스 로봇은 생성형 인공지능을 탑재하고 있지 않았기 때문에 시범 서비스에 그쳤으나, 최근 출시된 휴머노이드 Figure Helix 등과 같이 집안 일을 하는 로봇에 AIDT를 탑재하여 가정학습을 지원하는 인공지능 휴머노이드의 출현도 가능할 것으로 기대된다. 따라서 AIDT의 윤리기준뿐만 아니라 피지컬 AI 로봇윤리까지 확장하여 고려하면 좋을 것이다.

3.1 미성년자 대상 정보윤리 관련 제도 현황

정보윤리에는 정보통신망에 의한 콘텐츠 제작과 유통이 포함되는데, 콘텐츠는 웹과 SNS 게시물, 방송물, 게임 등에 해당된다. 미성년자의 정보윤리교육의 주요 내용으로는 개인정보 보호, 디지털 예절, 사이버 폭력 예방, 저작권 이해, 유해콘텐츠 대처, 심신 건강을 고려한 인터넷 사용 습관 등을 포함하고 있다.

미성년자를 고려한 정보윤리와 관련된 법과 제도로는 청소년을 성인물이나 음란물 등 유해한 콘텐츠로부터 보호하기 위해 「청소년 보호법」과 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」, 성폭력범죄의 처벌 등에 관한 특례법 제13조(통신매체를 이용한 음란행위), 형법 제311조(모욕)등이 있다. 「게임산업법」 제2조 제10호에 의해 18세 미만의 청소년(｢초·중등교육법｣제2조의 규정에 의한 고등학교에 재학 중인 학생을 포함한다)에게 적절하지 않은 게임콘텐츠로부터 보호하기 위해 내용에 따라 이용연령을 제한하는 사전 심사제의 게임물 등급분류제도를 두고 있다. 방송 콘텐츠의 등급제와 관련된 법적 근거는 「방송법」과 「영화 및 비디오물의 진흥에 관한 법률」에 따라 등급을 분류해야한다^[15].

생성형 인공지능을 개발한 빅테크 기업들은 자체 윤리가이드라인을 제시하고 있는데, 콘텐츠 저작권, 개인정보 보호, 편향, 책임 등이 포함되어 있다. 다음 [Table 2]에는 주요 기업의 미성년자에 대한 가이드로서, 유네스코와 동일한 기준으로 13세 미만의 학생에게는 사용이 금지되며 청소년에게는 보호자의 동의를 요구하고 있다. 또 MS는 13~15세 학생에게 클래스룸 툴킷을 제공하는데, 여기에는 AI가 도구이지 동반자가 아니라는 관계와 정신건강을 포함하며, AI기반 연령 감지시스템, 미성년자 의심경우 추가확인절차로 18세 미만에는 강화된 보안 설정된 맞춤형 서비스를 한다^[16]. 네이버는 성인으로 사용을 제한하고, 카카오는 가족이 이용하는 키즈모드 서비스를 출시했다.

[Table 2]

Some Guidelines for Generative AI Usage by Minors

3.2 AIDT의 윤리적 이슈

미성년을 대상으로한 AIDT에 먼저 고려할 수 있는 이슈로서 앞 절에서 살펴봤듯이 웹, SNS, 메타버스, 방송콘텐츠, 게임 등에서는 다양한 법과 연령별 등급 등 제도가 구성되어 있을 뿐만 아니라 생성형 AI 기술기업의 자체 윤리지침으로서 초등학생의 경우 사용을 금지하고 있다는 점이다. 그런데 현재 AIDT 검정기준에는 생성형 AI 에이전트의 포함 여부 표시와 이에 대한 연령별(학교급별) 권장 사항이 포함되지 않았다는 문제점이 있다.

또한 기존의 서책과 비교하여 생성형 AI에이전트가 적용될 수 있는 AIDT는 사용자와 쌍방향 디지털 자료(글, 그림, 음성, 사진 등) 입출력이 가능하다는 차별점을 가지고 있다. 예를 들어, 고등 영어 AIDT의 경우 학생이 말하기를 하면 음성인식을 통하여 단어나 문장을 만들어주는 STT (Sound to Text) 기능으로 답안이 작성되면 생성형 AI 에이전트가 발음 및 첨삭지도를 해줄 수 있다. 그런데 최영림 외 2인(2021)연구에서 보듯 미성년 사용자가 AIDT를 활용하는 수업 중에 학습과 무관한 욕설이나 외설적인 금칙어 등을 입력하기도 한다^[17]. 만약 AIDT활용 시에도 교사 또는 같은 반 학생들의 대시보드에 전송하거나 공유하거나, 학습데이터를 오염시켜 진단이나 맞춤형의 질을 떨어뜨릴 수 있다. 그러나 [Table 2]의 AIDT 검정기준의 내용심사 III-10번 항목은 쌍방향 중 개발자만 고려한 기준이였기에, 사용자에 의한 ‘금칙어 필터링’은 기술심사 검정과정 중에 수정권고사항으로 반영되기도 했다.

세 번째, 사용자(교사, 학생)가 인공지능 챗봇 에이전트의 맞춤 서비스 제공 등을 받음에 있어 생성형 인공지능 기술이 적용된 에이전트인지 구분할 수 있는 합의된 인터페이스 표식(마크)이 제공되지 않는다. 이런 경우 미성년자는 학습 안내 NPC (Non-Player Character)인지 챗봇과 같은 생성형 인공지능 에이전트인지 정확히 구분을 못할 수 있다. 그 경우 미성년자는 챗봇을 동반자로 착각하여 의존할 위험이 발생될 수 있다.

마지막으로 Liu-Thompkins et al.(2022)가 지적하듯 AI의 공감이 항상 효과적인 것은 아니므로, 미성년자들이 생성형 AI 에이전트가 공감을 하는 경우 과의존(중독)될 위험이 발생할 위험도 있다^[18]. 뿐만 아니라 AI에이전트 활용에 익숙해지면 주변 친구·교사에 대한 딥페이크 자료를 생성하거나 공유할 잠재적 위험도 있기 때문에 이들에 대한 예방교육과 기술적 방지가 AIDT에 포함될 필요가 있다.

3.3 교육 서비스 로봇에서 예측되는 윤리적 이슈

가까운 미래에 휴머노이드 또는 안드로이드 인공지능 로봇이 AIDT를 탑재한 미래교실을 예측하기 위해 Park et al.(2011)은 [Fig. 4]와 같이 교육 콘텐츠가 탑재된 로봇을 교실에 적용해보고, 사용자별로 실제적인 (전문가 수준의 권위와 역할 기대 , 인간보다 우선되는 교감을 통한 의존과 중독 등) 윤리 지침을 다음과 같이 제시하기도 했다^[19].

• ∙ 학생: 로봇은 나의 동기와 맞춤형 학습지원 등 성취향상을 돕기위한 도구적 존재로서, 친구와 교사와의 관계에 영향을 주지 않도록 적절한 상호작용을 해야 한다.
• ∙ 교사: 교실의 주인은 교사와 학생임을 주지시켜야 한다. 로봇은 교사의 교수활동을 지원하고, 학생 연령에 적합한 피드백을 제공 하고, 로봇에 대한 학생의 의존도를 모니터링 해야 한다.
• ∙ 개발자: 로봇은 교사가 사용하기 쉬워야 하고, 위험 상황에서 통제가능 해야하며 (얼굴, 음성, 영상)인식률을 높여 서비스의 질을 높혀야 한다. 또한 교실의 개인정보 침해가 일어나지 않아야 하며 스마트 교실 내 교구재와 연동이 되어 효율적 수업운영을 지원해야 한다.

4.1 AIDT 편찬 유의점의 윤리적 보완 제언

UN의 아동권리헌장에서는 어린이에게 모든 종류의 정보와 아이디어를 추구할 수 있는 표현의 자유와 위해한 자료로부터 어린이를 보호할 수 있는 적절한 가이드라인 개발권장을 포함한다. 우리나라는 정보통신망 이용촉진 및 정보보호 등에 관한 법률 등으로 웹이나 SNS에는 욕설과 성적 금칙어 필터링 처리가 되고 있으며, 게임과 방송 콘텐츠도 연령별로 등급관리를 하고 있다. 뿐만 아니라 교육기본법 제17조의 3항(학습윤리의 확립)에 의거 교육분야에서 미성년자를 보호하고 적정한 서비스를 지향하기 위한 기술개발 방향이 포함되어 있다.

이 절에서는 선행연구들의 AI 윤리적 이슈를 고려하여 미성년자를 대상으로 하는 AIDT 편찬(개발)에 있어서 추가적인 유의점을 도출해보고자 한다. AIDT가 활용될 때 일부 학생들에 의한 작위적이거나 오염된 데이터가 기록·집적 및 공유될 수 있으며, 맞춤형 콘텐츠를 제공하는 AI엔진 외에도 챗봇과 같은 생성형 AI 에이전트가 학습 보조자나 안내자로 포함될 수 있다. 현재 생성형 AI개발사들은 자체적으로 연령별 제한을 두고 있기 때문에, 이를 활용하여 개발된 AI 에이전트의 경우 초중고 모든 AIDT에 포함되기는 무리가 있다. 따라서 AIDT 속에서 학습을 돕는 AI에이전트는 반드시 연령별로 생성형 AI의 포함여부를 제한해야 한다.

따라서 교육부와 검정기관에서 제시하고 있는 AIDT 공통 편찬상의 유의점 9가지 중에서 ‘교과용 도서편찬 관련 법령의 준수’, ‘표기와 인용의 정확성’, ‘인공지능 학습구현’ 각 항목에 대해서 다음과 같이 연령과 생성형 인공지능에 따라 윤리적으로 추가보완을 제안한다.

• ∙ 교과용도서 편찬 관련 법령의 준수: 13세 이하 대상 AIDT속의 에이전트에는 생성형인공지능 포함을 제한해야 하며, 14세 이상은 보호자의 동의와 교사 지도 하에서만 생성형 인공지능 에이전트를 활용하도록 교육기본법, 지식재산권 외에도 정보통신망 이용촉진 및 보호 등 법률, 게임과 영상 콘텐츠 연령별 등급제 등을 포괄적으로 고려한 수준으로 제공한다. 단, 초등 AIDT라도 교사와 학부모용 에이전트는 생성형 AI기능을 포함할 수 있다.
• ∙ 표기와 인용의 정확성: 사용자(학생, 교사, 학부모)가 생성형 AI 에이전트를 구분할 수 있도록 인터페이스에 공통 표식이 있어야 하며, 생성형 AI가 창작한 콘텐츠는 별도 표기를 제공해야 한다.
• ∙ 인공지능기반 학습구현: 13세 이하의 경우 AIDT와 관련된 정보윤리교육 및 인공지능윤리교육 내용을 제공해야 하며, 14세 이상의 경우 AIDT 속의 생성형 AI 에이전트가 동반자가 아닌 학습도구라는 개념을 지도하며 학습지원을 받을 때 감정적 교감을 하지 않도록 하는 인공지능윤리교육 내용이 포함되어야 한다.

4.2 미성년자대상 인공지능로봇 개발의 유의점

현재까지 국내에서 연구된 로봇윤리헌장(안)으로 2018년 버전과 2023년 버전이 있는데, 전자는 인공지능로봇에 대한 헌장(안)이였고 후자는 인공지능로봇은 물론 자동기계장치로서의 로봇까지 포괄한 헌장(안)이다^[20]. 특히 2023년 로봇윤리헌장(안)은 ChatGPT-3.5의 출시 여파에 따라 기존 헌장(안)에서 신규 추가된 항목이 있는데, ‘로봇은 인간의 신체와 정신에 위해를 주면안된다’, ‘로봇은 외형으로 개별 구분과 관리가 되어야한다’를 꼽을 수 있다. 인간과 구분이 힘든 생성형 AI가 탑재될 경우 로봇은 인간에게 물리적 위해뿐만 아니라 정신건강에도 위협이 될 수 있다고 보았다. 또한 생성형 AI가 탑재된 안드로이드 로봇에 대해서 미성년자와 노약자는 외형적으로 인간이 아닌 로봇으로 인지 및 구분이 어려울 수 도 있는 윤리적 문제를 고려한 것이다.

더구나 인공지능로봇은 물리적 상호작용을 동반하며, 안드로이드형태까지 등장하고 있기 때문에 건강한 성인에 비해 인지 및 신체능력이 떨어지는 미성년자, 노약자 등이 인공지능로봇과 상호작용함에 있어서 발생가능한 다양한 문제들을 대비한 추가적인 윤리원칙이 고려되어야 할 것이다.

인공지능 교사보조로봇의 윤리적 함의는 다음과 같다.

• ∙ 교사보조 로봇의 역할 및 기능: 로봇은 교사 보조 역할로서 학습 조력자(도구)와 지지자(도구)여야 하며, 외형·역할·기능이 명확히 제한되어야하고, 통제가능해야 한다.
• ∙ 학생의 정서 및 사회적 발달: 로봇과의 상호작용에 따른 학생의 의존성(중독) 문제, 학생들간과 교사와의 정서적 유대형성과 사회적 성장에 미치는 부정적 영향을 고려 해야한다.
• ∙ 프리이버시와 데이터 보안: 교사보조 로봇을 통해 수집된 학생의 학습 행동 데이터 등 민감한 데이터에 대한 저장, 접근 및 처리 규정 등의 윤리적 고려를 해야 한다.
• ∙ 책임 및 관리 문제: 로봇의 (오류나 부적정한) 행위에 대한 책임과 관리, 교사의 지도 방식과 충돌하는 경우의 규정을 논의하고, 편향을 최소화하여 투명성과 설명 가능성에 대한 윤리적 의미를 제시해야 한다.

4.3 미성년자대상 인공지능 에이전트 윤리원칙

이 절에서는 앞절의 윤리적 유의점과 연결지어 미성년자를 대상으로하는 (피지컬) AI 에이전트에 대한 5가지 윤리 원칙-연령별 접근 제한, 활용목적의 교육 실시, 인터페이스(외형) 공통 표식, 생성물 출처 표시, 감정 표현의 제한을 [Table 3]과 같이 제안한다.

[Table 3]

Ethical Principles of (Physical) AI Agent by Minors

특히 1~3원칙은 AI에이전트를 활용하기 전이나 초기의 교육에 대한 중요성으로 고려되었으며, 4원칙은 미성년자가 대상에 대해 정확히 인식해야함이 전제가 되어야 하는 것으로 구성했으며, 마지막 5원칙의 에이전트 감정표현의 제한은 미성년자의 정신건강(의존, 중독, 자살 등)에 매우 중요한 영향을 끼칠 수 있는 위험을 예방하기 위해 고려되었다.

이 논문에서는 현재 도입이 시작된 AIDT와 피지컬 AI로서 교사로봇까지 연결지어 윤리적 이슈를 정리하여 봄으로써, AI기술이 교육현장에 적용될 때 인간 중심의 가치와 윤리적 무결성을 보존하는 균형있는 윤리 원칙들을 추가로 제안하여 보았다. 이 제안은 AIDT가 교육현장에 적용되면서 이루어지는 기술개발과 함께 지속적으로 개선되거나 수정될 것으로 기대된다. 마찬가지로 본격적으로 개발되고 있는 피지컬 AI(로봇)이 역시 우리 사회에 보급되지는 않았기 때문에, 앞으로 발생할 수 있는 윤리적 이슈들을 예측하여 고려하였다는 점을 밝힌다. 향후 제안된 윤리 원칙에 대하여 인식조사, 사례기반 교수학습모형 등의 후속 연구가 필요하다.