인공지능 안내 로봇 서비스 만족도와 품질 속성 분석

2.1 Kano 모델

Kano 모델은 제품 및 서비스가 고객 만족에 영향을 주는 품질을 측정하기 위한 도구로 다양한 분야의 실증 연구에 의해 활용되고 있다^[5-8]. Kano 모델에서는 서비스 품질 만족과 불만족에 미치는 요인이 다르다는 이원적 개념을 바탕으로 품질요소의 충족에 따른 고객의 만족 및 불만족 변화를 기준으로 [Fig. 1]과 같이 품질요인을 분류한다.

[Fig. 1]

Kano model

Kano의 품질요소 분류를 위해 각 항목별로 긍정적 질문과 부정적 질문을 동시에 하고 이에 대한 응답을 [Table 1]과 같은 평가표에 따라 값을 매기며, 항목별 최빈값을 보이는 유형으로 최종 품질 속성을 평가한다^[9].

[Table 1]

Two dimensions table of quality

Kano 모델에 의한 품질요인 특성은 6가지로 분류되는데 각 특성은 다음과 같다. ‘매력적 품질(A)’은 충족이 되면 만족감을 주지만, 충족되지 않더라도 크게 문제가 되지 않는 품질요소를 의미한다. ‘일원적 품질(O)’은 충족되면 만족하고, 충족되지 않으면 불만족하게 되는 품질요인으로, 충족의 정도와 고객만족의 정도가 정비례하는 요소이다. ‘당연적 품질(M)’은 충족이 되지 않으면 불만족을 야기하지만 충족이 되더라도 만족에는 크게 영향을 미치지 않는 속성이다. ‘무관심 품질(I)’은 충족의 여부와 상관없이 만족과 불만족을 일으키지 않는 속성이다. ‘역품질 요인(R)’은 충족이 되면 불만을 일으키고, 충족이 되지 않으면 만족하는 속성을 의미한다. 마지막으로 ‘회의적 품질 요인 혹은 불성실 답변(Q)’는 충족 여부와 상관없이 모두 만족하는 경우이다.

2.2 Timko 고객만족지수

Kano 모델은 긍정적 질문과 부정적 질문을 통해 품질 특성을 분류하고, 이 결과에서 최빈값을 가지는 속성으로 요인을 판정한다. 이에 최빈값과 큰 차이가 없는 품질 속성은 고려하지 못하는 한계가 있다. 본 연구에서는 이를 극복하고자 Timko 모델을 사용했다.

Timko 모델^[10]에서는 Better 지수와 Worse지수를 통해 품질 특성 요인을 분석한다. Better 지수는 특정 속성이 고객의 욕구를 충족하게 될 때, 고객만족을 증가시킬 수 있는 기대수준을 의미하고 Worse 지수는 특정 속성을 충족시킬 때 고객 불만을 감소시킬 수 있는 기대 수준을 의미한다. Kano 품질 분류를 이용해 Timko 모델의 Better 지수와 Worse 지수는 [Table 2]와 같이 측정한다.

[Table 2]

Customer satisfaction coefficient

Better 지수가 +1, Worse지수가 0인 경우 서비스 품질이 충족될 때 사용자 만족도가 가장 높게 증가하는 항목으로 매력적 품질이 이에 해당한다. Better 지수가 0, Worse지수가 -1인 경우는 서비스 품질에 만족해도 만족도는 높아지지 않으나 충족되지 않으면 만족도가 낮아지는 항목으로 당연적 품질이 이에 해당한다. 그 외 Better 지수가 +1, Worse지수가 -1인 경우는 일원적 품질, Better 지수가 0, Worse지수가 0인 경우는 무관심 품질로 이를 좌표평면으로 나타내면 [Fig. 2]와 같다.

[Fig. 2]

Classification chart of Timko quality characteristics

2.3 로봇 서비스 품질

서비스 품질이란 이용자가 기대하는 서비스 수준과 지각된 서비스 수준의 차이로 결정되는 개념으로 Parasuraman^[11]은 지각과 기대간의 차이라고 정의하고 있다. 이를 기반으로 Chiang^[12]은 서비스 로봇의 서비스 품질 분석을 위해 5가지 항목(유형성, 신뢰성, 반응성, 확신성, 공감성)을 제안했으며, 이에 대한 세부내용은 [Table 3]과 같다. 본 논문에서는 외형적인 품질 속성인 유형성을 제외하고 사용자와 상호작용 요인인 HRI을 추가해 로봇 서비스 품질 속성 대상을 선정했다^[13].

[Table 3]

Service quality attribute of robot[12]

3.1 하드웨어 플랫폼

실험을 위한 인공지능 안내 로봇으로 한컴 로보틱스의 ‘엘리젠’ 플랫폼을 활용했다([Fig. 3] 참고). ‘엘리젠’ 플랫폼은 터치 스크린을 활용한 서비스 제공이 가능하고 로봇 헤드의 움직임과 얼굴 표정 변화를 통한 감정 표현이 가능해 다양한 형태로 사용자와 상호작용 기술을 적용할 수 있다. 뿐만 아니라 영상 인식과 음성 인식을 통해 소셜 HRI가 가능하고 라이더 센서 기반으로 자율 주행이 가능함에 따라 박물관, 전시관 등 다양한 공공장소에서 실제 안내 로봇으로 활용되고 있으며, 자세한 하드웨어 주요사양은 [Table 4]와 같다.

[Fig. 3]

Robot platform [14]

[Table 4]

H/W specification

3.2 주요 기능 및 서비스

본 연구에서는 멀티모달 상황인지형 소셜 HRI를 제공하기 위해 음성 처리, 대화 처리, 영상 처리 모듈 기술을 기반으로 인공지능 안내 로봇의 주요 서비스를 개발했다.

시스템은 [Fig. 4]와 같이 로봇과 각종 AI 모듈을 포함한 서버로 구성되어 있다. 로봇 태스크 매니저는 사용자 음성과 영상 정보를 입력받아 서버의 각 모듈에 전달하고 대화 응답 및 로봇 감정 표현 결과값을 받아 처리하는 역할을 한다.

[Fig. 4]

System architecture

음성 처리 모듈에서는 사용자 발화 단위로 음성인식 결과를 출력한다. 실환경에서 음성인식 성능을 높이기 위해 로봇 플랫폼 환경에서 연령과 성별을 균등하게 분배해 총 100명으로부터 음성 DB를 수집했다. 수집한 음성 DB에서 발성 속도 조정을 이용해 증강된 데이터로 음성인식 모델을 훈련했으며, 사용자와 비사용자 구분을 위해 화자 식별 기술을 적용했다.

영상 처리 모듈에서는 로봇 입력 영상으로부터 사용자의 헤어 속성(색상, 스타일, 길이), 의상 속성(색상, 종류)을 인식한 결과값과 마스크 착용 유무 결과값을 대화 처리 모듈로 보낸다. 실환경에서 강인한 외형 특징 인식을 위해 헤어 속성은 Vision image Transformer (ViT)을 적용했으며, Weakly supervised 기반 의상속성 인식용 다중속성 심층망 모델을 개발해 적용했다. 그리고 얼굴 영상에서 마스크 착용 여부를 분류하기 위해 얼굴 RIO를 binary classification하는 모델을 학습하고 정확한 마스크 영역을 분리하기 위해 semantic segmentation 모델을 학습해 실환경에서 성능을 개선시켰다.

인공지능 안내 로봇에서 대화처리는 시스템의 빠른 응답성이 요구되는 서비스이다. 특히, 외부 정보 서비스(엑소브레인 OpenAPI, data.go.kr OpenAPI 서비스 등)를 참조함과 더불어, 소셜 대화, 감정 분류 등 별도로 동작하는 하위 서브 시스템에 질의해야 하므로 단순히 순차적 요청 및 처리 방법으로는 빠른 응답성을 만족하기는 어렵다. 이에 따라 , 하위 서브 시스템과 비동기로 요청, 통신하여 응답 지연시간을 최소화하는 대화 흐름 컨트롤이 응답을 결정하고, 주어진 제한 시간 내 최선의 응답을 반환하도록 시스템을 구성했다. 로봇의 응답 발화에 대한 감정 생성은 한국어 버전의 BERT 모델인 ‘KoBERT’를 활용하여 7가지 감정(중립, 행복, 슬픔, 놀람, 분노, 공포, 혐오) 중 하나로 예측하고 로봇의 14개 표정으로 해당 감정을 매핑해 출력하도록 했다. 정리하면 대화 처리 모듈에서는 대화의 종류를 구분하고 영상 처리 모듈로부터 받은 결과값을 이용해 각 질의에 적합한 답변과 감정을 분류해 태스크 매니저에게 전달한다.

4.1 조사 방법

연구는 객관성 확보를 위해 한국전자통신연구원 방문자를 대상으로 안내 로봇 사용 후 QR 코드 접속을 통한 온라인 설문 조사를 실시했다[Fig. 5]. 통계학에 의하면 무작위로 추출된 표본의 크기가 100인 경우 오차율은 ±9.8%이다. 엄격한 가설 검증을 요구하는 경우에는 일반적으로 ±5%의 오차율을 허용하고 있다. 그러나 조건에 따라 큰 의의를 갖는 탐색적 연구의 경우는 ±10%의 오차율에 한해서도 그 의의를 인정하고 있다^[15]. 이를 근거로 설문조사는 2022년 9월 6일부터 11월 4일까지 연구원을 방문한 20세 이상의 성인남녀 총 102명(최소 표본 크기 100이상을 만족)을 대상으로 했으며, 연구 수행 전 기관 생명윤리위원회를 통해 연구 윤리 승인을 받았다(승인번호: N01-202210-01-006).

[Fig. 5]

Survey method

4.2 설문지 구성

설문지는 크게 안내 로봇 서비스에 대한 만족도 조사를 위한 섹션 A와 안내 로봇 서비스 품질 속성 분류 및 요인 분석을 위한 섹션 B로 구성되어 있다.

4.2.1 로봇 서비스에 대한 만족도 조사

섹션 A에서는 인공지능 안내 로봇의 음성 인식, 대화 모델, 영상 처리 모듈 기반의 주요 서비스에 대해 [Table 5]와 같이 사용자 만족도 조사 내용으로 구성했다. 총 14개의 세부 문항으로 각 문항에 대해 5점 척도(매우 만족, 만족, 보통, 불만족, 매우 불만족)로 선택하도록 했다. 그리고 연구대상자를 직접 모집하는 것이 아니라 방문자를 대상으로 자유의사에 따라 로봇을 사용하고 온라인으로 설문조사를 하는 방식으로 진행하기 때문에 기능별로 사용 빈도를 살펴보기 위해 ‘기능이 있는지 느끼지 못함’을 선택지에 추가했다.

[Table 5]

Questionnaire on user satisfaction

4.2.2 Kano 모델에 의한 품질 속성 분석

소셜 로봇의 서비스 품질 속성 및 요인 분석을 위해 Kano 모델을 이용한다. Kano 모델은 [Table 6]와 같이 하나의 품질 속성에 대해 긍정적 질문과 부정적 질문 형태로 설문항목을 구성한다.

[Table 6]

Kano Model Questionnaire Format

2.3절에서 정의한 5가지 로봇 서비스 품질 속성을 기반으로 [Table 7]과 같이 설문을 위한 11개의 세부 문항을 구성했다. 여기서 로봇 외형 관련 인식에 해당하는 유형성 항목은 상용 로봇 플랫폼인 ‘엘리젠’을 사용하였으므로 제외했다. 이를 대신해 멀티모달 상황인지형 소셜 HRI 기술에 대한 인식을 조사하기 위해 인터페이스 항목을 추가했다. 설문 문항은 인공지능 안내로봇의 안내 서비스와 일상 대화 서비스를 기반으로 긍정적 문장과 부정적 문장으로 작성했다.

[Table 7]

Questionnaire on service quality attribute

4.3 분석 방법

안내 로봇의 14가지 주요 서비스에 대한 사용자 만족도는 리커트 척도(5점 척도)를 이용해 분석한다. 안내 장소의 특성 상 14가지 모든 서비스에 대해 정해진 시나리오에 따라 평가하는 것은 불가능하기 때문에 사용자가 이용한 서비스에 대해서는 만족도를 평가하고 사용하지 못한 서비스에 대해서는 ‘기능이 있는지 느끼지 못함’으로 체크해 서비스별로 사용 빈도를 분석한다.

안내 로봇의 서비스 품질은 Kano 모델을 기반으로 ‘매력적 품질(A)’, ‘일원적 품질(O)’, ‘당연적 품질(M)’, ‘무관심 품질(I)’, ‘역 품질(R)’, ‘회의적 품질(Q)’ 의 6가지 속성으로 분류한다. 그리고 최빈값과 유사한 품질속성을 반영하지 못하는 Kano 분석의 단점을 보완하기 위해 Timko의 고객만족지수 산출방법을 활용한다. Timko의 고객만족지수 산출방법을 활용해 개별 품질 요소들의 Better지수와 Worse지수를 구하여 Kano모델에 의해 도출된 결과를 보완 설명한다.

5.1 서비스 만족도 분석 결과

섹션 A의 설문 항목 중 실제 기능을 사용하지 않은 4번 항목을 제외한 총 13개의 항목에 대한 만족도는 [Fig. 6]과 같다. 가장 높은 만족도를 보인 항목은 ‘로봇은 사용자 발화 내용에 대한 음성인식 결과를 화면에 보여준다.’로 44.1%가 매우 만족했다. 가장 낮은 만족도를 보인 항목은 ‘사용자가 다른 곳을 보고 있을 때 집중해 달라고 말한다.’ 로 22.4% 만이 매우 만족한다고 답했다. 이 항목은 대화 도중 사용자가 다른 곳을 바라보는 특정 상황에서만 발현되는 기능으로 대부분의 사용자가 경험하지 못했기 때문에 만족도가 낮은 것으로 해석된다. 이 외 ‘사용자는 기동어 없이도 로봇과 대화를 시작할 수 있다.’와 ‘로봇 발화 내용에 맞춰 얼굴 표정을 표시한다.’가 사용 빈도수가 낮은 기능으로 나타났다. 이는 사용자가 주로 로봇의 얼굴이 아닌 스크린을 바라보며 이야기하기 때문에 로봇 표정을 볼 수 없었기 때문이라고 해석된다.

[Fig. 6]

User satisfaction Results

불만족이 높은 항목은 ‘로봇이 대화를 유도하거나 이끌어 나간다.’와 ‘사용자 이해의 결과(외형 특징 인식)를 대화에 반영한다.’로 9.8%가 불만족(매우 불만족 포함)하다고 답했다. 사용자들은 대상 로봇을 안내로봇으로 인식하기 때문에 정보 제공이 아닌 소셜 대화로 유도하는 것에 대해 불만족을 표현했다. 그리고 얼굴이나 의상 등 외형 특징 인식 결과 기반의 대화는 조명 등의 영향으로 오인식에 의해 생성된 로봇 발화 내용에 대한 사용자의 불만이 반영되었다.

5.2 Kano의 품질 속성 분류

Kano 모델에 의한 분석을 위해 섹션 B의 설문 결과 중 모든 항목에 대해 Q (Questionable result)를 체크한 불성실 응답자 8명을 제외하고 총 94명의 데이터를 분석했으며 그 결과는 [Table 8]과 같다.

[Table 8]

Verification of service quality attributes of guide robot by using Kano’s model

Kano 분석 결과 대부분 항목이 매력적 품질 속성에 해당되었다. 이 중 ‘로봇은 내 질문에 맞는 답변을 해준다.’와 ‘로봇은 내 질문에 대해 신속 정확하게 응답한다.’ 항목은 가장 매력적인 품질 요인(A)으로 나타났다. 이는 사용자가 대상 로봇을 안내로봇으로 인식하기 때문에 반응성과 신뢰성을 매력적인 품질 요인으로 선택한 것으로 분석된다. 반면 공감성에 해당하는 ‘로봇은 내가 원할 때 먼저 말을 걸어온다.’와 ‘로봇이 대화를 유도하거나 이끌어 나간다.’ 항목은 무관심 품질 요인(I)에 해당되었다. ‘나는 로봇이 하는 말을 믿을 수 있다’ 항목은 매력적 품질(A)과 일원적 품질(O)요인이 동일하게 나타났다. 그리고 ‘안내 로봇으로부터 제공된 정보 및 안내 서비스 내용은 정확하다’와 ‘사용자는 기동어 없이도 로봇과 대화를 시작할 수 있다’항목은 매력적 품질(A)과 무관심 품질(I)이 동일하게 나타났다. 특히, ‘사용자는 기동어 없이도 로봇과 대화를 시작할 수 있다’ 항목은 Q (Questionable result) 결과가 많았는데 이는 질문의 의도가 잘 전달되지 않았거나, 무관심의 다른 표현일 가능성이 높다.

5.3 Timko의 만족지수와 불만족 지수

Timko의 고객만족지수는 Better지수와 Worse 지수로 표현되며 매력적 품질(Better지수 0.5이상, Worse지수 0.5이하), 일원적 품질(Better지수와 Worse 지수 모두 0.5이상), 당연적 품질(품질로, Better 지수가 0.5이하이며 Worse지수가 0.5이상), 무관심 품질(Better 지수와 Worse지수가 모두 0.5이하)로 분류하고 있다.

Timko의 평균분석에 의한 품질 분류 결과와 Kano의 이원적 품질 분석에 의해 분류된 결과는 큰 차이 없이 유사하게 나타났다. 설문조사 결과 Better 지수가 높은 항목은 ‘인공지능 안내 로봇은 내 질문에 대해 신속 정확하게 응답한다.(0.79)’, ‘인공지능 안내 로봇은 나에게 좋은 서비스를 제공한다.(0.74)’ 항목과 ‘로봇은 대화 상대인 나에게 집중하는 것처럼 느껴진다.(0.72)’으로 나타났다. 이들은 주로 반응성에 대한 항목으로 서비스 품질이 충족될 때 사용자 만족도가 가장 높게 증가하는 품질 요인으로 해석된다.

Better 지수와 Worse 지수가 모두 0.5 이하인 항목은 Kano모델에 의한 분류와 동일하게 ‘로봇이 대화를 유도하거나 이끌어 나간다.(Better 지수: 0.36, Worse 지수: - 0.15)’와 ‘로봇은 내가 원할 때 먼저 말을 걸어온다.(Better 지수: 0.45, Worse 지수: - 0.28)’로 무관심 품질 요인으로 나타났다.

Kano 모델에 의한 평가에서 ‘로봇은 내가 원할 때 먼저 말을 걸어온다’, ‘인공지능 안내 로봇으로부터 제공된 정보 및 안내 서비스 내용은 정확하다’와 ‘사용자는 기동어 없이도 로봇과 대화를 시작할 수 있다’ 항목의 매력적 품질 평가 수는 동일하게 나타났다. 하지만 Timko의 평균 분석에서 Better 지수는 차이를 보였으며, 다른 품질 요인으로 분류되었다.

설문조사 결과 Worse 지수는 ‘나는 로봇이 하는 말을 믿을 수 있다.(- 0.45)’ 항목이 가장 높게 나타났으며, ‘인공지능 안내 로봇은 나에게 좋은 서비스를 제공한다.(-0.39)’과 ‘로봇은 대화 상대인 나에게 집중하는 것처럼 느껴진다.(-0.38)’ 항목이 그 뒤를 이었다. 이들 항목은 다른 항목에 비해 서비스 품질이 충족되지 않으면 만족도가 크게 떨어지는 품질 요인이다.

5.4 정성적 결과 분석

설문조사는 연구원을 방문한 성인남녀를 대상으로 특별한 제한없이 로봇 사용 후 온라인으로 실시되었으며, 안내 로봇과 소셜 로봇에 대한 경험 유무, 로봇에 대한 사전 지식 등은 고려되지 않았다. 이에 일부 사용자들은 익숙하지 않은 사용법으로 인해 인공지능 안내 로봇을 사용함에 있어 불편함을 겪었다고 토로했다.

로봇에 사전 지식 및 경험 유무에 따른 직접적인 비교는 어렵지만, 일부 연구대상자들이 기존에 경험해 본 상용 로봇과 비교해 인공지능 안내 로봇에 대한 의견을 제시했으며 이를 장/단점으로 정리해보면 [Table 9]와 같다.

[Table 9]

Advantages/disadvantages of the AI guide robot

연구대상자들은 감정 표현, 음성 인식 등 소셜 로봇 기능에 대해 장점이라고 느끼는 반면, 기존에 다른 로봇으로부터 경험해보지 못한 기동어 없는 대화 기능, 대화 유도 기능에 대해서는 단점으로 인식하는 경향이 있었다. 또한, 익숙한 음성 인식 기술에 대해서는 다른 상용 제품과 성능을 비교할 정도로 이해도가 높았으나, 영상 기반의 외형 특징 인식 기술(마스크 인식, 헤어 스타일 인식, 의상 특징 인식)에 대한 이해도는 상대적으로 낮았다. 특히, 헤드 포즈 인식 기술에 기반해 사용자가 다른 곳을 쳐다볼 때 로봇이 ‘저와의 대화에 집중해 주세요.’ 라고 말하는 것에 대해 사용자 대부분이 로봇이 왜 이런 말을 하는지 상황을 이해하지 못했다.