실환경 전시관 안내 서비스 로봇에 대한 방문객 행동 분석 연구

1. 서 론

서비스업의 현장에서는 사용자의 상호작용 방식에 따라서 로봇의 기술과 서비스를 구성해야 효율적인 방향으로 서비스가 진행되기 때문에 사용자 연구의 중요성이 더욱 주목받고 있다^[2]. 기존에는 서비스 로봇의 사용성 검증에서 주제에 대한 기억을 바탕으로 자기보고 형식을 취하는 설문조사를 많이 활용해 왔다^[2,3]. 그러나 설문조사는 실제로 사용자들이 로봇을 어떻게 다루었는지 직접 알기 어려운 방법이다.

최근 현장 연구에서는 로봇에서 수집한 데이터로 사용자의 행동을 분석하거나, 3자 관찰법을 통해서 사용자의 행동을 직접 분석하는 방법이 이용되고 있다. Duchetto 등은 영국 전시관의 안내 로봇 Lindsey를 통해서 7개월간 방문객이 로봇을 활용하는 행태와 관련된 데이터를 안내 로봇을 통해 수집하여 적극적 관심 및 참여 행동을 분석하였다^[2]. 이 연구는 방문객과의 상호작용으로 Lindsey가 긍정적인 역할을 하는 점과 방문객과 많은 상호작용을 통해서 관심을 끌어내야 하는 점을 밝혔다. 또한, Babel 등은 기차역의 청소 로봇에 대한 보행자들의 행동 반응과 설문을 통한 갈등에 관한 연구를 수행하였다^[2]. 공공장소에서 청소 로봇을 맞닥뜨리는 보행자들에게 로봇에 대한 수용 가능하고 효과적으로 갈등을 해소하기 위한 디자인과 기술 전략을 설문과 관찰을 통해 도출하였다.

본 연구는 관찰분석(observation study)^[2]을 기반으로 전시관 현장에서 안내 로봇에 대한 방문객의 행동 분석 방법을 제안하였다. 전시관 안내 로봇은 광역의 전시 공간에서 불특정한 다수의 방문객을 응대하는 임무를 수행하기 때문에, 로봇에서 수집한 데이터를 이용하여 각기 다른 방식으로 접근하는 사람들의 다양하고 복잡한 상호작용을 분석하는 데에 어려움이 있다. 예를 들어서, [Fig. 1]과 같이 멀리서 로봇의 움직임을 살펴보다가 로봇이 이동하는 경로를 따라 조심히 접근하는 행동, 로봇 주변에 모여 있던 사람 중 일부가 호기심에 이끌려 로봇에게 가까이 다가가는 행동 등은 로봇의 일인칭 시점의 데이터만으로는 분석하기 어려울 수 있다.

[Fig. 1]

The visitors behaviors toward the museum guide robot

기존 연구에서도 로봇에 대한 사용자 행동 분석을 위해 관찰분석 기법을 활용해 왔다. 이러한 연구들은 다음의 특징과 한계점을 가지고 있다. Indurkhya 등은 영상 촬영이 허용되지 않은 특수한 상황에서 어린이와 로봇의 상호작용을 분석하는 행동 분석 방법을 개발하였다^[2]. 이 방법은 음성 기록을 통해서 어린이와 로봇의 상호작용을 분석할 수 있는 특징이 있지만 시각적 단서와 신체 언어를 포함하는 상호작용을 분석하지 못하여 불완전한 해석을 초래할 수 있다. Hulcelle 등은 신뢰 행동에 대한 행동 분석 방법을 제안하였다^[2]. 시선, 표정, 제스처 등의 상호작용 단위의 행동과 농담, 의심 등의 신뢰 수준을 정의하는 방법을 함께 제안하였다. 이 방법은 인간의 어떤 상호작용 패턴이 신뢰를 보이는지 분석할 수 있는 대신, 어떤 표정으로 어떤 것을 보는 행동이 신뢰와 관련 있는지 규정하지는 못한다. Giuliani 등은 로봇의 오류에 대한 사용자의 반응을 분석하는 방법을 제시하였다^[2]. 여기서는 ‘로봇을 본다’, ‘몸을 기댄다’, ‘질문한다’ 등으로 행동을 구분하여 분석하는 방법을 개발하였다. 이 방법은 정적인 행동, 즉 사용자가 로봇과 마주한 상태로 과업을 수행할 때 보이는 행동 반응을 분석할 수 있지만 로봇이 이동하거나 사용자가 이동하는 등 시간의 흐름에 따라 변화하는 상황에서는 행동 분석이 어렵다.

본 연구는 기존 연구와 달리, 시간, 방향, 로봇과 방문객의 행동들로 구성된 문장을 서술하는 형태로 정의해서 이를 바탕으로 관찰분석 기반의 행동 분석 방법을 새롭게 제안하였다. 분석에 참여하는 코더(coder)들이 이해하기 쉽게 행동 정의를 서술할 수 있는 문법 체계를 개발하여 다양한 방문객 행동을 정의하고, 실제 전시관 환경에서 수집된 데이터를 통해 제안된 방법의 유효성을 검증하였다.

2. 실험 환경

관찰분석 기반 행동 분석은 경북 포항시에 소재한 로보라이프뮤지엄에서 수행하였다. 로보라이프뮤지엄의 방문객과 안내 로봇 간 상호작용 장면은 IRB 승인(승인번호: KIRO–2023–IRB–01)에 따라서 영상 데이터로 수집하였다. 방문객은 전시관에 입장하면 안내데스크에서 예약 상황을 확인하는데 이때 방문객에게 데이터 수집 목적과 활용 및 보안 대책을 고지하고 서면동의를 구하였다. 어린이의 경우 보호자의 서면동의를 구하였다.

전시관 안내 로봇은 [Fig. 2]와 같이 입구와 중앙 로비에서 순회하면서 안내하도록 서비스가 적용되어 있으므로, 입구와 로비 전방위를 바라보는 CCTV 형 카메라를 [Fig. 3]과 같이 설치하였다. 영상 데이터는 일일 4회의 전시체험이 예약된 시간을 기준으로 오전 10시부터 오후 6시 사이에서 하루 약 4시간으로 녹화하였으며 총 36시간 길이로 수집하였다.

[Fig. 2]

Perspective image of RoboLife Museum

[Fig. 3]

CCTVs installed in lobby and entrance areas

3. 분 석

3.1 분석 지표의 개발

분석 지표 개발은 행동 유형을 분류하고 사전 정의하는 초기 분석과 사전 정의된 행동을 수정하는 정교화의 2단계로 나누어 수행하였다. 분석 지표 개발 과정을 2단계로 구분한 이유는 영상 태깅 과정에서 정의된 행동이 객관적이고 일관적으로 해석되도록 하기 위함이다. 즉, 분석 지표에 포함되는 7개의 행동에 대한 정의가 영상 태깅을 하는 코더의 주관적인 해석이 개입할 여지가 있다면 영상 태깅의 일관성을 유지하기 어렵게 된다. 따라서, 분석 지표를 개발하는 과정을 2단계로 나누는 동시에 초기 분석에 참여한 코더와 정교화에 참여한 코더를 별도로 두었다.

3.1.1 대표 행동 선별

초기 분석에서는 코더 2명이 수집한 영상을 확인하면서 행동 유형이 나타나는 구체적인 상황과 조건을 문법화하여 분석 지표를 정의하였다. 분석 지표는 크게 물리적 거리^[2]와 상호작용 시도^[2]로 정의하였다.

Andrés 등은 인간과 로봇이 상호작용하는 유형에 따라 상호작용의 특성을 분류하였다^[2]. 여기서, 상호작용의 특성은 상호작용의 수준, 상호작용에서의 역할, 물리적 거리, 시공간, 자율/개입 수준으로 구분하였다. 로보라이프뮤지엄의 방문객이 전시관 안내 로봇에 대해서 명확히 보여준 상호작용 특성은 물리적 거리였다. 따라서 본 연구에서 개발한 분석 지표에서는 물리적 거리를 하나의 지표로 정의하였다.

물리적 거리는 인간이 타인과의 친밀감을 느끼는 거리에 대한 지표이다^[2]. 인간이 로봇과의 거리를 좁힌다는 의미는 친밀감을 느끼는 것으로 해석할 수 있다. 수집한 영상에서 방문객은 전시관 안내 로봇에게 접근, 회피, 통과 등 물리적 거리와 관련된 행동 유형을 보였다.

분석 지표의 두 번째 지표인 상호작용 시도에 대해서 보인 방문객의 행동은 다음과 같다. 로봇에게 가까이 접근한 방문객은 전시관 안내 로봇에게 다양하게 상호작용을 시도하였다. 인사하기, 손짓하기 등의 사회적 상호작용을 시도하는 경우, 로봇에게 손으로 터치하는 등 화면에서 정보를 얻으려는 경우, 상호작용에 대한 시도 없이 눈으로 로봇을 관찰하는 경우로 크게 3가지 행동 유형으로 나타났다.

[Table 1]은 수집한 영상 중 일부를 선택하여 코더 2명이 선별한 대표적인 행동 유형을 보여주고 있다. 선별된 행동은 물리적 거리와 상호작용 시도의 속성으로 분류가 가능한 것으로 확인되었다.

[Table 1]

Behaviors of the visitors shown to the robot

3.1.2 초기 분석

선별한 대표 행동 유형을 바탕으로 방문객의 행동에 대한 서술적 정의를 위해서 [Table 2]와 같이 행동에 대한 문법을 개발하였다. 문법은 방문객이 로봇과의 상호작용을 개시하려는 의도의 행동을 기점으로 표현되었다. 행동에 대한 정의는 자극과 반응을 토대로 서술할 수 있게 되어 있는데, 자극은 로봇이 특정 행위(정지와 이동)를 의미하고 반응은 물리적 거리와 상호작용 시도와 같이 특징 있는 행동을 의미한다. 문법 1은 상호작용 시도 전에 해당하는 행동에 대한 문법이고 문법 2는 상호작용 시도 후에 해당하는 행동에 대한 문법이다.

[Table 2]

Syntax for descriptively defining visitor behaviors

문법 1을 통해 예를 들어 ‘로봇이 정지해 있을 때(자극) 쳐다보면서(로봇의 존재를 인식하는 행위와 관련된 반응) 지나간다(거리와 관련된 반응)’와 같은 서술적 정의가 가능하다. 여기서 로봇의 존재를 인식하는 행위인 응시 혹은 머리 방향은 거리와 관련된 반응과 동시 발생적(synchronous) 행위로 보았다. 문법 2는 로봇에 다가간 이후, 즉 로봇과 상호작용이 가능한 거리까지 다가가고 나서 발생하는 행동을 정의할 수 있게 한다. 예를 들어, ‘인사(사회적 상호작용과 관련된 반응)를 한다’와 ‘화면을 터치(정보 탐색과 관련된 반응)한다’와 같은 서술적 정의가 가능하다.

초기 분석으로 만들어진 분석 지표의 초안에는 Approach, Pass, Avoid, Follow와 같은 물리적 거리와 관련된 4가지 행동을 반영하고 Touch, Gesture, None과 같은 상호작용 시도와 관련된 3가지 행동을 반영하여 총 7가지 행동을 포함하였다. Approach, Pass, Avoid, Follow, Touch, Gesture, None의 영문 표현은 영상 태깅에서 code로 입력하기 위해 사용되었고 각 행동에 대한 서술적 정의는 국문으로 작성하였다.

7가지 행동을 문법 1과 문법 2에 따라 서술하는 과정에서 다양한 주관적 해석이 가능한 행동은 표현을 달리하였다. 예를 들어 Approach에서 ‘다가간다’를 ‘발을 멈추어 선다’로, Avoid에서 ‘피한다’를 ‘비켜선다’로 수정하였다. ‘다가간다’는 상호작용 시도와 연결되는 행동으로 로봇과의 거리를 좁힌다는 의미이다. 그러나 ‘다가간다’만으로 다음 행동인 상호작용 시도를 하기 위해서 거리와 관련된 행동을 종료한다는 의미를 표현하기 어렵고, ‘다가간다’만으로 영상에서 보인 방문객의 행동을 ‘피한다’, ‘지나간다’, ‘따라간다’와 구분이 쉽지 않았다. 따라서 행동의 종료 의미를 담는 ‘발을 멈추어 선다’와 같이 구체적인 표현으로 수정하였다.

방문객이 로봇을 피하거나 지나가는 행동은 ‘피한다’, ‘지나간다’의 문자로 구분할 수 있지만 실제 영상에서는 서로 유사한 행동으로 보이기 때문에 Avoid와 Passing을 명확하게 구분하는 표현이 필요했다. 이를 위해서 로봇이 정지해 있을 때와 움직일 때의 자극으로 구분하고 ‘바로 지나간다’와 같은 시간적 개념을 표현에 추가하고, ‘로봇이 움직이는 방향에서 비켜선다’와 같이 방향적 개념도 표현에 추가하였다.

3.1.3 정교화

영상 태깅의 일관성을 위해서 교화 과정이 진행되었다. 정교화 과정에는 새로운 코더 2명이 참여하였다. 새로운 코더 2명은 개발된 분석 지표를 바탕으로 영상 태깅을 하였는데, 영상 태깅 시작 전에 대표 행동 선별과 초기 분석에서 코더 2명이 관찰하지 못한 행동, 코더마다 다르게 해석할 수 있는 모호한 행동, 맥락에 맞지 않는 행동에 대한 정의를 수정하였다. 예를 들어 방문객이 화면만 터치하지 않고 몸통을 터치하는 경우가 있었다. 로봇이 전시관 로비를 순회하였기 때문에 영상의 촬영 각도에 따라서 화면을 터치하는지 몸통을 터치하는지 구분이 쉽지 않은 경우가 있었다. 따라서 Touch는 로봇의 화면과 몸통을 터치하는 행동을 모두 포함하였다. 그리고, 어린이의 경우 로봇에게 다양한 제스처를 보이는 것으로 확인되었다. 손을 흔들어 인사하는 경우, 머리를 흔들면서 다가가는 경우, 팔을 높이 들어 로봇의 얼굴에 가져다 대는 등의 다양한 사회적 상호작용 시도들이 있었다. 따라서 Gesture는 Touch 이외의 모든 상호작용 시도를 Gesture로 포함하도록 하였다. 최종적으로 완성된 분석 지표는 [Table 3]과 같다.

[Table 3]

Behavior coding scheme for analyzing visitor interactions with the robot

3.3 결과

성별과 연령에 따른 물리적 거리와 상호작용 시도에 대한 빈도수와 유지 시간에 대해 유의한 차이를 보이는지 검증하고자 독립표본 t-검정을 시행하였다. 물리적 거리에 대해서는 빈도수를 비교하고 상호작용 시도는 빈도수와 유지 시간을 비교하였다. 관찰분석은 전시관에 방문한 불특정인을 대상으로 하였기 때문에 인구통계학적 분석은 수행하지 않았다. 단, 육안 구별이 가능한 성별 그룹 간 비교와 어른, 어린이의 연령 그룹 간 비교를 수행하였다.

물리적 거리에 대해서 성별 간 빈도수는 유의한 차이를 보이지 않았다(남성: M=1.39, S.D.=0.74, 여성: M=1.52, S.D.=0.78, p=0.35). 상호작용 시도에 대해서는 성별 간 빈도수에 유의한 차이를 보이지 않았다(남성: M=1.19, S.D.=0.92, 여성: M=1.02, S.D.=0.83, p=0.40). 지속시간에 대해서도 유의한 차이를 보이지 않았다(남성: M=25816.60, S.D.=19121.47, 여성: M=26268.58, S.D.=18804.09, p=0.47). 물리적 거리에 대해서 연령 그룹 간 빈도수는 유의한 차이를 보였고(t=-2.68, p<.01) 어린이(M=1.67)가 어른(M=1.29)보다 더 높은 것으로 [Fig. 4]와 같이 나타났다.

[Fig. 4]

Physical proximity (count)

상호작용 시도에 대해서 연령 간 빈도수 또한 유의한 차이를 보였으며(t=-2.96, p<.05) 어린이(M=1.39)가 어른(M=0.91)보다 더 높은 것으로 [Fig. 5]와 같이 나타났다. 상호작용 지속시간에는 유의한 차이를 보이지 않았다(어른: M=24045.21, S.D.=19013.12, 어린이: M=28417.78, S.D.=18662.88, p=0.93).

[Fig. 5]

Interaction initiation (count)

4. 결 론

본연구에서 제안한 관찰분석 방법을 통해서 서비스 로봇에 대한 사용자의 반응에 대해 구체적으로 파악하였다. 특히, 실제 전시관에서 관찰분석을 통해 사용자가 로봇에 흥미를 느끼고 상호작용을 시도하기까지 다양한 행동적 변수가 있다는 것을 확인할 수 있었다. 이는 사용자가 로봇과 어떻게 상호작용하는지 이해하는데 관찰분석이 유효하다는 것을 시사한다.

관찰분석 결과는 전시관 운영진에게 제공하여 서비스의 개선 방향에 대한 의사결정을 내릴 수 있는 근거자료로 활용될 수 있다. 가령, 어린이들이 어른과 비교하면 물리적 거리에 대한 빈도수와 다가간 후 로봇에 상호작용을 하려는 시도의 빈도수가 유의하게 나타났다. 특히 상호작용 시도의 빈도수가 어린이 그룹이 높게 나타났기 때문에 안내 로봇의 서비스 개인화는 어린이를 인식하면 먼저 인사를 건네거나 어린이들이 선호하는 톤으로 말을 거는 등 사회적 상호작용 형태인 어린이 대상의 개인화 서비스를 고려해 볼 수 있다.

반면에, 참여가 상대적으로 저조한 어른 그룹을 위한 서비스를 보강하여 많은 사용자층을 대상으로 서비스를 공급하도록 전시관 안내 로봇의 서비스를 설계할 수 있다. 어른들은 로봇에 접근 후 어린이보다 소극적인 태도를 보였는데, 어른이 관심을 끌 만한 로봇 서비스가 탑재된다면 이러한 태도의 변화를 기대할 수 있을 것으로 여겨진다.

본 논문에서는 서비스 로봇과 사람의 상호작용에서 일어나는 행동을 정의하여 분석 지표를 개발하는 과정을 제시하였고, 실제 전시관에서의 현장 연구를 통해서 안내 로봇에 대한 방문객의 행동 양상을 성별과 연령별로 분석하였다. 향후, 사용자와 로봇 간 거리, 이동 속도 등의 세밀한 정량적 데이터를 이용하여 사용자 행동 모델링 연구를 수행할 예정이다.

Acknowledgments

This work was supported by the Industrial Fundamental Technology Development Program (20023495, Development of behavior-oriented HRI AI technology for long-term interaction between service robots and users) funded by the Ministry of Trade, Industry & Energy (MOTIE, Korea).

References

• S. Ivanov, U. Gretzel, K. Berezina, M. Sigala, and C. Webster, “Progress on Robotics in Hospitality and Tourism: a Review of The Literature,” J. of Hospitality and Tourism Technology, vol. 10, no. 4, pp. 489-521, May, 2019. [https://doi.org/10.1108/JHTT-08-2018-0087]
• L. Fuentes-Moraleda, C. Lafuente-Ibañez, N. Fernandez Alvarez, and T. Villace-Molinero, “Willingness to Accept Social Robots in Museums: an Exploratory Factor Analysis According to Visitor Profile,” Library Hi Tech, vol. 40, no. 4, pp. 894-913, Apr., 2021. [https://doi.org/10.1108/LHT-07-2020-0180]
• J. Park, J. Kim, D. Kim, J. Kim, M. Kim, J. Choi, and W. Lee, “User Perception on Personalized Explanation by Science Museum Docent Robot,” 2022 17th ACM/IEEE Int. Conf. on Human-Robot Interaction (HRI), Sapporo, Japan, pp. 973-975, 2022. [https://doi.org/10.1109/HRI53351.2022.9889654]
• F. Duchetto, P. Baxter, and M. Hanheide, “Lindsey the Tour Guide Robot - Usage Patterns in a Museum Long-Term Deployment,” 2019 28th IEEE Int. Conf. on Robot and Human Interactive Communication (RO-MAN), New Delhi, India, pp. 1-8, 2019. [https://doi.org/10.1109/RO-MAN46459.2019.8956329]
• F. Babel, J. Kraus, and M. Baumann, “Findings from a Qualitative Field Study with an Autonomous Robot in Public: Exploration of User Reactions and Conflicts,” Int. J. of Social Robotics, vol. 14, no. 7, pp. 1625-1655, Jul., 2022. [https://doi.org/10.1007/s12369-022-00894-x]
• C. Heath, J. Hindmarsh, and P. Luff, 2010, Video in Qualitative Research: Analysing Social Interaction in Everyday Life. [https://doi.org/10.4135/9781526435385]
• X. Indurkhya and G. Venture, “Lessons in Developing a Behavioral Coding Protocol to Analyze In-the-Wild Child–Robot Interaction Events and Experiments,” Electronics, vol. 13, no. 7, Mar., 2024. [https://doi.org/10.3390/electronics13071175]
• M. Hulcelle, G. Varni, N. Rollet, and C. Clavel, “TURIN: A coding system for Trust in hUman Robot Interaction,” 2021 9th Int. Conf. on Affective Computing and Intelligent Interaction (ACII), Nara, Japan, 2021, pp. 1-8. [https://doi.org/10.1109/ACII52823.2021.9597448]
• M. Giuliani, N. Mirnig, G. Stollnberger, S. Stadler, R. Buchner, and M. Tscheligi, “Systematic Analysis of Video Data from Different Human–Robot Interaction Studies: a Categorization of Social Signals during Error Situations,” Frontiers in Psychology, vol. 6, Jul., 2015. [https://doi.org/10.3389/fpsyg.2015.00931]
• E. Hall, “Spaces of Social Inclusion and Belonging for People with Intellectual Disabilities,” J. of Intellectual Disability Research, vol. 54, no. s1, pp. 48-57, Apr., 2010. [https://doi.org/10.1111/j.1365-2788.2009.01237.x]
• K. Fischer, S. Yang, B. K. Mok, R. Maheshwari, D. Sirkin, and W. Ju, “Initiating Interactions and Negotiating Approach: a Robotic Trash Can in the Field,” AAAI Spring Symposium, pp. 10-16, Mar., 2015, [Online], https://api.semanticscholar.org/CorpusID:53303854, .
• A. Andrés, D. E. Pardo, M. Díaz, and C. Angulo, “New Instrumentation for Human Robot Interaction Assessment Based on Observational Methods,” J. of Ambient Intelligence and Smart Environments, vol. 7, no. 4, pp. 397-413, 2015. [https://doi.org/10.3233/AIS-150331]
• H. Lausberg and H. Sloetjes, “Coding Gestural Behavior with the NEUROGES-ELAN System,” Behavior Research Methods, vol. 41, pp. 841-849, Aug., 2009. [https://doi.org/10.3758/BRM.41.3.841]