기계학습을 이용한 Joint Torque Sensor 기반의 충돌 감지 알고리즘 비교 연구

1. 서 론

제4차 산업 혁명 시대가 도래하면서, 기존의 산업용 로봇이 아닌 인간과 협력이 가능한 로봇인 협동 로봇(Cobot, Collaboration Robot)이 등장했다^[1]. 협동 로봇은 기존의 정형화된 작업뿐만 아니라 사람과 공간을 공유하여 능동적인 업무를 수행할 수 있다. 그만큼 로봇은 작업자와의 물리적 접촉이 불가피하며, 이에 따른 작업 중의 사람과 로봇의 충돌에 대한 연구가 많이 진행되고 있다^[2].

로봇의 충돌은 크게 사전 충돌, 감지, 분리, 인지, 분류, 반응, 충돌 후로 총 7단계의 프로세스로 나눌 수 있다. 하지만 일반 적으로 로봇은 인간보다 빠르게 움직이기 때문에 사전에 충돌 을 보장하기 어렵다^[3]. 따라서 본 논문에서는 로봇 충돌의 주 요 단계인 충돌 감지에 대해서 크게 중점을 둔다. 충돌 감지는 로봇과 인간의 물리적인 접촉으로 인한 부상을 최소화하기 위 해 실시간으로 로봇의 충돌 발생 여부를 감지하는 단계이다. 이 단계에서는 최소한의 오탐지와 민감한 충돌 감지를 위해 신호에 임계치를 선택하는 방법이 가장 실질적이며, 사용하는 신호에 따라 크게 센서리스 충돌 감지 방식과 센서 기반의 충 돌 감지 방식으로 접근할 수 있다^[3,4].

센서리스 충돌 감지는 외부 센서를 이용하지 않고 내장된 모터와 제어기의 정보만을 사용하여 사람과 로봇의 충돌을 감 지하는 것이다. 대표적으로 전류 신호 기반의 충돌 감지는 실 제 모터의 전류와 예상되는 전류의 차이 또는 관측기 설계 기 반으로 충돌을 감지하는데, 토크의 임계 값이 낮을수록 부정 확하고 외력 추정을 위한 복잡한 연산으로 응답속도가 느리다 ^[5,6]. 이를 개선하기 위한 방법으로 모멘텀 기반의 센서리스 충 돌 감지가 있으며, 로봇의 동역학과 마찰 모델을 이용하여 로 봇의 충돌을 감지한다. 그러나 복잡한 수식과 연산을 필요로 하고 시스템 모델의 오류를 줄어야 한다^[7-9]. 대부분의 센서리 스 충돌 감지는 센서 기반의 충돌 감지에 비해 외부 센서를 이 용하지 않아 비용이 경제적이지만 모델의 정확성이 떨어지며, 응답 속도가 느리기 때문에 충돌 감지 성능이 떨어진다. 또한 관절의 마찰력은 시간에 따라 변화하며 비선형성을 띠어 정확 히 추정하는 데 한계가 있다.

센서 기반의 충돌 감지는 광범위하게 연구되고 있다. 그 예 로서, 비전 센서를 이용한 충돌 감지는 충돌이 발생하기 전 로 봇의 궤적을 감속 및 변경함으로써 충돌을 사전에 방지할 수 있다. 하지만 카메라의 위치를 자세히 조정할 필요가 있고 인 지 영역에서 다소 부정확하다^[10-12]. 또 다른 방법인 촉각 센서 를 이용한 충돌감지는 로봇의 모든 부분에서 충돌을 감지할 수 있으나 센서의 배선이 많이 복잡하고 계산해야 될 센서의 데이터양이 많아 큰 연산량이 필요하다^[13]. 이에 비해 토크 센 서는 관절 별로 부착되어 센서의 데이터가 많지 않고 출력부 에서 측정하기 때문에 토크의 마찰항을 무시할 수 있어 외력 을 추정하기 쉽다^[14]. 이러한 이유로 토크 센서 기반의 충돌 감 지가 주목을 받고 있으며, 충돌 감지의 정확도와 민감도를 높 이기 위해서는 토크 센서를 이용하여 충돌 감지 알고리즘을 설계해야 한다.

많은 센서 기반의 충돌 감지 알고리즘들은 정적 임계치를 기준으로 하여 충돌을 감지한다^[5-7,9,13]. 하지만 정적 임계치를 높게 설정하면 충돌에 둔감하여 임계치 미만의 미세한 충돌은 감지할 수 없으며, 반대로 임계치를 낮게 설정하면 잦은 오탐 지로 작업의 효율을 떨어트리게 된다^[15]. 따라서, 이러한 문제 점을 보완하기 위해서 본 논문에서는 동적 임계치를 기준으로 하여 충돌을 분류하고 신호 처리에서 많이 사용되고 있는 기 계학습 기법 중 하나인 분류 알고리즘을 적용하여 충돌 감지 알고리즘을 제안한다.

제안 방법론으로는 크게 3단계로 1) 데이터 수집 및 전처리, 2) 충돌 감지를 위한 분류 모델 개발, 3) 최적의 충돌 판별 모델 선정으로 프로세스를 진행하였다. 이를 위해, 조인트 토크 센 서를 이용하여 매니퓰레이터의 외력을 수집하였다. 수집된 데 이터는 충돌(Collision)과 비충돌(Non-collision) 두 가지 상태 로 정의하였으며, 지도 학습 알고리즘인 KNN, DT, SVM을 사용하여 학습시켰다. 또한 학습된 모델을 가지고 각각의 Hyperparameter을 선정하여 최적화함으로써 최적의 모델을 비교 분석하여 충돌 감지 알고리즘을 설계하였다.

2. 연구 대상 및 데이터 처리

본 장에서는 충돌 감지 연구의 대상과 정의된 충돌 상태 분 류를 하기 위한 데이터 수집 및 전처리 과정을 소개한다.

2.1 연구 대상 구성

본 연구에서는 충돌 감지 알고리즘을 구현하기 위하여, [Fig. 1]과 같은 형태의 3-DOF 매니퓰레이터를 바탕으로 연구를 진행한다. 이 매니퓰레이터는 직접 제작되었으며, Harmonic Drive를 3개를 사용하여 3자유도를 가진다. 최대 도달거리는 1410 mm이며, 무게는 48 kg, 하중은 10 kg이다. 액츄에이터는 아래 [Table 1]과 같이 500 W MR32와 300 W MR25 모터를 사 용했고, 감속을 위하여 100:1 기어비를 갖는 삼익 HDS의 SHG-25-100과 SHG-32-100 모델의 고 토크용 하모닉 드라이 브를 사용한다.

[Fig. 1]

Shape of 3-dof Manipulator

[Table 1]

Datasheet on the 3-dof Manipulator actuator

토크 센서는 하모닉 드라이브에 직결되도록 구성되어 있으며, 위 [Table 2]와 같이 AL Robot사에 TSR-0200S와 TSR-0100S 를 사용한다. 또한, 아래 [Fig. 2]는 토크 센서(위)와 전류 신호로 추정된 토크(아래)를 비교하는 그래프이다. 토크의 Peak를 비 교했을 때, 토크 센서의 Peak가 전류 신호로 추정된 토크보다 약 0.4 Nm 차이가 있다는 것을 알 수 있으며, 이는 충돌 감지 시에 토크 센서 신호가 전류 신호로 추정된 토크보다 미세한 충돌을 판별할 수 있어 충돌 판별에 적합하다는 것을 알 수 있 다. 전류 신호로 추정 토크를 구하는 수식은 아래 식 (1)과 같 다. τ_cs은 전류 신호로 추정된 토크이고 K_t는 토크 상수, I 는 전 류 신호이다. 1축과 2축은 동일한 모터를 사용하였으며, 토크 상수 값은 각각 1축, 2축은 K_t = 0.1768, 3축은 K_t = 0.1461의 값을 가진다.

[Table 2]

Datasheet on the 3-dof manipulator joint torque sensor

[Fig. 2]

Comparison of estimated torque using current signals and joint torque sensor signals. The peak of estimated torque from current signal is 0.625 Nm and joint torque sensor is 0.222 Nm

$\[ {\tau }_{cs}=K_t\cdot I \]$

(1)

2.3 데이터 전처리

로봇의 충돌에 대해서 판별하기 위해서는 수집한 데이터로 부터 외부에서 발생한 토크를 검출해야 한다. 따라서 다음 식 은 조인트 토크 센서로부터 외부 토크를 수집하기 위한 로봇 매니퓰레이터의 동역학식이다.

$\[ M\left(q\right)\ddot{q}+C\left(q,\dot{q}\right)\dot{q}+g\left(q\right)={\tau }_j-{\tau }_{ext} \]$

(2)

식 (2)의 각 매트릭스는 관성, 구심력, 중력을 나타내며, τ_j 는 조인트 토크 센서로 관측한 토크이고 τ_ext는 외부에서 발생 된 토크이다.

$\[ \begin{array}{c}{\tau }_{ext}={\tau }_j-f\left(q,\dot{q},\ddot{q}\right)\\ ={\widehat{\tau }}_{ext}-{\tau }_{err}\end{array} \]$

(3)

식 (3)에서 f는 Newton-Euler 공식을 이용하여 관절의 위치, 속도, 가속도를 통해 동역학 모델의 토크를 계산한다^[16]. τ_err는 f에서 구해진 동역학 모델과 실제 동역학 모델의 차이이다. 추 정된 $$ {\widehat{\tau }}_{ext}$$로부터 충돌의 감지하기 위해서는 임계치를 설정해야 하며, 다음과 같이 동적 임계치에 따라 충돌 여부를 설정한다.

$\[ \begin{array}{l}\mu \left(t\right)\to \left\{True,\hspace{0.17em}False\right\}\\ {\mu }_i\left(t\right)=\{\begin{array}{ll}True,\hfill & \text{if}\hspace{0.17em}\left|{\mu }_i\left(t\right)\right|>{\in }_k,\hfill \\ False,\hfill & \text{if}\hspace{0.17em}\left|{\mu }_i\left(t\right)\right|\le {\in }_k\hfill \end{array}\\ \mu \left(t\right)=\left[{\mu }_1\left(t\right),{\mu }_2\left(t\right),\hspace{0.17em}\cdots ,{\mu }_p\left(t\right)\right]\end{array} \]$

(4)

식 (4)에서 μ(t)는 모니터링 신호를 나타내며, t는 함수의 수집된 신호의 시간이며, ∈_k은 충돌 판별을 판별하기 위한 k번 째 충돌의 동적 임계치를 나타낸다^[5].

$$ {\widehat{\tau }}_{ext}$$을 동적 임계치로 충돌을 감지해도 [Fig. 3]과 같이 잔여 진동으로 인해 충돌 한 번에 여러 번 감지하게 된다. 따라서, 다음과 같이 k번째 충돌이 시작된 시간과 끝나는 시간으로 충 돌 범위를 설정한다.

[Fig. 3]

Result of data preprocessing

$\[ T\left(x_k\right)=\{\begin{array}{ll}1,\hfill & \text{if}\hspace{0.17em}{t}_{start}\ge x_k\ge t_{end}\hfill \\ 0,\hfill & otherwise\hfill \end{array} \]$

(5)

식 (5)는 T는 시간에 따른 k번째 충돌이 일어난 여부를 0과 1로 나타내며, t_start, t_end는 k번째 충돌이 시작하는 시간과 끝 나는 시간을 나타낸다.

본 연구에서는 각 축의 센서로부터 추정된 $$ {\widehat{\tau }}_{ext}$$의 최대 토 크의 범위가 각기 다르기 때문에 정규화 과정이 필요하다. 따 라서 본 연구에서는 수식 식 (6)과 같이 표준화를 수행하였다.

$\[ {\widehat{\tau }}_n=\frac{{\widehat{\tau }}_n-\text{min}\left({\widehat{\tau }}_n\right)}{\text{max}\left({\widehat{\tau }}_n\right)-\text{min}\left({\widehat{\tau }}_n\right)}\left(n=1,2,3\right) \]$

(6)

앞선 데이터 전처리를 통해 [Fig. 3]과 같이 조인트 토크 센 서에 따른 충돌 여부를 분류한다. 또한 충돌 여부에 따른 데이 터를 충돌(Collision)과 비충돌(Non-collision)으로 나누어 저 장하며 다음 장에서 충돌 판별 알고리즘 개발을 위한 응답 변 수로써 사용된다.

3. 충돌 감지를 위한 충돌 판별 모델 개발

본 장에서는 충돌 판별을 위해 분류 알고리즘인 KNN, DT, SVM를 검증, 모델 평가를 소개하고 설명한다.

3.1 분류 알고리즘

기계 학습은 크게 지도학습, 비지도학습, 강화학습의 세 가 지 범주로 나눌 수 있는데, 본 논문에서 다루는 분류알고리즘 은 지도학습 중에 속한다. 지도학습은 데이터와 그에 따른 라 벨이라는 원하는 목표의 데이터를 학습시킴으로써 라벨이 지 정되지 않은 데이터를 학습된 모델을 통해 예측한다. 주로 데 이터 분석이나 새로운 데이터를 매핑하기 위한 추론 함수로써 사용할 수 있다. 대표적으로 분류 알고리즘은 KNN (K-nearest neighbors), Linear regression, Logistic regression, SVM (Support vector machine), DT (Decision tree), Naive bayesian 등이 있다. 본 논문에서는 충돌 감지 알고리즘을 위한 구현을 위해 KNN, DT, SVM 총 3개의 분류 알고리즘을 적용한다.

3.1.1 KNN (K-nearest neighbors)

KNN 알고리즘은 훈련 데이터에서 가장 가까운 k개의 이웃 클래스를 거리 함수 기반으로 하여, 테스트 클래스를 추정한 다^[17]. 여기서, 데이터의 가까움을 측정하기 위해 [Table 3]과 같은 거리 함수들을 사용한다^[18,19]. 따라서 본 논문에서는 식 (7)과 같이 k와 거리 함수를 Hyper-parameter로 사용하여 최적 의 KNN 모델을 구한다.

[Table 3]

Distances and their formulation

$\[ argma{x}_{d_{st},k\in s},ac{c}_{c\upsilon }\left(d_{st},k\right) \]$

(7)

3.1.2 DT (Decision tree)

DT 알고리즘은 하나의 루트 노드를 중심으로 여러 개의 분 기 및 자식, 터미널 노드로 구성이 되는데^[20], 알고리즘 특성상 복잡한 모델을 생성하기 때문에 분기와 노드의 개수를 적절하 게 설정해야 한다^[21]. 또한, 노드의 분할 방법에 따라 ID3, C4.5, CART (Classification and Regression Tree) 등과 같이 다양한 알고리즘 있으며, CART 알고리즘은 DT 방법론 중에 가장 잘 알려진 방법론 중 하나이다. CART 알고리즘은 불순도(Impurity) 의 감소량에 따라 분리하는데, 불순도는 크게 지니 계수와 엔 트로피 지수로 다음 식 (8)과 같이 정의할 수 있다^[22].

$\[ \begin{array}{l}{I}_{gini}\left(x\right)=1-{\displaystyle {\sum }_{i=1}^n{p}^2\left(i\right)}\\ I_{entropy}\left(x\right)=-{\displaystyle {\sum }_{i=1}^{n}p\left(i\right){\text{log}}_{2}p\left(i\right)}\end{array} \]$

(8)

따라서, 본 논문에서는 DT의 방법론 중 하나인 CART 알고 리즘을 사용하여, 식 (9)와 같이 불순도 계산법과 터미널 노드 의 최소 개수, 분기의 최대 개수를 Hyper-parameter로 사용하 여 최적의 DT 모델을 구한다.

$\[ argma{x}_{I,n_{\text{min}},B_{\text{max}}\in s}ac{c}_{c\upsilon }\left(I,n_{\text{min}},B_{\text{max}}\right) \]$

(9)

3.1.3 SVM (Support vector machine)

마지막으로, SVM 알고리즘은 원래 이진 분류를 목적으로 고안되었으나 한계점을 해결하고자 여러 멀티클래스를 분류 하는 방식이 제안되었다^[23]. 하지만, 본 논문에서는 충돌과 비 충돌 두 개의 클래스로 나누어 분류하기 때문에, 멀티클래스 를 분류하는 방식을 고려하지 않는다. 이진 분류 SVM 알고리 즘은 데이터를 두 개의 클래스로 나누는 경계인 최적의 초평 면(Hyperplane)을 찾아 분류하는 알고리즘이다^[24,25]. 분류하는 초평면은 다음과 같이 정의할 수 있다.

$\[ f\left(x\right)=x^{\prime }\beta +b \]$

(10)

식 (10)에서 벡터 β는 초평면과 직교하는 벡터를 정의한 것 이다. 여기서, 최적의 초평면 얻기 위해서는 클래스와 초평면 간의 관측 값이 포함되지 않는 공간을 마진(margin)이라고 하 는데, 이 마진이 최대 너비를 가지는 것을 말한다. 따라서, Lagrange 최적화 방법을 사용하여, 식을 정리하면 다음과 같 이 정의할 수 있다^[25].

$\[ \begin{array}{l}{\beta }^{\prime }={\displaystyle \sum _{i=1}^n{a}_i{y}_{i}G\left(x_i,x_j\right)+b^{\prime }}\\ with\hspace{0.17em}0\le a_i\le C\hspace{0.17em}and\hspace{0.17em}1\le i\le n\end{array} \]$

(11)

식 (11)에서 y_i는 이진 클래스 라벨을 나타내며, C는 Lagrange 승수법의 제약(Constraint)이라 하고, G(.)는 커널 함수의 매트 릭스를 나타낸다. SVM는 Polynomial Kernel, Sigmoid Kernel 등 다양한 커널 함수가 있지만, 충돌 데이터는 비선형의 원형 초평면을 가지기 때문에 가장 효과적인 커널 함수인 Gaussian Kernel을 사용하며, 다음 식과 같이 정의할 수 있다.

$\[ G\left(x_i,x_j\right)=\text{exp}\left(-\gamma {\Vert x_i-x_j\Vert }^2\right) \]$

(12)

식 (12)에서 γ는 커널의 크기를 나타내며, 높은 정확도를 얻 기 위해서는 C와 γ의 적절하게 선택해야 한다^[26]. 따라서, 본 논문에서는 식 (13)과 같이 C와 γ을 Hyper-parameter로 사용 하여 최적의 SVM 모델을 구한다.

$\[ argma{x}_{c,\gamma \in s},ac{c}_{c\upsilon }\left(C,\gamma \right) \]$

(13)

4. 충돌 판별 모델을 이용한 성능 비교

각 지도학습 알고리즘 별 Hyperparameter를 선정하였으며, 최적화된 모델들을 비교하였다.

4.1 최적의 Hyperparameter 설정

각각 알고리즘을 대상으로 [Table 4]와 같이 Hyper-parameter 를 선택하였으며, 그에 따른 범위를 지정하였다. 또한, 최적의 Hyperparameter을 얻기 위해서 [Table 5]와 같은 결과를 도출 하였다.

[Table 4]

Hyperparameter range and types for each model. Note yi is the number of observations

[Table 5]

Results of tuning hyper-parameters for each model. Note “CV Result” stands for MSE result

튜닝 결과, 최적의 Hyperparameter로 설정된 KNN은 매개 변수 K는 20~30 내외의 값을 가지고, 거리 함수로는 Standard Euclidean을 많이 사용되었다는 것을 볼 수 있었다. 또한 DT는 터미널 노드의 크기가 50~150 내외, 가지의 개수가 1,000~ 100,000개 사이, 불순도의 척도가 Gini Index를 많이 사용했다 는 것을 알 수 있었다. 마지막으로 SVM은 C는 0.01~1.3의 내 외, γ은 0.006 ~ 0.012의 값을 보였다. MSE의 지수는 KNN은 평균 0.048%, DT는 평균 0.047%, SVM 평균 0.058%의 성능을 나타났으며, 본 논문에서 선정한 알고리즘 3개 모두 0.05% 내 외의 수치를 갖는 것을 알 수 있다. 또한, Fold의 개수는 대부분 10 또는 20인 경우의 높은 성능을 나타났었다.

4.2 모델 성능 비교

앞선 결과에 따른 각 알고리즘 별 최적의 Hyper-parameter 적용한 모델을 가지고 알고리즘의 실행시간, Recall, Precision,. Accuracy를 [Table 6]과 같이 결과를 도출하였다.

[Table 6]

Hyperparameter range and types for each model. Note yi is the number of observations

최적의 Hyperparameter로 선정된 모델을 동일한 개수의 테 스트 데이터를 가지고 예측하였을 경우, 모든 모델의 Recall은 94%, Precision은 96% 내외의 값을 가졌다. 하지만, Accuracy는 최저 95%에서 최고 97%의 차이를 가진 것을 알 수 있다. 또한, 각각 모델의 평균 예측 시간은 DT, KNN, SVM 순으로 낮다. 또한, 각각 모델의 평균 예측 시간이 KNN는 28.1 ms, DT는 49.3 ms, SVM는 6.8 ms을 가진다. 즉, SVM모델을 적용한 충 돌 판별 알고리즘이 높은 정확도와 빠른 시간을 가진다는 것 을 알 수 있다. 이를 바탕으로 최적의 SVM 모델을 가지고 실 제 매니퓰레이터의 데이터에 적용하는 경우 [Fig. 4]와 같은 결 과를 나타낸다.

[Fig. 4]

Predicted result of actual data into a model using hyper-parameter

5. 결 론

본 논문에서는 기계학습 기법 중에 지도학습 알고리즘을 적용하여, 조인트 토크 센서 기반으로 충돌을 판별하기 위한 단계로 1) 데이터 수집 및 전처리 2) 충돌 감지를 위한 분류 모 델 개발, 3) 최적의 모델 선정의 3단계를 제안하였다. 제안 사 항을 통해 토크 센서의 외부 토크만 추출하여 충돌 상태를 충 돌(Collision)과 비충돌(Non-collision)상태로 분류하였으며, 각 알고리즘의 Hyper-parameter를 최적화하여 비교 분석하였 다. 그 결과 충돌 판별 알고리즘을 구축하는데 있어서 KNN, DT, SVM 중에서 SVM을 이용하는 것이 높은 정확도와 낮은 실행시간을 가지는 것을 확인할 수 있었다. 다만, 다양한 기계 학습 기법 중의 지도학습 알고리즘만을 적용한 연구라는 점과 충돌 상황 프로세스의 충돌 탐지에서 그쳤다는 점에서 한계가 존재한다. 그러나 학습 기반의 충돌 판별이 높은 정확도로 민 감하게 반응했다는 것과 낮은 지연시간으로 인식했다는 것에 의미가 있을 것이며, 로봇 안전 시스템의 기초 연구로 활용 가 능하다. 본 연구를 통해 향후, 충돌 감지에서 그치지 않고 충돌 식별, 반응 단계까지 학습한 알고리즘을 개발하고 기술을 적 용한 프레임워크 및 로봇 제어 시스템을 개발할 예정이다.

Acknowledgments

This project was funded by Electronics and Telecommunications Research Institute (ETRI), and is currently supported by the Korean government. [20ZD1110, Development of ICT Convergence Technology for Daegu-GyeongBuk Regional Industry]

References

• M. Bortolini, E. Ferrari, M. Gamberi, F. Pilati, and M. Faccio, “Assembly system design in the Industry 4.0 era: a general framework,” IFAC-PapersOnLine, vol. 50, no. 1, pp. 5700-5705, Jul., 2017. [https://doi.org/10.1016/j.ifacol.2017.08.1121]
• L. Wang, R. Gao, J. Váncza, J. Krüger, X. V. Wang, S. Makris, and G. Chryssolouris, “Symbiotic human-robot collaborative assembly,” CIRP Annals, vol. 68, no. 2, pp. 701-726, 2019. [https://doi.org/10.1016/j.cirp.2019.05.002]
• S. Haddadin, A. De Luca, and A. Albu-Schaffer, “Robot Collisions: A Survey on Detection, Isolation, and Identification,” IEEE Transactions on Robotics, vol. 33, no. 6, pp. 1292-1312, Dec., 2017. [https://doi.org/10.1109/TRO.2017.2723903]
• S. Robla-Gomez, V. M. Becerra, J. R. Llata, E. Gonzalez- Sarabia, C. Torre-Ferrero, and J. Perez-Oria, “Working Together: A Review on Safe Human-Robot Collaboration in Industrial Environments,” IEEE Access, vol. 5, pp. 26754-26773, 2017. [https://doi.org/10.1109/ACCESS.2017.2773127]
• S. D. Lee, M. C. Kim, and J. B. Song, “Sensorless collision detection for safe human-robot collaboration,” 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, 2015.
• P. Aivaliotis, S. Aivaliotis, C. Gkournelos, K. Kokkalis, G. Michalos, and S. Makris, “Power and force limiting on industrial robots for human-robot collaboration,” Robotics and Computer-Integrated Manufacturing, vol. 59, pp. 346-360, Oct., 2019. [https://doi.org/10.1016/j.rcim.2019.05.001]
• Y. Tian, Z. Chen, T. Jia, A. Wang, and L. Li, “Sensorless collision detection and contact force estimation for collaborative robots based on torque observer,” 2016 IEEE International Conference on Robotics and Biomimetics (ROBIO), Qingdao, China, 2016, [https://doi.org/10.1109/ROBIO.2016.7866446]
• P. Cao, Y. Gan, and X. Dai, “Model-based sensorless robot collision detection under model uncertainties with a fast dynamics identification,” International Journal of Advanced Robotic Systems, vol. 16, no. 3, p. 172988141985371, May, 2019. [https://doi.org/10.1177/1729881419853713]
• J. Xiao, Q. Zhang, Y. Hong, G. Wang, and F. Zeng, “Collision detection algorithm for collaborative robots considering joint friction,” International Journal of Advanced Robotic Systems, vol. 15, no. 4, p. 172988141878899, Jul., 2018. [https://doi.org/10.1177/1729881418788992]
• E. Matsas, G. C. Vosniakos, and D. Batras, “Prototyping proactive and adaptive techniques for human-robot collaboration in manufacturing using virtual reality,” Robotics and Computer-Integrated Manufacturing, vol. 50, pp. 168-180, Apr., 2018. [https://doi.org/10.1016/j.rcim.2017.09.005]
• A. Mohammed, B. Schmidt, and L. Wang, “Active collision avoidance for human-robot collaboration driven by vision sensors,” International Journal of Computer Integrated Manufacturing, vol. 30, no. 9, pp. 970-980, Dec., 2016. [https://doi.org/10.1080/0951192X.2016.1268269]
• R. C. Luo and C. W. Kuo, “Intelligent Seven-DoF Robot With Dynamic Obstacle Avoidance and 3-D Object Recognition for Industrial Cyber-Physical Systems in Manufacturing Automation,” Proceedings of the IEEE, vol. 104, no. 5, pp. 1102-1113, May, 2016. [https://doi.org/10.1109/JPROC.2015.2508598]
• J. Kim, A. Alspach, and K. Yamane, “3D printed soft skin for safe human-robot interaction,” 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, 2015. [https://doi.org/10.1109/IROS.2015.7353705]
• Y. Lou, J. Wei, and S. Song, “Design and Optimization of a Joint Torque Sensor for Robot Collision Detection,” IEEE Sensors Journal, vol. 19, no. 16, pp. 6618-6627, Aug., 2019. [https://doi.org/10.1109/JSEN.2019.2912810]
• Y. J. Heo, D. Kim, W. Lee, H. Kim, J. Park, and W. K. Chung, “Collision Detection for Industrial Collaborative Robots: A Deep Learning Approach,” IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 740-746, Apr., 2019. [https://doi.org/10.1109/LRA.2019.2893400]
• A. De Luca and L. Ferrajoli, “A modified newton-euler method for dynamic computations in robot fault detection and control,” 2009 IEEE International Conference on Robotics and Automation, Apr., 2019. [https://doi.org/10.1109/ROBOT.2009.5152618]
• L. Jiang, Z. Cai, D. Wang, and S. Jiang, “Survey of Improving K-Nearest-Neighbor for Classification,” Fourth International Conference on Fuzzy Systems and Knowledge Discovery (FSKD 2007), Haikou, China, 2007. [https://doi.org/10.1109/FSKD.2007.552]
• A. P. Pawlovsky, “An ensemble based on distances for a kNN method for heart disease diagnosis,” 2018 International Conference on Electronics, Information, and Communication (ICEIC), Honolulu, HI, USA, 2018. [https://doi.org/10.23919/ELINFOCOM.2018.8330570]
• P. Schratz, J. Muenchow, E. Iturritxa, J. Richter, and A. Brenning, “Hyperparameter tuning and performance assessment of statistical and machine-learning algorithms using spatial data,” Ecological Modelling, vol. 406, pp. 109- 120, Aug., 2019. [https://doi.org/10.1016/j.ecolmodel.2019.06.002]
• R. C. Barros, M. P. Basgalupp, A. C. P. L. F. de Carvalho, and A. A. Freitas, “A Survey of Evolutionary Algorithms for Decision- Tree Induction,” IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 42, no. 3, pp. 291-312, Aug., 2019. [https://doi.org/10.1109/TSMCC.2011.2157494]
• R. G. Mantovani, T. Horvath, R. Cerri, J. Vanschoren, and A. C. P. L. F. de Carvalho, “Hyper-Parameter Tuning of a Decision Tree Induction Algorithm,” 2016 5^th Brazilian Conference on Intelligent Systems (BRACIS), Recife, Brazil, 2016. [https://doi.org/10.1109/BRACIS.2016.018]
• M. Jaworski, P. Duda, and L. Rutkowski, “New Splitting Criteria for Decision Trees in Stationary Data Streams,” IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 6, pp. 2516-2529, Jun., 2018. [https://doi.org/10.1109/TNNLS.2017.2698204]
• C. W. Hsu, and C. J. Lin, “A comparison of methods for multiclass support vector machines,” IEEE Transactions on Neural Networks, vol. 13, no. 2, pp. 415-425, Mar., 2002. [https://doi.org/10.1109/72.991427]
• L. M. He, X. B. Yang, and H. J. Lu, “A Comparison of Support Vector Machines Ensemble for Classification,” 2007 International Conference on Machine Learning and Cybernetics, Hong Kong, China, 2007.
• T. Hastie, R. Tibshirani, and J. Friedman and J. Franklin, “Support Vector Machines and Flexible Discriminants,” The Elements of Statistical Learning, Springer, 2009, ch. 12, sec. 2, pp 417-421. [https://doi.org/10.1007/978-0-387-84858-7_12]
• E. Duarte and J. Wainer, “Empirical comparison of crossvalidation and internal metrics for tuning SVM hyperparameters,” Pattern Recognition Letters, vol. 88, pp. 6-11, Mar., 2017. [https://doi.org/10.1016/j.patrec.2017.01.007]
• Y. Zhang and Y. Yang, “Cross-validation for selecting a model selection procedure,” Journal of Econometrics, vol. 187, no. 1, pp. 95-112, Jul., 2015. [https://doi.org/10.1016/j.jeconom.2015.02.006]
• J. D. Rodriguez, A. Perez, and J. A. Lozano, “Sensitivity Analysis of k-Fold Cross Validation in Prediction Error Estimation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 3, pp. 569-575, Mar., 2010. [https://doi.org/10.1109/TPAMI.2009.187]
• S. Yadav and S. Shukla, “Analysis of k-Fold Cross-Validation over Hold-Out Validation on Colossal Datasets for Quality Classification,” 2016 IEEE 6^th International Conference on Advanced Computing (IACC), Bhimavaram, India, 2016. [https://doi.org/10.1109/IACC.2016.25]
• X. Deng, Q. Liu, Y. Deng, and S. Mahadevan, “An improved method to construct basic probability assignment based on the confusion matrix for classification problem,” Information Sciences, vol. 340-341, pp. 250-261, May, 2016. [https://doi.org/10.1016/j.ins.2016.01.033]
• M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Information Processing & Management, vol. 45, no. 4, pp. 427-437, Jul., 2009. [https://doi.org/10.1016/j.ipm.2009.03.002]