메모) 동작 인식 공부 (openCV, mediapipe)

• Mediapipe : 여러가지 얼굴, 동작 등 인식 모델들을 제공함
• OpenCV : 웹 캠 조작
• Dynamic control → 아두이노 등 모터를 달아서 그 모터의 각도를 조절하는 데에 사용하는 듯. (?? 용도가 뭐지? Module이란 걸 가져다 쓰는 듯한데)

손가락 모델 가져오고

모델에 knn이라는 알고리즘으로 제스쳐 모델(?) 데이터들을 학습시킴

웹캠 이미지 읽어오기

각 조인트(점)의 x,y,z값ㅇ르 사용할거임

관절 벡터 만듦

Normalize : 각 벡터를 그 벡터의 길이로 나눠줘서 해당 벡터의 크기 1인 벡터를 구함

각도 구함 : 아크코사인 어쩌구.. 벡터의 각도를 구한다는 소리인 듯(즉 손가락 조인트마다의 각도를 구함. 이를 동작 구분하는 기준으로 활용. 라디안 값으로 나오니까 degree값으로 바꿔줘야 함)

인퍼런스??뭐를 함…. 아까 학습시킨 제스처 knn모델을 사용하는 건가 봄

이제 학습시킨 모델의 동작 데이터 중 하나와 웹캠으로 인식한 동작이 일치하면 화면에 해당 동작이 뭔지 표시해줌cv.putText

화면에 손모양 파이프도 그려줌. 미디어파이프의 draw_landmarks함수 이용. mp_drawing.draw_landmarks( … )

그린 손모양을 보여줌

 

 

>> 손이 두개면??

각 손의 위치 인덱스를 저장해 각 동작을 인식한 값을 인덱스로 구분함

 

 

1. Mediapipe
   • Hands : 손가락 마디마다 점에 번호 붙어있음
2. OpenCV
   • 웹캠 열어줌 videoCapture. 여러개일 수 있으니 숫자붙임