인공 지능 중심 디지털 대화 형 디자인 및 Hua Tuo의 5 개 민간 Frolics의 공개 커뮤니케이션
Feb 26, 2025
3. 인공 지능 알고리즘을 기반으로 한 모션 캡처
카메라 앞에서 5 개 동물 연습 장치의 대화식 기능을 가능하게하려면 핵심은 가상과 실제 표현 간의 연결을 설정하는 데 있습니다. 참가자는 실제 세계에 존재하지만 먼저 가상 세계에서 재구성되어야합니다. 그런 다음 가상 문자는 참가자의 재구성 된 이미지와 일치하여 다양한 대화식 기능을 가능하게합니다. 고도로 동기화 된 상호 작용을 달성하려면 두 가지 주요 기술 과제를 해결해야합니다.인간 포즈 추정그리고인간 모션 리 타겟팅. 전통적인 인간 재건 방법은 종종 고가의 모션 캡처 장비에 의존하지만이 연구는 인공 지능의 장점을 활용하여 인간 재구성을 저렴한 비용으로 달성합니다.
보디 빌딩을위한 새로운 TCM 허브 시티 치
인간 포즈 추정 기술의 주요 목표는 비디오 스트림에서 인간의 위치와 키패를 감지하는 것입니다. 이 기술은 장치 설계의 두 가지 주요 기능에 적용될 수 있습니다.
실시간 비디오 스트림은 카메라를 통해 캡처되며 모델은 인간 키패 인을 감지하여 후속 작업을 준비합니다.
5 개 동물 운동의 요구 사항을 충족시키기 위해 이러한 연습의 비디오 클립은 모델에 사전로드되어 각 움직임의 키패 인트를 감지하고 5-100 연습 문자의 골격 시퀀스를 생성하여 사용자 표현의 전송을 준비합니다.

바디 빌딩을위한 새로운 TCM 허브 시티 치
다음 섹션에서는 기술 구현 프로세스에 대한 자세한 설명을 제공합니다.

바디 빌딩을위한 새로운 TCM 허브 시티 치
3.1 골격 추출
이 연구는 다음을 활용합니다개방실시간 2D 키패 포인트 캡처 및 녹음을 달성하기위한 도구 [13]. OpenPose는 주로 실시간 다중 인 2D 포즈 추정에 사용됩니다. 이미지에서 각 개인의 키패 인트 (예 : 조인트 위치)를 감지하고 연관시킴으로써 3D 표면 정보를 제공하거나 신체 부위의 상세한 분할을 제공하지는 않지만 포즈 인식을 가능하게합니다. 이 방법은 개념을 소개합니다부품 친화력 필드 (PAFS), CNN (Convolutional Neural Networks)을 통해 신체 부위에 대한 신뢰도 및 부품 간의 친화력 필드에 대한 신뢰도를 동시에 예측합니다. 키패 인은 탐욕스러운 추론 프로세스를 사용하여 구문 분석하여 실시간 실시간 성능을 제공합니다.
미리 훈련 된 OpenPose 모델이 준비된 상태 에서이 연구는 비디오 스트림 데이터 (National Champion Cao Jin의 데모 비디오 사용)를 추론 모델로 공급하여 골격 데이터를 추출하여 골격 서열을 얻습니다 (그림 4 참조).

그림 4 인체 키포 인의 탐지 결과
3.2 조밀 한 인간 포즈 추정
2D 골격 추출은 후속 모션 리 타겟팅 작업에 대한 제한된 지원을 제공하며 2D 골격에 대한 간단한 문자 매핑에만 적용됩니다. 보다 복잡한 문자 표현의 요구를 충족 시키려면 인체의 3D 표면 구조도 추출해야합니다.밀도가 있습니다[14]는 이미지의 모든 인간 픽셀을 3D 인간 표면의 해당 지점에 맵핑하여 밀도가 높은 인간 포즈 추정을 달성하는 것을 목표로한다. 이 방법은 키패 인트를 감지 할뿐만 아니라 각 신체 부품에 대한 상세한 표면 매개 변수화를 제공하고 UV 좌표 및 신체 부품 세분화 마스크를 출력합니다.
그만큼Densepose-rcnn시스템은 CNN (Convolutional Neural Network)을 사용하여Densereg마스크 -RCNN 아키텍처를 사용한 방법. 지역 제안 생성 및 기능 풀링의 캐스케이드를 사용한 다음 밀도가 높은 예측을 위해 완전히 컨볼 루션 네트워크를 사용합니다. 이것은 개별 부품 라벨과 연속 표면 좌표를 생성하여 훈련을 통해 인간 표면의 조밀 한 대응 관계를 예측합니다.
Densepose는 풍부한 신체 표면 정보를 제공하기 때문에 3D 모델링, 가상 현실 (VR) 및 증강 현실 (AR)과 같은 상세한 인간 모양 및 외관이 필요한 응용 프로그램에 적합합니다. 궁극적으로 DensePose는 인간 표면 정보 및 모션 시퀀스를 포함하는 상세한 데이터를 생성 할 수 있으며보다 복잡한 문자 표현의 전달을 지원합니다 (그림 5 참조).

그림 5 Hua Tuo의 5-animal Frolics 비디오 이미지 및 조밀 포즈 비교 차트
3.3 인간 모션 리 타겟팅
가상 캐릭터가 사용자의 실시간 움직임을 모방 할 수있게하든, 5 개 동물 연습을 수행하기 위해 사용자의 사진을 애니메이션하는지 여부에 관계없이인간 모션 리 타겟팅기술. 이 기술은 소스 모션 시퀀스를 새로운 모션 시퀀스로 리디렉션합니다. 이를 달성하기위한 다양한 접근법이 있으며, 대화 형 장치의 요구 사항에 따라이 연구는 두 가지 해당 기술을 채택합니다.
추출 된 경우골격 순서, 골격에 기초한 간단한 처리는 새로운 형태로 전송하기에 충분하다. 예를 들어, "스틱 피겨"모델을 설계함으로써 헤드 키패 인을 확대하고 신체 부위에 다른 색상을 추가하여 새로운 표현을 생성 할 수 있습니다.표 35 개 동물 연습 비디오를 사용한 모션 리 타겟팅의 효과를 보여줍니다.
Tab.3 리 레타베트 비디오에서 키 포인트 이미지 및 이미지가 포함 된 결과

보다 복잡한 모션 리 타겟팅 시나리오의 경우 목표 달성을 돕기 위해 확산 모델을 도입 할 수 있습니다. 그만큼마술프레임 워크 [15]를 사용하면 주어진 모션 시퀀스를 준수하는 동시에 참조 이미지에 대한 시간적 일관성과 충실도를 유지하는 비디오 애니메이션을 생성 할 수 있습니다. 이 모델은 참조 이미지를 외관 인코더에 포함시켜 모양 포즈 순서 (예 : Densepose)는 모션 조건을 추출하기 위해 포즈 제어 네트워크 (Controlnet)에 입력됩니다. 이 두 신호를 기반으로, 모델은 주어진 자세에 따라 참조 아이덴티티를 애니메이션하는 비디오 확산 모델을 훈련시킵니다.
이 기능을 사용하여 대화식 장치는 대상 포즈 시퀀스로서 사용자의 모션 시퀀스를, 5-100 연습 문자 이미지를 참조 이미지로 취할 수 있습니다. 이를 통해 카메라 앞에서 사용자의 자유로운 움직임이 5-100 연습 캐릭터의 동기화 된 움직임을 구동하여 대화식 경험을 만듭니다 (그림 6).
그림 6 스크린 효과 생성

4. "이동, 건강을 유지하고 즐기십시오"공개 대화식 장치 설계
4.1 기능적 특징
대화식 장치는 "이동, 건강을 유지하며 즐기십시오"대화 형 장치는 카메라와 인공 지능 기술을 활용하여 참가자가 장치 앞에서 일련의 작업을 수행 할 수 있도록합니다. 그런 다음 이러한 움직임은 실시간으로 기록되고 가상 문자 이미지와 일치하여 몰입 형 대화식 경험을 제공합니다. 대화식 장치의 응용 프로그램 시나리오가 표시됩니다.그림 7.
기능 1: 사용자는 Lively Kung Fu 캐릭터, 독특한 스타일의 블록 문자 및 단순화 된 스틱 그림을 포함한 개인 선호도를 기반으로 다양한 가상 캐릭터 표현 중에서 선택할 수 있습니다. 이러한 시각적 효과를 통해 사용자는 풍부한 대화식 경험을 즐깁니다. 이 캐릭터는 사용자의 움직임을 모방 할뿐만 아니라 이에도 응답합니다.
기능 2: 사용자는 카메라 앞에서 전신 사진을 찍을 수 있으며 5 개 동물 연습 수행 경험을 향상시킬 수 있습니다. 이 시스템은 사용자의 이미지를 5 개 동물 운동 비디오 클립에 삽입하여 사용자가 Hua Tuo의 5 개 동물 연습의 마스터로 자신을 상상하여 정밀하게 다양한 전문적인 움직임을 실행할 수 있습니다.

그림 7 WildFit 응용 시나리오
4.2 매개 변수 설정
장치의 이름이 있습니다"움직이고 건강을 유지하고 즐기십시오"동물, 자연 및 체력 사이의 연결을 확립합니다. 목표는 디자인을이 세 가지 요소 사이의 다리로 만드는 것입니다. 이 개념에 따라이 장치는 실외 잔디밭이나 놀이 공원에 배치 할 대화 형 스크린 설치입니다. 표시된 것처럼 다양한 매개 변수가 장착되어 있습니다표 4.
표 4 : "움직이고 건강을 유지하며 즐기십시오"매개 변수 구성
| 매개 변수 | 세부 |
|---|---|
| 화면 크기 | 2.5m × 1.5m |
| 해결 | 1920 픽셀 × 1080 픽셀 |
| 대화식 버튼 | 시작 버튼; 모션 추적 및 피드백 표시기 버튼; 종료 버튼 |
| 감도를 터치하십시오 | 10ms 응답 시간, 30fps 프레임 속도; 손 제스처, 신체 자세 및 신체적 감지를 지원합니다 |
| 피드백 상호 작용 | 음성 프롬프트; 또는 시각적 피드백 (예 : 정렬되지 않은 신체 자세 또는 불완전한 운동 제스처를 보여주는 지표) |
| 내구성 | IP65 방수 등급; 알루미늄 합금 재료 쉘
|

그림 8 Wildfit Design Concept 데모
4.3.2 물리적 평가 : 내용 및 방법
적용 후 물리 장치의 영향을 추가로 평가하기 위해 다음 평가 방법이 제안됩니다.
1) 신체 건강 지표
목적: 피트니스 프로그램 (예 : 체중, 체지방 비율, 심박수, 혈압)에 참여하기 전후에 참가자의 신체 건강 지표를 비교하여 피트니스 프로그램의 신체 건강에 미치는 영향을 평가하십시오.
방법: 선형 회귀 분석
선형 회귀는 피트니스 프로그램 전후에 참가자의 신체 건강 지표의 변화를 분석하는 데 사용됩니다. 공식은 다음과 같습니다.
y=β₀ + β₁x + ε
Y: 종속 변수 (예 : 체중 변화).
X: 독립 변수.
β₀그리고β₁: 회귀 계수.
ε: 랜덤 오류.
2) 심리 건강 지표
목적: 피트니스 프로그램 (예 : 감정 상태, 스트레스 수준, 행복)에 참여한 후 참가자의 심리적 건강 지표를 조사하여 정신 건강에 미치는 영향을 평가하십시오.
방법: 로지스틱 회귀 분석
로지스틱 회귀는 심리 건강 지표 (예 : 행복)에 대한 프로그램의 영향을 평가하는 데 사용됩니다. 공식은 다음과 같습니다.
p (y =1)=1 / ({1 + e^-(β₀ + β₁x))
Y: 이진 변수 (예 : 참가자가 행복하다고 느끼는지).
X: 독립 변수.
β₀그리고β₁: 회귀 계수.
"이동, 건강을 유지하고 즐기십시오"장치의 경우 독립 변수가 자세히 설명되어 있습니다.표 5.
3) 참여 및 만족 설문 조사
목적: 피트니스 프로그램에 대한 참가자의 참여 및 만족도를 조사하십시오.
방법: 설문 조사 설문지를 설계하고 배포하여 장치의 유용성, 즐거움 및 실용성에 대한 사용자 피드백뿐만 아니라 5 개 동물 운동 대화식 장치에 대한 전반적인 만족도를 수집합니다.
참가자는 이러한 측면을 평가할 것이며 피드백 점수와 제안은 장치의 효과를 평가하는 데 사용됩니다.







