인공 지능 중심 디지털 대화 형 디자인 및 Hua Tuo의 5 개 민간 Frolics의 공개 커뮤니케이션

Feb 26, 2025

3. 인공 지능 알고리즘을 기반으로 한 모션 캡처

카메라 앞에서 5 개 동물 연습 장치의 대화식 기능을 가능하게하려면 핵심은 가상과 실제 표현 간의 연결을 설정하는 데 있습니다. 참가자는 실제 세계에 존재하지만 먼저 가상 세계에서 재구성되어야합니다. 그런 다음 가상 문자는 참가자의 재구성 된 이미지와 일치하여 다양한 대화식 기능을 가능하게합니다. 고도로 동기화 된 상호 작용을 달성하려면 두 가지 주요 기술 과제를 해결해야합니다.인간 포즈 추정그리고인간 모션 리 타겟팅. 전통적인 인간 재건 방법은 종종 고가의 모션 캡처 장비에 의존하지만이 연구는 인공 지능의 장점을 활용하여 인간 재구성을 저렴한 비용으로 달성합니다.

New TCM Herbal Cistanche For Body building

보디 빌딩을위한 새로운 TCM 허브 시티 치

 

인간 포즈 추정 기술의 주요 목표는 비디오 스트림에서 인간의 위치와 키패를 감지하는 것입니다. 이 기술은 장치 설계의 두 가지 주요 기능에 적용될 수 있습니다.

실시간 비디오 스트림은 카메라를 통해 캡처되며 모델은 인간 키패 인을 감지하여 후속 작업을 준비합니다.

5 개 동물 운동의 요구 사항을 충족시키기 위해 이러한 연습의 비디오 클립은 모델에 사전로드되어 각 움직임의 키패 인트를 감지하고 5-100 연습 문자의 골격 시퀀스를 생성하여 사용자 표현의 전송을 준비합니다.

New TCM Herbal Cistanche For Body building

바디 빌딩을위한 새로운 TCM 허브 시티 치

다음 섹션에서는 기술 구현 프로세스에 대한 자세한 설명을 제공합니다.

cistanche boost energy -

 

 

바디 빌딩을위한 새로운 TCM 허브 시티 치

 

3.1 골격 추출

이 연구는 다음을 활용합니다개방실시간 2D 키패 포인트 캡처 및 녹음을 달성하기위한 도구 [13]. OpenPose는 주로 실시간 다중 인 2D 포즈 추정에 사용됩니다. 이미지에서 각 개인의 키패 인트 (예 : 조인트 위치)를 감지하고 연관시킴으로써 3D 표면 정보를 제공하거나 신체 부위의 상세한 분할을 제공하지는 않지만 포즈 인식을 가능하게합니다. 이 방법은 개념을 소개합니다부품 친화력 필드 (PAFS), CNN (Convolutional Neural Networks)을 통해 신체 부위에 대한 신뢰도 및 부품 간의 친화력 필드에 대한 신뢰도를 동시에 예측합니다. 키패 인은 탐욕스러운 추론 프로세스를 사용하여 구문 분석하여 실시간 실시간 성능을 제공합니다.

미리 훈련 된 OpenPose 모델이 준비된 상태 에서이 연구는 비디오 스트림 데이터 (National Champion Cao Jin의 데모 비디오 사용)를 추론 모델로 공급하여 골격 데이터를 추출하여 골격 서열을 얻습니다 (그림 4 참조).

news-402-405

그림 4 인체 키포 인의 탐지 결과

 

3.2 조밀 한 인간 포즈 추정

2D 골격 추출은 후속 모션 리 타겟팅 작업에 대한 제한된 지원을 제공하며 2D 골격에 대한 간단한 문자 매핑에만 적용됩니다. 보다 복잡한 문자 표현의 요구를 충족 시키려면 인체의 3D 표면 구조도 추출해야합니다.밀도가 있습니다[14]는 이미지의 모든 인간 픽셀을 3D 인간 표면의 해당 지점에 맵핑하여 밀도가 높은 인간 포즈 추정을 달성하는 것을 목표로한다. 이 방법은 키패 인트를 감지 할뿐만 아니라 각 신체 부품에 대한 상세한 표면 매개 변수화를 제공하고 UV 좌표 및 신체 부품 세분화 마스크를 출력합니다.

그만큼Densepose-rcnn시스템은 CNN (Convolutional Neural Network)을 사용하여Densereg마스크 -RCNN 아키텍처를 사용한 방법. 지역 제안 생성 및 기능 풀링의 캐스케이드를 사용한 다음 밀도가 높은 예측을 위해 완전히 컨볼 루션 네트워크를 사용합니다. 이것은 개별 부품 라벨과 연속 표면 좌표를 생성하여 훈련을 통해 인간 표면의 조밀 한 대응 관계를 예측합니다.

Densepose는 풍부한 신체 표면 정보를 제공하기 때문에 3D 모델링, 가상 현실 (VR) 및 증강 현실 (AR)과 같은 상세한 인간 모양 및 외관이 필요한 응용 프로그램에 적합합니다. 궁극적으로 DensePose는 인간 표면 정보 및 모션 시퀀스를 포함하는 상세한 데이터를 생성 할 수 있으며보다 복잡한 문자 표현의 전달을 지원합니다 (그림 5 참조).

 

 

news-800-363

그림 5 Hua Tuo의 5-animal Frolics 비디오 이미지 및 조밀 포즈 비교 차트

 

3.3 인간 모션 리 타겟팅

가상 캐릭터가 사용자의 실시간 움직임을 모방 할 수있게하든, 5 개 동물 연습을 수행하기 위해 사용자의 사진을 애니메이션하는지 여부에 관계없이인간 모션 리 타겟팅기술. 이 기술은 소스 모션 시퀀스를 새로운 모션 시퀀스로 리디렉션합니다. 이를 달성하기위한 다양한 접근법이 있으며, 대화 형 장치의 요구 사항에 따라이 연구는 두 가지 해당 기술을 채택합니다.

추출 된 경우골격 순서, 골격에 기초한 간단한 처리는 새로운 형태로 전송하기에 충분하다. 예를 들어, "스틱 피겨"모델을 설계함으로써 헤드 키패 인을 확대하고 신체 부위에 다른 색상을 추가하여 새로운 표현을 생성 할 수 있습니다.표 35 개 동물 연습 비디오를 사용한 모션 리 타겟팅의 효과를 보여줍니다.

 

Tab.3 리 레타베트 비디오에서 키 포인트 이미지 및 이미지가 포함 된 결과

news-765-271

보다 복잡한 모션 리 타겟팅 시나리오의 경우 목표 달성을 돕기 위해 확산 모델을 도입 할 수 있습니다. 그만큼마술프레임 워크 [15]를 사용하면 주어진 모션 시퀀스를 준수하는 동시에 참조 이미지에 대한 시간적 일관성과 충실도를 유지하는 비디오 애니메이션을 생성 할 수 있습니다. 이 모델은 참조 이미지를 외관 인코더에 포함시켜 모양 포즈 순서 (예 : Densepose)는 모션 조건을 추출하기 위해 포즈 제어 네트워크 (Controlnet)에 입력됩니다. 이 두 신호를 기반으로, 모델은 주어진 자세에 따라 참조 아이덴티티를 애니메이션하는 비디오 확산 모델을 훈련시킵니다.

이 기능을 사용하여 대화식 장치는 대상 포즈 시퀀스로서 사용자의 모션 시퀀스를, 5-100 연습 문자 이미지를 참조 이미지로 취할 수 있습니다. 이를 통해 카메라 앞에서 사용자의 자유로운 움직임이 5-100 연습 캐릭터의 동기화 된 움직임을 구동하여 대화식 경험을 만듭니다 (그림 6).

 

그림 6 스크린 효과 생성

news-633-291

 

4. "이동, 건강을 유지하고 즐기십시오"공개 대화식 장치 설계

4.1 기능적 특징

대화식 장치는 "이동, 건강을 유지하며 즐기십시오"대화 형 장치는 카메라와 인공 지능 기술을 활용하여 참가자가 장치 앞에서 일련의 작업을 수행 할 수 있도록합니다. 그런 다음 이러한 움직임은 실시간으로 기록되고 가상 문자 이미지와 일치하여 몰입 형 대화식 경험을 제공합니다. 대화식 장치의 응용 프로그램 시나리오가 표시됩니다.그림 7.

기능 1: 사용자는 Lively Kung Fu 캐릭터, 독특한 스타일의 블록 문자 및 단순화 된 스틱 그림을 포함한 개인 선호도를 기반으로 다양한 가상 캐릭터 표현 중에서 선택할 수 있습니다. 이러한 시각적 효과를 통해 사용자는 풍부한 대화식 경험을 즐깁니다. 이 캐릭터는 사용자의 움직임을 모방 할뿐만 아니라 이에도 응답합니다.

기능 2: 사용자는 카메라 앞에서 전신 사진을 찍을 수 있으며 5 개 동물 연습 수행 경험을 향상시킬 수 있습니다. 이 시스템은 사용자의 이미지를 5 개 동물 운동 비디오 클립에 삽입하여 사용자가 Hua Tuo의 5 개 동물 연습의 마스터로 자신을 상상하여 정밀하게 다양한 전문적인 움직임을 실행할 수 있습니다.

 

news-513-516

그림 7 WildFit 응용 시나리오

 

4.2 매개 변수 설정

장치의 이름이 있습니다"움직이고 건강을 유지하고 즐기십시오"동물, 자연 및 체력 사이의 연결을 확립합니다. 목표는 디자인을이 세 가지 요소 사이의 다리로 만드는 것입니다. 이 개념에 따라이 장치는 실외 잔디밭이나 놀이 공원에 배치 할 대화 형 스크린 설치입니다. 표시된 것처럼 다양한 매개 변수가 장착되어 있습니다표 4.

표 4 : "움직이고 건강을 유지하며 즐기십시오"매개 변수 구성

매개 변수세부
화면 크기2.5m × 1.5m
해결1920 픽셀 × 1080 픽셀
대화식 버튼시작 버튼; 모션 추적 및 피드백 표시기 버튼; 종료 버튼
감도를 터치하십시오10ms 응답 시간, 30fps 프레임 속도; 손 제스처, 신체 자세 및 신체적 감지를 지원합니다
피드백 상호 작용음성 프롬프트; 또는 시각적 피드백 (예 : 정렬되지 않은 신체 자세 또는 불완전한 운동 제스처를 보여주는 지표)
내구성

IP65 방수 등급; 알루미늄 합금 재료 쉘

 

 

news-417-534

그림 8 Wildfit Design Concept 데모

 

4.3.2 물리적 평가 : 내용 및 방법

적용 후 물리 장치의 영향을 추가로 평가하기 위해 다음 평가 방법이 제안됩니다.


1) 신체 건강 지표

목적: 피트니스 프로그램 (예 : 체중, 체지방 비율, 심박수, 혈압)에 참여하기 전후에 참가자의 신체 건강 지표를 비교하여 피트니스 프로그램의 신체 건강에 미치는 영향을 평가하십시오.

방법: 선형 회귀 분석
선형 회귀는 피트니스 프로그램 전후에 참가자의 신체 건강 지표의 변화를 분석하는 데 사용됩니다. 공식은 다음과 같습니다.

y=β₀ + β₁x + ε

Y: 종속 변수 (예 : 체중 변화).

X: 독립 변수.

β₀그리고β₁: 회귀 계수.

ε: 랜덤 오류.


2) 심리 건강 지표

목적: 피트니스 프로그램 (예 : 감정 상태, 스트레스 수준, 행복)에 참여한 후 참가자의 심리적 건강 지표를 조사하여 정신 건강에 미치는 영향을 평가하십시오.

방법: 로지스틱 회귀 분석
로지스틱 회귀는 심리 건강 지표 (예 : 행복)에 대한 프로그램의 영향을 평가하는 데 사용됩니다. 공식은 다음과 같습니다.

p (y =1)=1 / ({1 + e^-(β₀ + β₁x))

Y: 이진 변수 (예 : 참가자가 행복하다고 느끼는지).

X: 독립 변수.

β₀그리고β₁: 회귀 계수.

"이동, 건강을 유지하고 즐기십시오"장치의 경우 독립 변수가 자세히 설명되어 있습니다.표 5.


3) 참여 및 만족 설문 조사

목적: 피트니스 프로그램에 대한 참가자의 참여 및 만족도를 조사하십시오.

방법: 설문 조사 설문지를 설계하고 배포하여 장치의 유용성, 즐거움 및 실용성에 대한 사용자 피드백뿐만 아니라 5 개 동물 운동 대화식 장치에 대한 전반적인 만족도를 수집합니다.

참가자는 이러한 측면을 평가할 것이며 피드백 점수와 제안은 장치의 효과를 평가하는 데 사용됩니다.

 

 

 

당신은 또한 좋아할지도 모릅니다