시공간 예측을 위한 이중 주의 신경망이 있는 이중 메모리 LSTM
Mar 21, 2022
연락하다:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791
추상적인
시공간 예측은 비효율적인 표현 추출과 풍부한 컨텍스트 종속성 부족으로 인해 어렵습니다. 이중을 사용하여 시공간 예측을 위한 새로운 접근 방식이 제안됩니다.메모리이중 주의 신경망(DMANet)이 있는 LSTM. 연속된 이미지 간의 차분 연산을 활용하고 이중 메모리를 채택하여 표현을 추출하기 위해 새로운 이중 메모리 LSTM(DMLSTM)메모리전환 메커니즘. 역사적 표현을 최대한 활용하기 위해 이중 주의 메커니즘은 현재 숨겨진 표현과 시간 및 공간 차원에서 각각 숨겨진 역사적 표현 간의 상관 관계를 계산하여 장기적인 시공간 의존성을 포착하도록 설계되었습니다. 그런 다음 이중 주의가 DMLSTM 장치에 포함되어 DMANet을 구성하여 단기 역학 및 장기 컨텍스트 표현에 대해 더 큰 모델링 능력을 가진 모델을 가능하게 합니다. 본 논문에서는 겉보기 저항률 맵(AR Map) 데이터셋을 제안한다. B-스플라인 보간 방법은 AR 맵 데이터 세트를 향상시키기 위해 활용되고 겉보기 저항률 추세 곡선을 시간 차원에서 연속 도함수로 만듭니다. 실험 결과는 개발된 방법이 일부 최신 방법과 비교하여 우수한 예측 성능을 가짐을 보여줍니다.
키워드: 시공간 예측; 이중메모리LSTM; 이중주의; 역사적 표현
1. 소개
시공간 예측은 레이블이 지정되지 않은 비디오 데이터에서 감독되지 않은 방식으로 표현을 학습하고 이를 사용하여 일반적인 컴퓨터 비전 작업인 예측 작업을 실행하는 것입니다. 현재 시공간 예측은 물체 위치의 미래 예측[1,2], 이상 탐지[3], 자율주행[4]과 같은 일부 작업에 성공적으로 적용되었습니다. 딥 러닝 기반 모델은 고차원 데이터에서 적절한 표현을 학습했기 때문에 기존 접근 방식을 뛰어넘습니다. 딥 러닝 방법은 자기 지도 방식으로 비디오 데이터에서 시공간 상관 관계를 추출할 수 있는 시공간 예측 작업에 완벽하게 맞습니다. 그러나 시공간 예측은 표현을 비효율적으로 추출하는 문제와 장기적인 종속성이 부족하기 때문에 여전히 어려운 작업입니다. 예를 들어, ConvLSTM(ConvLSTM)[5]은 시간 표현을 더 추출하기 위해 개발되었지만 공간 표현은 무시합니다. 일부 방법[6,7]은 정확한 예측 결과를 얻었지만 표현 손실이 발생합니다. 적대적 방법은 예측 작업에 적용되었습니다[8,9]. 그러나 [8,9] 불안정한 훈련 과정에 크게 의존합니다.
1 상하이대학교 통신정보공학부, 상하이 200444, 중국
2 첨단 디스플레이 및 시스템 응용의 핵심 연구실, 교육부, 상하이 200072, 중국
소설 듀얼메모리본 논문에서는 이러한 문제를 해결하기 위해 이중 주의 신경망(DMANet)을 사용한 LSTM을 시공간 예측에 제안하였다. ConvLSTM[5]에 기반한 이중 메모리 LSTM(DMLSTM) 장치는 DMANet이 시공간 예측을 수행하기 위해 개발되었습니다. 인접한 숨겨진 상태 또는 원시 이미지를 적절하게 구별하여 모션 표현을 얻는 데 적용될 수 있습니다. 또한, 공간 정보와 시간 정보를 저장하는 이중 메모리 구조를 가지고 있습니다. 이중 주의 메커니즘이 제안되고 DMLSTM 장치에 내장되어 각각 시간 및 공간 차원에서 장기 기능 종속성을 추출하므로 개발된 모델이 더 길고 복잡한 비디오 역학을 캡처할 수 있습니다. 위의 시공간 예측 방법과 비교하여 본 논문의 주요 기여는 다음과 같다. 첫째, 새로운 DMLSTM 유닛이 추출 표현을 수행하기 위해 제안되었으며, 이는 연속 이미지 간의 차분 연산을 활용하고 이중 이미지를 채택하여 시공간 예측에 적용될 수 있습니다.메모리전환 메커니즘. 둘째, 장기적인 프레임 상호 작용을 얻기 위해 이중 주의 메커니즘이 개발되었습니다. 장기 프레임 상호 작용은 현재 숨겨진 표현과 시간 및 공간 차원의 역사적 숨겨진 표현 간의 상관 관계를 각각 계산하여 캡처됩니다. 마지막으로 중요한 기여는 DMANet이 두 가지 장점을 결합한다는 것입니다. 이러한 아키텍처 설계는 단기 역학 및 장기 컨텍스트 표현을 위한 더 큰 모델링 능력을 가진 모델을 가능하게 합니다. 제안된 방법은 다른 방법을 사용하여 일부 도전적인 데이터 세트에서 평가됩니다. 일부 최첨단 방법과 비교하여 우수한 성능을 달성합니다. 실험 결과 제안한 방법이 시공간 예측 성능이 우수함을 보여주었다.
이 기사의 나머지 부분은 다음과 같이 구성됩니다. 관련 작업은 섹션 2에서 논의됩니다. 이중메모리이중 주의 메커니즘을 사용하는 LSTM은 3장에 설명되어 있습니다. 실험 결과와 분석은 4장에서 논의되고 5장에서 결론이 이어집니다.
2. 문헌 검토
지난 10년 동안 시공간 예측을 위해 많은 방법이 제안되었습니다. 장기 단기를 갖는 순환 신경망(RNN) [10]메모리(LSTM)[11]은 비디오 시퀀스의 표현을 학습하는 기능으로 인해 예측 작업에 점점 더 많이 적용되고 있습니다. 최근 몇 년 동안 시퀀스 대 시퀀스 모델[12]에 기반한 LSTM 프레임워크가 비디오 예측에 적용되었습니다. 그러나 이러한 프레임워크 방법[12]은 시간적 변화만을 포착하기 때문에 예측의 정확도는 제한적입니다. 비디오 표현을 추가로 추출하기 위해 ConvLSTM[5]은 완전 연결 작업을 반복 상태 전환에서 컨볼루션 작업으로 대체합니다. 딥러닝 기반 프레임워크[13]는 누락된 데이터를 재구성하여 시공간 시리즈로 분석을 용이하게 하기 위해 제안됩니다. 그러나 추가 계산 비용이 증가하고 예측 효율성이 낮아집니다. 전단사 게이트 순환 유닛은 경우에 따라 다음 프레임을 예측하기 위해 순환 자동 인코더를 활용하는 [14]에 소개되었습니다. LSTM[11]을 사용한 다중 출력 및 다중 인덱스 지도 학습[15] 방법은 장기 역학을 모델링할 수 있는 시공간 예측을 위해 제안됩니다. 그래디언트 소실을 완화하기 위해 [6,7]에 의해 확장된 컨볼루션 LSTM은 지그재그 메모리 흐름과 그래디언트 하이웨이 유닛(GHU)을 도입합니다. 예측 능력을 향상시키기 위해 업데이트된 딥 러닝 기반 방법이 사용되었습니다. "ASAP 딥 시스템"이라고 하는 ASAP 버전이 [16]에서 제안되었습니다. 광학 흐름 왜곡 및 RGB 픽셀 합성 알고리즘[17]은 시공간 예측을 수행하기 위해 활용되었습니다. [18]에서는 예측 작업을 위해 메모리 인 메모리 네트워크(MIM)가 제안되었습니다. 위에서 언급한 순환 모델과의 차이점은 MIM[18]이 메모리 전이의 차이에 적용하여 시변 다항식을 상수로 변환하여 결정론적 구성 요소를 예측할 수 있게 한다는 것입니다. 그러나 이러한 방법[14-18]은 과도한 게이트 전이로 인해 표현이 손실될 수 있기 때문에 장기 예측을 수행하기가 여전히 어렵습니다.
시스탄체 데저티콜라 효능안에메모리
반복 모델 외에도 시공간 예측에 다른 모델도 사용됩니다. [19]에서는 회고 프레임이 관찰된 프레임과 일치하도록 회고 손실을 도입하는 회고 네트워크가 제안되었습니다. 데이터의 불균형을 처리하기 위해 이웃 청소 알고리즘이 [20]에서 개발되었습니다. 랜덤 포레스트 알고리즘은 예측 작업을 수행하기 위해 최적의 기능을 추출합니다. [21]에서는 비선형 동적 특징을 추출하기 위해 Variational autoencoder를 채택했습니다. 이 모델은 변수 간의 상관관계와 과거 샘플과 현재 샘플 간의 관계를 분석합니다. [22]에서는 wide-attention 모듈과 deep-composite 모듈을 활용하여 global key feature와 local key feature를 추출한다. 그러나 이러한 방법[19-22]은 지역 표현에 어느 정도 의존하므로 예측 작업에서 우수한 성능을 얻을 수 없습니다. 인공 신경망[23]은 시공간 데이터의 고유한 속성을 모델링하고 시공간 데이터에 대한 보다 강력한 모델링 기능을 도출하기 위해 제안되었습니다. 시공간 예측 시스템[24]은 공간 모델링에 초점을 맞추고 완전한 시공간 신호를 재구성하기 위해 개발되었습니다. 이 방법은 일관된 시공간 필드 모델링의 효율성을 보여줍니다. [25]에서 주어진 비디오 프레임을 기반으로 동적 패턴을 모델링하고 모양 표현을 학습하기 위해 혼합 신경망이 제안되었습니다. 3D CNN은 [26]에서 RNN에 활용되며, 이는 시간 차원의 표현을 확장하고메모리단위 저장 더 나은 장기 표현. 그러나 convolutional operations[24-26]은 제한된 수용 필드와 명시적 프레임 간 모델링 기능의 부족으로 인해 단거리 프레임 내 종속성을 설명합니다. 생성적 적대 네트워크[8]는 시공간 예측을 위한 또 다른 접근 방식입니다. 조건부 변이 자동 인코더 방법은 이전 관찰과 미래 로봇 동작에 따라 미래 인간 궤적을 생성하여 [9]에서 제안되었습니다. 예측 방법[8,9]은 덜 흐릿한 프레임을 생성하는 것을 목표로 하지만 그 성능은 불안정한 훈련 프로세스에 크게 의존합니다.
자가 주의 메커니즘이 [27]에서 제안되었으며, 이는 장거리 종속성을 캡처하는 데 적용할 수 있으며 컴퓨터 비전 작업 [28-30]의 모든 공간 위치에서 두드러진 특징을 집계하는 데 효과적인 것으로 입증되었습니다. [28]에서는 전체 공간의 특성을 컴팩트 세트로 결합한 다음 적응적으로 특성을 선택하여 각 위치에 할당하는 이중 주의 블록을 제안했습니다. 상황 정보를 보다 효과적으로 활용하기 위해 십자형 네트워크[29]는 모든 픽셀의 상황 정보를 얻기 위해 십자형 주의 모듈을 도입했는데, 이는 시각적 이해 문제에 도움이 됩니다. 또한, 다중 스케일 특징 융합 방법과 달리 이중 주의 네트워크[30]는 로컬 특징과 전역 종속성을 적응적으로 결합하기 위해 제안됩니다. 그러나 시공간 의존성이 없기 때문에 예측 작업을 처리하는 데 사용할 수 없습니다.
요약하면, 이전 예측 모델은 다른 결점을 낳습니다. 이전 작업과 달리 우리는 시공간 예측 작업에서 상태 표현을 저장하고 주의 메커니즘을 확장하기 위해 ConvLSTM[5]의 새로운 변형을 설계합니다. 이 아키텍처는 클래스 내 압축으로 더 나은 기능 표현을 위해 풍부한 컨텍스트 관계를 캡처합니다.
표 1은 논문에 사용된 두문자어와 개념 정의를 보여주고 있다.
3. DMA 신경망
DMANet의 흐름도는 그림 1에 나와 있습니다. 입력 프레임이 지정된 DMANet에서 표현이 추출됩니다. 표현은 예측 결과를 나타내며 다음 표현을 예측하는 데 사용할 수 있습니다.
이 섹션에서는 DMANet에 대해 자세히 설명합니다. 첫째, 새로운 DMLSTM 유닛이 3.1절에서 소개됩니다. 그런 다음 3.2절에서 이중 주의 메커니즘을 제안하여 모델이 이전 관련 표현의 이점을 얻을 수 있도록 합니다. 마지막으로, 그것들은 함께 집계되어 시공간 예측을 위한 DMANet을 구축합니다. 이는 섹션 3.3에 자세히 설명되어 있습니다.
3.1.듀얼 메모리 LSTM
PredRNN plus plus[7]는 네트워크 깊이를 증가시키고 공간적 상관관계 및 시간적 역학에 대한 모델링 기능을 강화하기 위해 더 많은 비선형 레이어를 추가하여 이를 개선합니다. 그러나 GHU[7]가 이를 제한적으로 완화하더라도 네트워크 깊이가 증가함에 따라 기울기 전파 문제가 점점 더 어려워지고 있습니다. 일부 작업[6,7,14]은 과도한 게이트 전이에 걸쳐 시공간 시퀀스의 표현을 추출하는 데 잘 수행되지 않습니다. 이는 표현의 손실을 불가피하게 유발할 수 있기 때문입니다. 따라서 장거리 공간 종속성은 스택된 컨볼루션 레이어에 의해 캡처될 수 있습니다. 그러나 시공간 역학에 대한 모델링 기능의 효율성은 복잡한 김에서 층으로의 전환으로 인해 제한됩니다.
DMLSTM이라는 새로운 순환 단위는 위에서 언급한 한계를 극복하기 위해 그림 2와 같이 시공간 예측을 수행하기 위해 개발되었습니다. 먼저 ConvLSTM을 기반으로 추가 메모리 단위가 추가됩니다[5]. 이 단위는 공간 상태를 저장하는 데 사용되며, 이를 통해 단위는 더 많은 시공간 표현을 학습할 수 있습니다. 새로운 전환 메커니즘은 입력 게이트와 같은 중복 게이트 구조를 폐기하여 설계되었습니다. 다양한 비선형 구조는 픽셀 수준 예측에서 강력한 내부 표현을 잃게 됩니다. 반면에, 움직이는 물체의 표현을 포착하기 위해 표현 구별 연산이 효과적으로 적용되었습니다. 따라서 예측 작업에 차분을 사용하여 움직이는 물체의 표현 세부 사항을 보완할 수 있습니다. DMLSTM 유닛에서, 디퍼런싱 연산은 인접한 숨겨진 상태 또는 원시 이미지를 구별하여 모션 표현을 얻기 위해 개발되어 유닛이 시공간 역학에 대한 보다 강력한 모델링 기능을 갖도록 합니다.
3.2. 이중 주의 메커니즘
시공간 예측은 이전 표현을 관찰하여 미래 프레임을 예측할 수 있습니다. 그러나 예측 모델은 예측된 콘텐츠와 관련된 역사적 표현에 더 중점을 두어야 합니다. 주의 메커니즘[27]은 일부 실제 작업에서 로컬 및 글로벌 표현 간의 장거리 종속성을 캡처할 수 있습니다[32,33]. 더욱이, 시공간적 예측은 복잡한 역학 및 외관 변화로 인해 도전적이며, 이는 시간 및 공간 도메인 모두에 대한 의존성을 필요로 합니다. 이중 주의 메커니즘이라는 주의 메커니즘의 새로운 변형이 제안되었습니다. 이 아키텍처는 각각 시간 및 공간 차원에서 장기적인 시공간 상호 작용을 캡처한 다음 얻은 표현을 집계하여 향후 예측을 수행합니다.
판매용 시탕슈기억 속에
이중 주의 모듈은 현재 타임스탬프 은닉 상태 Ht ∈ RH × W × C 및 과거 상태 {H1 을 포함하여 그림 3에 나와 있습니다. . . Ht−1} ∈ Rn × H × W × C, 여기서 H와 W는 공간적 크기, C는 채널 수, n은 시간 차원을 따라 연결된 은닉 표현의 수
4. 결론
본 논문에서는 시공간 예측을 위해 DMANet을 제안하였다. DML-STM 장치는 연속 이미지 간의 차분 연산을 활용하고 이중 메모리 전환 메커니즘을 채택하여 표현을 효율적으로 추출하는 데 사용됩니다. 이중 주의 메커니즘은 현재 숨겨진 표현과 시간 및 공간 차원에서 각각 숨겨진 역사적 표현 간의 상관 관계를 계산하여 장기적인 시공간 의존성을 포착하도록 설계되었습니다. DMANet은 두 가지 장점을 결합하고 이러한 아키텍처 설계는 단기 역학 및 장기 컨텍스트 표현을 위한 더 큰 모델링 능력을 가진 모델을 가능하게 합니다. 실험 결과는 우리의 방법이 시공간 예측에서 우수한 성능을 가지고 있음을 보여줍니다.
메모리에서 cistanche를 구입하는 곳
시공간 예측은 풍부한 시공간 상관 관계에 대한 자가 지도 학습을 위한 유망한 방법입니다. 향후 작업을 위해 배경에서 움직이는 물체를 분리하는 방법을 조사하고 움직이는 물체에 더 많은 관심을 기울일 것입니다. 또한 중국 동굴을 물로부터 보호하기 위해 겉보기 저항률 주조 시스템을 구축하려고 노력할 것입니다.
참고문헌
1. 야오, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: 다중 모드 목표 추정을 통한 양방향 보행자 궤적 예측. IEEE 로봇. 자동 레트 사람. 2021, 2, 1463–1470. [교차 참조]
2. 송, Z.; 수에이치; Li, H. 돌출 감지 및 CNN을 사용한 대규모 광학 원격 감지 위성 이미지의 계층적 물체 감지 방법. 국제 J. 원격 센서 2021, 42, 2827–2847. [교차 참조]
3. 리, Y.; 카이, Y.; 리, J.; Lang, S.; Zhang, X. 비디오 이상 탐지를 위한 시공간 통합 네트워킹. IEEE 액세스 2019, 1, 172425–172432. [교차 참조]
4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. 자율 주행에 대한 설문 조사: 일반적인 관행 및 신흥 기술. IEEE 액세스 2020, 8, 58443–58469. [교차 참조]
5. 시, X.; 첸, Z.; 왕, H.; Yeung, DY Convolutional LSTM 네트워크: 강수 예측을 위한 기계 학습 접근 방식. 2015년 6월 7-12일 캐나다 QC 몬트리올에서 열린 제29차 신경 정보 처리 시스템 회의의 회보에서; 802~810쪽.
6. 왕, Y.; 리, 엠.; 왕, J.; Gao, Z.; Yu, P. PredRNN: 시공간 LSTM을 사용한 예측 학습을 위한 순환 신경망. 2017년 12월 4~9일 캐나다 BC주 롱비치에서 열린 제31회 신경 정보 처리 시스템 회의의 회보에서; 879~888쪽.
7. 왕 Y.; Gao, Z.; 긴, M.; 왕, J.; Yu, P. PredRNN plus plus : 시공간 예측 학습의 심층 딜레마 해결을 향하여. In Proceedings of the 35th International Conference on Machine Learning, 스웨덴 스톡홀름, 2019년 4월 10-15일; 5123~5132쪽.
8. Goodfellow, IJ; Pouget-Abadie, J.; 미르자, 엠.; Xu, B.; Warde-Farley, D. 생성적 적대 네트워크. 2014년 12월 8-13일 캐나다 QC 몬트리올에서 열린 제28차 신경 정보 처리 시스템 회의 회보에서; 2672~2680쪽.
9. Ivanovic, B.; 카렌, 엘.; 에드워드, 에스.; Pavone, M. 궤적 예측을 위한 다중 모드 심층 생성 모델: 조건부 변동 자동 인코더 접근 방식. IEEE 로봇. 자동 레트 사람. 2021, 2, 295–302. [교차 참조]
10. Rumelhart, D.; Hinton, G.; Williams, R. 역전파 오류에 의한 학습 표현. 네이처 1986, 1, 533–536. [교차 참조]
11. Hochreiter, S.; Schmidhuber, J. 장기 단기 기억. 신경 컴퓨팅. 1997, 8, 1735-1780. [교차 참조]
12. Sutskever, I.; Vinyals, O.; Le, Q. 신경망을 사용한 시퀀스 학습. Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Canada, 2014년 12월 8-13일; 3104~3112쪽.
13. 다스, 엠.; Ghosh, S. 원격 감지 분석을 위해 누락된 데이터를 예측하는 딥 러닝 기반 예측 앙상블. IEEE J. Sel. 맨 위. 적용 지구 관찰자. 원격 센서 2017, 12, 5228–5236. [교차 참조]
14. Oliu, M.; 셀바, J.; Escalera, S. 미래 비디오 예측을 위한 접힌 순환 신경망. In Proceedings of the 15th European Conference on Computer Vision, 독일 뮌헨, 2018년 12월 8~14일; 716~731쪽.
15. Seng, D.; Zhang, Q.; Zhang, X.; 첸, 지.; Chen, X. LSTM 신경망을 기반으로 한 공기질의 시공간 예측. 알렉스. 영어 J. 2021, 60, 2021–2032. [교차 참조]
16. Abed, A.; 라민, Q.; Abed, A. 딥 러닝을 사용하여 SDO 이미지에서 태양 플레어를 자동으로 예측합니다. 고급 공간 해상도 2021, 67, 2544–2557. [교차 참조]
17. Li, S.; 팡, J.; Xu, H.; Xue, J. 깊은 다중 분기 마스크 네트워크에 의한 비디오 프레임 예측. IEEE 트랜스. 회로 시스템 비디오 기술. 2020, 4, 1–12. [교차 참조]
18. 왕 Y.; Zhang, J.; Zhu, H.; 긴, M.; 왕, J.; Yu, P. Memory in memory: 시공간 역학에서 고차 비정상성을 학습하기 위한 예측 신경망. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Canada, 2020년 6월 16-20일; 9146~9154쪽.
19. Chen, X.; Xu, C.; 양, X.; 양, X.; Tao, D. 비판 및 회고를 통한 장기 비디오 예측. IEEE 트랜스. 이미지 프로세스. 2020, 29, 7090–7103. [교차 참조]
20. Neda, E.; Reza, F. AptaNet은 앱타머-단백질 상호작용 예측을 위한 심층 학습 접근 방식입니다. 과학. 답장. 2021, 11, 6074–6093.
21. Shen, B.; Ge, Z. 비선형 동적 잠재 변수의 심층 추출 및 산업 응용을 위한 가중 비선형 동적 시스템. IEEE 트랜스. 공업통보. 2021, 5, 3090–3098. [교차 참조]
22. Zhou, J.; 다이, H.; 왕, H.; Wang, T. 교통 사이버-물리 시스템의 교통 흐름 예측을 위한 폭넓은 관심 및 심층 복합 모델. IEEE 트랜스. 공업통보. 2021, 17, 3431–3440. [교차 참조]
23. Patil, K.; Deo, M. 인공 신경망을 이용한 해수면 온도의 Basin 규모 예측. J. 애트모스. 대양. 기술. 2018, 7, 1441–1455. [교차 참조]
24. 아마토, F.; Guinard, F.; 로버트, 에스.; Kanevski, M. 딥 러닝을 사용한 환경 데이터의 시공간 예측을 위한 새로운 프레임워크. 과학. 의원 2020, 10, 22243–22254. [교차 참조]
25. Yan, J.; 진, 지.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: 광학 흐름을 넘어선 비디오 예측. IEEE 액세스 2019, 1, 185654–185665. [교차 참조]
26. 왕, Y.; 장엘.; 양엠; 리, 엘.; 긴, M.; Li, F. Eidetic 3D LSTM: 비디오 예측 및 그 이상을 위한 모델. In Proceedings of the International Conference on Learning Representations, New Orleans, LA, USA, 2019년 5월 6-9일; 1-14쪽.
27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. 관심만 있으면 됩니다. 2017년 12월 4~9일 캐나다 BC주 롱비치에서 열린 제31회 신경 정보 처리 시스템 회의의 회보에서; 5998~6008쪽.
28. 첸, Y.; 칼란티디스, Y.; 리, J.; Feng, J. A2 nets: 이중 주의 네트워크. 2018년 12월 2-8일 캐나다 QC 몬트리올에서 열린 제32회 신경 정보 처리 시스템 회의의 회보에서; 352~361쪽.
29. 황, Z.; 왕, X.; 웨이, Y.; 황, L.; Shi, H. Ccnet: 의미론적 분할을 위한 교차 주의. IEEE 트랜스. 패턴 항문. 마하. 인텔. 2020, 1, 1–11. [교차 참조]
30. 푸, J.; Liu, J.; Tian, H.; Li, Y. 장면 분할을 위한 이중 주의 네트워크. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Canada, 2019년 6월 16-20일; 3146~3154쪽.
31. Wang, Z.; 보빅, A.; Sheikh, H. 이미지 품질 평가: 오류 가시성에서 구조적 유사성까지. IEEE 트랜스. 이미지 프로세스. 2004, 4, 600–612. [교차 참조]
32. Liu, Q.; 루, 에스.; Lan, L. Yolov3 주의 얼굴 감지기는 높은 정확도와 효율성을 제공합니다. 비교 시스템 과학. 영어 2021, 37, 283–295.
33. 리, X.; Xu, F.; Xin, L. 대규모 위성 원격 감지 이미지의 이중 주의 깊은 융합 의미론적 분할 네트워크. 국제 J. 원격 센서 2021, 42, 3583–3610. [교차 참조]
34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. LSTM을 사용한 비디오 표현의 감독되지 않은 학습. In Proceedings of the 32nd International Conference on Machine Learning, 프랑스 릴, 2015년 6월 6-11일; 843~852쪽.
35. 가이거, A.; Lenz, P.; 스틸러, C.; Urtasun, R. Vision과 로봇 공학: KITTI 데이터 세트. 국제 제이 로봇. 해상도 2013, 32, 1231–1237. [교차 참조]
36. 달러, P.; Wojek, C.; 실레, B.; Perona, P. 보행자 감지: 벤치마크. 2009년 6월 20-25일 미국 플로리다주 마이애미, 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의의 회보에서; 304~311쪽.
37. Liu, J.; 진비; 양제이; Xu, L. 3차 B-스플라인 보간 및 시공간 주의 메커니즘을 사용한 해수면 온도 예측. Remote Sens. Lett. 2021, 12, 12478–12487. [교차 참조]