장단기 기억 신경망을 이용한 쥐 뇌파검사의 모음 음성 인식 2부
Dec 27, 2023
재료 및 방법
동물
최소 필수 샘플 크기는 다양한 인간 음절에 대한 신경 반응을 특징으로 하는 이전 동물 연구를 참조하여 11~19로 계산되었습니다[12, 13, 49].
신경 반응과 기억은 인간의 지적 활동에서 분리될 수 없는 두 가지 측면입니다. 신경반응이란 다양한 감각정보를 받아들이고 처리할 때 인간의 뇌가 반응하는 속도와 정확성을 말한다. 기억이란 과거 경험을 보존하고 회상하는 인간 두뇌의 능력을 말합니다.
많은 사람들은 신경 반응과 기억의 관계가 매우 약하다고 생각하지만, 실제로는 둘 사이에 밀접한 연관성이 있습니다. 사람의 경우 특정 상황에서는 빠르게 반응하는 것이 중요할 뿐만 아니라 더 중요하게는 기억력도 중요합니다. 예를 들어, 긴급 상황과 유사한 상황이 발생하면 신경 반응을 통해 우리는 신속하게 대응하고 조치를 취할 수 있습니다. 이때 우리의 기억은 우리의 생명 안전에 치명적인 영향을 미치게 됩니다. 그러므로 신경반응과 기억은 서로 연관되어 있으며 둘 다 필수불가결하다고 할 수 있다.
그렇다면 신경 반응과 기억력을 향상시키는 방법은 무엇입니까? 우선, 신경 반응을 향상시키기 위해서는 각종 스포츠, 전신 반응 훈련, 시각 및 청각 훈련 등 많은 훈련을 실시할 수 있습니다. 수면 습관. 기억력을 향상시키려면 독서를 많이 하고, 지적으로 도전적인 게임을 하거나 다른 사람과 소통하여 사고력 발달을 촉진하는 등 논리적 사고와 기억력 훈련을 강화해야 합니다.
마지막으로, 신경 반응과 기억력이 모두 향상될 수 있다는 점에 유의하는 것이 중요합니다. 노력과 사려 깊은 교육 및 개발을 쏟는 한, 우리는 이 분야에서 발전할 수 있습니다. 그러므로 신경학적 반응과 기억의 발달에 긍정적인 접근 방식을 취하여 우리 삶에서 더 많은 발전과 성공을 이루도록 합시다. 기억력을 향상시켜야 함을 알 수 있습니다. Cistanche Deserticola는 많은 독특한 효과를 지닌 전통 중국 약재이기 때문에 기억력을 크게 향상시킬 수 있습니다. 그 중 하나는 기억력을 향상시키는 것입니다. 다진 고기의 효능은 산, 다당류, 플라보노이드 등 포함된 다양한 활성 성분에서 비롯됩니다. 이러한 성분은 다양한 방식으로 뇌 건강을 증진할 수 있습니다.
과학적 타당성과 동물 윤리를 모두 고려하여 총 19마리의 수컷 Sprague-Dawley 쥐(325~400g, 실험 당시 11~13주령, Orient Bio Inc., 성남, 한국)가 연구에 등록되었습니다.
EEG에 대한 에스트로겐의 잠재적 영향을 피하기 위해 수컷 쥐만 이 연구에 포함되었습니다[50]. 동물들은 음식과 물에 자유롭게 접근할 수 있는 표준 플라스틱 우리에 개별적으로 수용되었으며 12시간 명암 주기로 일정한 온도(21 ± 1˚C)로 유지되었습니다.
모든 실험 프로토콜 및 절차는 광주과학기술원(GIST)의 동물기관사용위원회(IACUC)의 승인을 받았습니다.
위원회에 따르면, 이 연구는 미국 농무부 카테고리 D에 속했습니다. 통증이나 고통은 마취제, 진통제 및/또는 진정제 또는 통증과 고통을 완화하는 기타 방법을 사용하여 적절하게 완화되었습니다.
따라서 모든 수술 절차와 동물 관리는 동물의 불편을 최소화하기 위해 지침에 따라 수행되었습니다(승인 번호: GIST-2019-047).
수술 절차
모든 쥐는 말소리 자극에 반응하여 EEG 신호를 획득하기 위해 미세전극 이식 수술을 받았습니다. 수술 전 쥐를 유도실에서 산소 가스(0.6 L/min 유량)와 혼합된 이소플루란(5%)으로 마취시켰습니다.
쥐가 정위 반사를 잃으면 정위 프레임으로 이동시킨 후 마취용 노즈콘을 도포했습니다. 산소와 혼합된 이소플루란 가스(유지 용량 1.5%)를 노즈콘으로 방향을 바꾸었습니다.
다음으로 이어바를 외이도에 삽입하여 머리를 고정했습니다. 그런 다음 귀에서 눈 사이까지 털을 면도했습니다. 2% 리도카인을 함유한 라인 블록을 두피에 시행하고 절개를 하여 두개골을 노출시켰습니다.
다음으로 양측 관자근을 부분적으로 제거하고 치과용 드릴을 사용하여 각 AAF에 경막외 뇌파 전극을 삽입하기 위한 경막절개술을 시행하였다. 전극은 마이크로 스크류, 은선 및 커넥터를 사용하여 맞춤 제작된 단일 마이크로 전극이었습니다. AAF의 좌표는 브레그마에 대해 후방 4mm, 측면 7.6mm, 복부 4mm였습니다[51].
마지막으로 이식된 전극을 멀티핀 커넥터에 연결하고 골시멘트를 이용하여 두개골에 고정시켰다. 모든 수술을 마친 후 쥐에게 항생제(ceftazol20 mg/kg, Guju Pharma Co, Korea)를 주사하고 진통제(케토프로펜 2.5 mg/kg, 유니바이오텍, 한국)를 3일 연속 근육주사합니다.
모든 동물을 일주일 동안 회복시킨 후 식욕 감소, 구부정한 자세 또는 입모와 같은 통증 징후가 있는지 면밀히 관찰했습니다.
언어 자극
말소리의 주파수 정보는 다양한 모음의 범주적 인식과 인식에 필수적인 것으로 알려져 있다[52]. 또한 AEP의 구성 요소는 다양한 주파수의 소리에 따라 다르며 이러한 다양한 뇌 반응은 소리 인식 메커니즘을 연구하는 데 사용될 수 있습니다[9]. 따라서 각 음성 자극에 대해 매우 뚜렷한 포먼트 주파수를 갖는 다섯 가지 서로 다른 모음 음성인 /a/, /e/, /i/,/o/ 및 /u/가 선택되었습니다[53].
모든 음성 자극은 Google에서 제공하는 TTS(text-to-speech) 프로그램을 사용하여 생성되었으며 쥐의 가청 범위에 맞게 MATLAB 2017b(Mathworks, Inc., MA, USA)의 Shift Pitch 기능을 사용하여 소리의 피치를 1옥타브 높여 적용했습니다. 평균 제곱근 정규화.
자극은 쥐의 머리에서 약 15cm 떨어진 케이지 한쪽 위에 위치한 스피커(SRS-X88, SONY Co., Japan)를 통해 전달되었으며, 소리의 최대 강도는 60dB SPL로 보정되었습니다. 모음 음성을 시간 경과, 선형 예측 계수(LPC) 스펙트럼 및 스펙트로그램에 따라 분석하여 각 자극이 소리 특성을 갖는지 확인했습니다(그림 1 참조).
쥐 청각 시스템은 인간의 모음 소리 인식에 최적화되어 있지 않지만 소리의 주파수가 쥐의 청력 범위, 즉 0.5 kHz에서 64 kHz에 속하므로 대부분의 소리 자극을 감지할 수 있다고 가정했습니다. 60dB SPL에서 [54].
데이터 취득
각 모음 소리 자극에 대한 뇌파 신호 반응은 1주일의 회복 기간 후에 양측 AAF로부터 획득되었습니다. 먼저, 유도를 위해 이소플루란(5%)과 산소 가스(0.6 L/min 유속)를 혼합하여 쥐를 마취시켰다.
쥐가 정위 반사를 잃은 후, 운동 인공물로 인한 EEG 신호의 오염을 방지하기 위해 기록 중에 노즈콘을 통해 이소플루란(1.5%)으로 마취를 유지했습니다. 다음으로 멀티핀 커넥터를 녹음 장치(g.USBamp 및 g.HEADstage, g.tec Medical EngineeringGmbH, Graz, Austria)에 연결하여 1200Hz 샘플링 주파수에서 신호를 획득했습니다.
경막외 EEG 기록은 세션당 1500초 동안 수행되었으며, 그 동안 5개의 모음 음성이 실험 스피커를 통해 각 쥐에게 무작위로 제시되었습니다. 각 음성 자극은 한 세션에서 자극당 130~150회 나타났습니다.
충분한 EEG 데이터를 얻기 위해 기록 세션을 5일 연속 반복했습니다. 모든 녹음은 SNR을 극대화하기 위해 방음 부스에서 수행되었습니다. 실험의 개략도는 그림 2에 나와 있습니다.
EEG 신호 전처리 및 분석
획득된 뇌파 신호는 MATLAB 2017b(Mathworks, Inc., MA, USA)의 FieldTriptoolbox[55]를 사용하여 각 모음음에 대한 반응을 분석했습니다. 첫 번째 단계에서 원시 EEG 데이터는 1200~250Hz에서 다운 샘플링되었으며 1~60Hz의 주파수 범위에서 대역 통과 필터링되었습니다.
그런 다음 연속 EEG 데이터는 자극 전 기간이 500ms이고 자극 후 기간이 1500ms인 자극별 시험으로 분할되었습니다. 자극 전 기간을 기준으로 기준선 보정을 수행했습니다. 잔여 인공물을 폐기하기 위해 오염된 시험은 육안 검사 방법을 사용하여 수동으로 거부되었습니다.
전처리 후 각 음성자극별로 인공물이 없는 뇌파 데이터를 평균하여 AEP 파형을 생성하고, 총평균 파형의 TFR을 계산하였다.
TFR 분석은 각 음성 자극에 대한 시간 경과에 따른 스펙트럼 전력의 동적 변화를 평가하기 위해 Morlet 웨이블릿을 기반으로 수행되었습니다. 총평균 AEP 파형과 그 TFR을 활용하여 음성 자극에 대한 뇌 반응을 주로 반영하는 시간 또는 주파수 범위를 결정했습니다. TFR 분석의 경우 각 음성 자극에 대한 EEG 신호의 TFR 간의 통계적 유의성을 확인하기 위해 분산 분석(ANOVA) 테스트와 Bonferroni 보정을 수행했습니다[48].
이러한 결과를 통해 전처리된 뇌파 데이터는 나중에 분류에 사용할 수 있도록 재구성되었습니다. 재구성된 데이터의 의미를 보장하기 위해 모든 EEG 시험의 시간과 주파수 범위가 제한되었습니다. 시간 범위는 0.2–0.8초로 설정되었고 주파수 범위는 1–60Hz로 설정되었습니다. 시간과 주파수 범위를 재정의한 후 모든 EEG 시험은 시험 내에서 유사한 경향을 유지하면서 시험 간의 변동성을 줄이기 위해 일반적으로 사용되는 방법인 z-점수 정규화를 사용하여 정규화되었습니다[56, 57].
z-점수 정규화 이후 전체 분류 성능이 향상된다는 것은 잘 알려져 있습니다[56]. 그 후, z-점수 정규화된 데이터 세트는 무작위로 섞여서 훈련 세트(90%)와 테스트 세트(10%)로 분리되어 음성 인식 분류를 위한 딥 러닝 및 머신 러닝 분류기의 입력으로 사용되었습니다.
양방향 장단기 기억 네트워크
LSTM은 메모리셀의 상태를 제어하는 게이트 구조를 통합하여 소멸/폭발 기울기 문제를 극복하는 특수 순환 신경망(RNN) 아키텍처입니다[46, 58].
이러한 이유로 LSTM은 다양한 시간적 또는 순차적 작업에서 장기 종속성을 모델링하는 데 안정적이고 강력한 성능을 보여주었습니다[46, 58-61]. LSTM의 구조는 그림 3A에 나와 있습니다. 기존 RNN과 LSTM의 주요 차이점은 입력 게이트, 망각 게이트 ft 및 출력 게이트의 세 가지 종류의 자체 매개변수 게이트로 변조된 상태 정보를 보존할 수 있는 메모리 셀 ct입니다.
입력 게이트는 새로운 입력이 메모리 셀에 축적되는지 여부를 결정합니다. 망각 게이트 ft는 메모리 셀의 과거 상태 ct-1을 폐기할 수 있습니다. 출력 게이트는 현재 메모리 셀 ct로부터 출력 응답 ht로의 출력 전파를 조절한다. LSTM의 주요 처리는 다음 방정식으로 설명됩니다.
ð6Þ 여기서 σ와 tanh는 비선형 활성화 함수입니다. 게이트 활성화 함수로는 σ(x)=1/(1+e−x)로 정의된 로지스틱 시그모이드 함수와 쌍곡선 탄젠트 함수 tanh(x)=( ex−e−x)/(ex+e−x)는 블록 입력 및 출력 활성화 함수로 사용됩니다. 두 벡터의 요소별 곱셈은 �로 표시됩니다. W, R은 가중치 행렬을 나타내고, b는 각각을 제어하는 학습 가능한 매개변수인 편향 벡터를 나타냅니다.
te.LSTM은 순차 데이터를 처리하기 위한 강력한 구조로 입증되었습니다[59]. 그러나 표준 LSTM은 순방향 시퀀스의 과거 정보만 캡처합니다. BiLSTM은 구조를 개선하기 위해 구현되었습니다.
BiLSTM은 양방향 RNN의 LSTM 버전 유형입니다[47, 62]. 그림 3B에 표시된 것처럼 LSTM의 두 레이어가 있습니다. 하나는 정보를 순방향으로 처리하고 다른 하나는 정보를 역방향으로 처리합니다.
과거와 미래 정보에 모두 액세스함으로써 이러한 구조는 시퀀스에서 풍부한 정보를 캡처할 수 있습니다. 따라서 기존 문헌에서는 BiLSTM이 각 작업에 따라 EEG 신호를 분류하는 데 표준 LSTM보다 더 나은 성능을 보인다는 것을 보여줍니다.
7]. 본 연구에서는 단일 시험 기반 EEG 신호를 사용하여 BiLSTM 네트워크를 사용하여 5개의 서로 다른 모음 음성을 분류했습니다. 600개의 LSTM 단위를 포함하는 BiLSTM 레이어를 설정하고 과적합을 방지하기 위해 LSTM 레이어의 드롭아웃 비율을 0.3으로 설정했습니다[68].
LSTM 레이어 이후에는 멀티클래스 분류에 사용되는 소프트맥스 활성화 함수를 사용하여 숨겨진 상태를 완전 연결 레이어로 연결했습니다. ADAM 옵티마이저[69]를 사용하여 손실 함수로 범주형 교차 엔트로피를 채택했으며 초기 학습률과 학습률 감소는 각각 1e-3와 1e-6로 설정되었습니다. 또한 모델은 500개의 에포크와 64개의 배치 크기로 훈련되었습니다. 학습 곡선은 500개의 에포크 내에서 안정적인 안정기에 도달했습니다.
hs. 이러한 하이퍼 매개변수는 모델이 데이터에 가장 잘 맞도록 조정되었습니다. 모델 성능을 평가하기 위해 계층화된 10-foldcross-validation(10-CV)이 사용되었습니다. k-fold 교차 검증은 분류에 사용되는 모델의 성공률을 테스트하는 효과적인 방법이며 k= 10는 일반적으로 응용 기계 학습에서 가장 합리적인 매개 변수로 간주됩니다.
모델은 TensorFlow 백엔드[72]와 Python의 Scikit-Learn 라이브러리[73]가 포함된 Keras 라이브러리[71]를 사용하여 구현되었습니다.
For more information:1950477648nn@gmail.com
