한국PHM학회 바로가기

<인공지능과 물리학의 만남>

본 기고문에서는 물리학을 위한 인공지능 (AI for Physics) 과 인공지능을 위한 물리학 (Physics for AI) 의 원리와 응용 사례에 대해 소개하고자 한다.

이승철 부교수  나주원 통합과정  이수영 통합과정

포항공과대학교 기계공학과 (E-mail: seunglee@postech.ac.kr)

1.  서론

기계학습 방법론은 자연과학 및 공학 분야에서 물리적인 시스템의 거동을 모델링하기 위해 활발하게 사용되고 있다. 예를 들어, 발전소, 플랜트, 항공 등의 설비 이상을 탐지하거나 상태를 진단하는 고장 진단 및 예지 분야 (Prognostic and health management) 가 있다. 하지만 데이터 기반 접근법은 해석 가능성과 일반화 성능이라는 두 가지 측면에서 근본적인 한계를 가지고 있다.

(1) 해석 가능성이란 기계학습 알고리즘의 의사결정에서 판단의 근거 및 도출 과정을 논리적으로 설명하는 능력을 의미한다. 이러한 능력은 고안정성 및 고신뢰성을 요구하는 산업적 응용에서 특히 중요하다. 하지만 기계학습 알고리즘의 의사결정 프로세스는 해석이 불가능한 소위 블랙박스 특성이 있기 때문에 그것의 산업적 응용은 현재까지 제한되고 있다.

(2) 일반화 성능이란 이전에 관측되지 않은 데이터에 대해서도 좋은 의사결정을 수행하는 능력이다. 이러한 능력은 데이터가 부족하거나 외란 및 노이즈가 빈번하게 발생하는 산업적 응용에서 중요하다. 하지만 기계학습 알고리즘은 데이터가 학습된 데이터의 분포에서 벗어나는 경우 의사결정 능력이 현저하게 낮아지는 문제를 가지고 있다.

이러한 두 가지 한계는 순수하게 관측 데이터의 패턴만을 학습하는 데이터 기반 접근법이 과학 및 공학 분야 응용에 있어 불충분하다는 것을 시사한다. 위 두 가지 한계를 극복하기 위해, 최근 기계학습 방법론과 물리적 지식을 결합하는 시도들이 이어지고 있다. 해당 아이디어는 물리적인 시스템의 거동은 그것을 지배하는 물리적인 메커니즘을 근간으로 한다는 사실에서 기인한다. 물리학과 기계학습의 만남은 물리적인 지식을 배제하지 않고 적극적으로 활용한다는 측면에서 기존의 순수한 데이터 기반 접근법과 차별화된다. 이와 관련된 두 가지 패러다임으로서 Physics for AI 와 AI for Physics 가 존재한다.

(1) AI for Physics: 사전에 알려지지 않은 물리적 지식을 기계학습 알고리즘을 통해 발견하는 기법을 의미한다. 대표적인 기술로서 과학적 발견을 위한 심볼릭 리그레션 (Symbolic regression) 이 있다.

(2) Physics for AI: 사전에 알려진 물리적 지식을 기계학습 알고리즘에 통합함으로써 알고리즘의 의사결정이 물리적 현상을 위배하지 않도록 규제하는 기법을 의미한다. 대표적인 기술로서 물리 기반 인공신경망 (Physics-informed neural networks) 이 있다.

본 기고문은 두 가지 패러다임의 원리와 응용 사례에 대해 소개하고자 한다.

2.  물리학을 위한 인공지능 (AI for Physics)

역사적으로 수 많은 자연현상은 간결한 수학식으로 표현되어져 왔다. 대표적인 과학적 발견의 예로서, 16세기 티코 브라헤 (Ticho Brahe) 는 수 십년간 행성의 위치를 광범위하고 정확하게 기록하였고, 요하네스 케플러 (Johannes Kepler) 는 해당 기록을 분석하여 행성의 운동에 관한 3가지 물리법칙을 발견하였다. 이후 아이작 뉴턴 (Isaac Newton) 은 자신이 발견한 운동 법칙과 케플러 법칙 등을 기반으로 만유인력의 법칙을 유도해냈다. 이러한 과학적 발견의 과정은 기계학습 관점에서 데이터 수집 (Brahe) 과 데이터 분석 (Kepler와 Newton) 으로 바라볼 수 있다.

                      (a) 해석가능성                                                                                                              (b) 일반화 성능 

그림 1. 심볼릭 리그레션의 두 가지 특징

최근 인공지능에 의해 과학적 발견을 대체하려는 시도들이 이어지고 있다. 조금 더 구체적으로는, 주어진 데이터를 가장 잘 설명하는 수학적 표현식을 찾는 문제를 심볼릭 리그레션이라고 한다. 심볼릭 리그레션은 기본적인 수학 연산자들 조합하여  형태의 수학적 표현식을 수학 연산자의 이산 공간 (Discrete space) 에서 최적화하는 것을 의미한다. 여기서, 수학 연산자는 덧셈, 뺄셈, 곱셈, 나눗셈과 같은 이항연산자 (Binary operator) 와 로그함수, 지수함수, 삼각함수와 같은 단항연산자 (Unary operator) 를 포함한다. 최적화된 수학적 표현식은 해석가능성과 일반화 성능이라는 두 가지 장점을 갖는다.

(1) 해석가능성: 수학적 표현식은 독립변수와 종속변수 간의 관계를 수학적으로 해석 가능하게 하며 의사결정에 있어 신뢰성을 부여한다 (그림 1a). 이는 기존의 순수한 데이터 기반 접근법이 갖는 해석 불가능성과는 대조적이다.

(2) 일반화 성능: 수학적 표현식은 관측된 데이터 범위 이내 뿐만 아니라 바깥에 대한 예측을 가능하게 한다 (그림 1b). 이는 기존의 순수한 데이터 기반 접근법이 외삽 상황에서 예측 성능이 현저하게 낮아지는 것과는 대조적이다.

(a) 분할 정복법⁽¹⁾

(b) 희소 회귀분석⁽²⁾

그림 2. 기계학습 기반 심볼릭 리그레션 접근법

수학적 표현식의 탐색 공간은 식의 길이에 따라 지수적으로 증가하기 때문에 심볼릭 리그레션은 NP-hard 문제로 알려져 있다. 이를 해결하기 위한 기계학습 접근법은 분할 정복법 (Divide-and-conquer) 과 희소 회귀분석 (Sparse regression) 이 있다.

(1) 분할 정복법이란 주어진 문제를 더 작은 하위 문제로 나누어 (Divide) 각각의 작은 문제들을 해결 (Conquer) 하고 합쳐 원래의 문제를 해결하는 방법이다. AI Feynman⁽¹⁾ 연구는 뉴럴 네트워크에 의해 수치적으로 검사된 6가지 대칭성 및 분리성을 기반으로 심볼릭 리그레션 문제에 대해 분할 정복을 시행하였다 (그림 2a). 이를 통해 파인만의 물리학 강의에서 소개된 100 개의 물리식이 데이터로부터 재발견될 수 있음을 보였다 (표 1).

(2) 희소 회귀분석이란 선형 회귀분석에 회귀 계수에 대한 제약조건을 추가함으로써 회귀 모형의 과최적화를 막는 방법이다. PDE-FIND⁽²⁾ 연구는 관심있는 물리 시스템에 대해 수집된 데이터로부터 선형시스템  을 구성하고 희소 회귀분석하여 그 해를 구함으로써 심볼릭 리그레션을 수행한다 (그림 2b). 여기서, 행렬  은 독립변수에 대응되는 데이터 벡터와 몇 가지 잠재적인 후보 함수들로 정의되고 벡터  는 종속변수에 대응되는 데이터 벡터로 정의된다. 이를 통해 나비에 스토크스 방정식을 포함한 7개 미분방정식을 재발견할 수 있음을 보였다 (표 2).

표 1. 100개 물리식에 대한 심볼릭 리그레션 결과

표 2. 7개 미분방정식에 대한 심볼릭 리그레션 결과

3.  인공지능을 위한 물리학 (Physics for AI)

물리 기반 인공신경망은 수 십, 수 백년동안 정립되어 온 물리 지식을 기계학습 방법과 결합시키는 접근법이다⁽³⁾. 전통적인 데이터 기반 접근법은 물리 지식을 완전히 배재하여 자연과학 및 공학적 응용에서 물리적 정합성 (Physical consistency) 을 보장하지 못했던 반면, 물리 기반 인공신경망은 물리 지식을 직접적으로 내재화하여 이러한 한계를 극복한다. 이는 특히 데이터가 부족한 환경에서 기계학습 모델의 예측 성능을 향상시킬뿐만 아니라 신뢰성을 부여한다는 장점을 가지고 있다. 이러한 특징들로 인해 물리 기반 인공신경망은 다양한 과학/공학 분야에 성공적으로 활용된 바 있다^(4-7).

그림 3. 물리기반 인공지능 방법 분류⁽⁸⁾

기계학습 알고리즘에 물리적 지식을 내재화하는 방법은 크게 3 가지 수준 (데이터, 심층신경망의 구조, 심층신경망의 손실함수) 에서 존재한다.

(1) 데이터 수준: 물리 시스템에 대한 사전 지식은 데이터 전처리 (Data preprocessing) 를 위해 활용될 수 있다 (그림 3a). 예를 들어, 도메인 지식을 활용하여 작업 (Task) 에 적합한 특성인자를 추출하고 해당 가공된 데이터를 활용하여 기계학습 알고리즘을 학습시킬 수 있다.

(2) 심층신경망 구조 수준: 심층신경망의 구조는 물리적 지식으로부터 영감 받아 설계될 수 있다 (그림 3b). 예를 들어, 심층신경망에 의해 자동으로 추출되는 특성인자는 공간과 시간 영역에 대한 물리적 관계 (Spatio-temporal relation) 를 충족해야 하며, 이를 위해 합성곱-순환 연산 (Convolutional recurrent operation) 을 설계할 수 있다.

(3) 심층신경망 손실함수 수준: 물리 시스템의 지배방정식은 심층신경망 손실 함수의 규제항 (Regularization term) 에 고려되어 물리적 정합성을 유도할 수 있다 (그림 3c). 예를 들어, 대상 물리 시스템을 지배하는 편미분 방정식을 규제항에 고려함으로써 모델의 파라미터 또는 설명력이 물리적 현상을 위배하지 않도록 제약시킬 수 있다.

그림 4. PHM 분야에서의 물리기반 인공지능 도입 사례

물리 기반 인공지능 기술의 잠재성을 바탕으로, PHM 분야에서도 다양한 문제를 해결하기 위해 해당 기술을 도입해오고 있다. Renato G. Nascimento 연구팀은 리튬이온 배터리의 성능 예측을 위해 배터리 방전을 나타내는 Nernst 및 Butler-Volmer 방정식을 딥러닝 프레임워크에 결합, 적은 수의 데이터만을 가지고도 예측 모델이 잘 작동할 수 있음을 보였다⁽⁹⁾ (그림 4a). 아울러, Felipe A. C. Viana 연구팀은 부식 피로 축적 (Corrosion-fatigue damage accumulation) 을 모델링하기 위해 데이터 기반 방법과 물리기반 방법의 하이브리드 방법을 선보였다⁽¹⁰⁾. 그림 4b에서 나타낸 바와 같이, 연구팀은 사이클마다 증가하는 재료의 손상 정도를 far-field stress, stress ratio 및 corrosivity index의 데이터 기반으로 학습하는 와중에, Walker model 의 물리 지식을 결합한 형태의 순환 신경망 셀 (Recurrent neural network cell) 을 제안하여 실제 실험과 높은 부합도를 갖는 부식 피로 균열 성장 모델을 개발하였다. 마지막으로, Felipe. A. C. Viana 연구팀은 물리기반 인공지능 기법을 활용해 풍력 터빈의 베어링 피로 수명 모델링 연구를 수행한 바있다⁽¹¹⁾ (그림 4c). 베어링과 윤활유 축적 손상을 순환 신경망 유닛 (Recurrent neural network unit) 에 적절히 결합시킴으로써, 베어링 온도 및 풍력 속도로 이루어진 시계열 입력 데이터으로부터 다음 스텝의 손상 축적분을 예측하도록 하였다. 이와 같이, PHM 도메인에서 물리 기반 인공지능은 보다 강건하고 신뢰성있는 모델의 구축을 가능하게 하는 핵심적인 기술로 자리잡아 가고 있다.

4.  결론

본 기고문에서는 인공지능과 물리학의 만남에 대하여 소개하였다. 인공지능의 공학적 응용에 있어서 발생되는 근본적인 한계인 해석가능성과 일반화 성능에 관한 문제의식과 함께, 기계학습 알고리즘과 물리적 지식의 결합의 중요성은 점점 더 커지고 있다. 글 전반에 걸쳐 이와 관련된 두 가지 패러다임인 Physics for AI 와 AI for Physics 을 소개하였다. 이는 기존에 알려져있는 물리적 지식을 적극적으로 활용하는 것에 더해 기존에 알려지지 않은 물리적 지식을 발견하기 위해 인공지능이 사용될 수 있음을 시사한다. 우리는 인공지능과 물리학의 만남이 앞으로 인공지능의 산업 적용성을 크게 향상시켜 더 널리 활용될 수 있을 것을 기대한다.

참고문헌

(1) S.-M. Udrescu, M. Tegmark, AI feynman:  A physics-inspired method for symbolic regression, Science Advances, 6 (2020).

(2) S. H. Rudy, S. L. Brunton, J. L. Proctor, J. N. Kutz, Data-driven discovery of partial differential equations, Science Advances, 3 (2017).

(3) G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, L. Yang, Physics-informed machine learning, Nature Reviews Physics, 3, 422-440 (2021).

(4) M. Raissi, P. Perdikaris, G. E. Karniadakis, Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Journal of Computational Physics, 378, 686-707 (2019).

(5) S. Rasp, M. S. Pritchard, P. Gentine, Deep learning to represent subgrid processes in climate models, Proceedings of the National Academy of Sciences of the United States of America, 115, 9684-9689 (2018).

(6) F. S. Costabal, Y. Yang, P. Perdikaris, D. E. Hurtado, E. Kuhl, Physics-informed neural networks for cardiac activation mapping, Frontiers in Physics, 8 (2020).

(7) L. Sun, H. Gao, S. Pan, J. X. Wang, Surrogate modeling for fluid flows based on physics-constrained deep learning without simulation data, Computer Methods in Applied Mechanics and Engineering, 361 (2020).

(8) R. Rai, C. K. Sahu, Driven by data or derived through physics? A review of hybrid physics guided machine learning techniques with cyber-physical system (CPS) focus, IEEE Access, 8, 71050-71073 (2020).

(9) R. G. Nascimento, M. Corbetta, C. S. Kulkarni, F. A. C. Viana, Hybrid physics-informed neural networks for lithium-ion battery modeling and prognosis, Journal of Power Sources, 513 (2021).

(10) A. Dourado, F. A. C. Viana, Physics-informed neural networks for missing physics estimation in cumulative damage models: A case study in corrosion fatigue, Journal of Computing and Information Science in Engineering, 20 (2020).

(11) Y. A. Yucesan, F. A. C. Viana, A physics-informed neural network for wind turbine main bearing fatigue, International Journal of Prognostics and Health Management, 3 (2020).