롱테일 문제
사고로 이어지는 드문 상황은 실제 도로에서 충분히 모으기 어렵습니다.
미래첨단기술의이해 I · 자율주행 기술 발표
월드모델,
미래를 상상하는
자율주행
World Model — 보고, 예측하고, 머릿속에서 먼저 운전해 보는 AI
국립공주대학교 정재원 · 이주한 · 박상근 · 김재희
→ / PageDown 다음 · N 대본 · T 타이머 · F 전체화면
01 / 왜 필요한가
운전은 결국
‘몇 초 뒤’를 맞히는 일입니다.
보기옆 차로 차가 깜빡이를 켰다
→
상상“곧 내 앞으로 끼어들겠구나”
→
행동미리 속도를 줄인다
사람은 이걸 자연스럽게 합니다. 그런데 자율주행차에게는 세 가지 벽이 있습니다.
규칙의 한계
세상의 모든 상황을 사람이 if–else 규칙으로 미리 써 둘 수 없습니다.
실험의 위험·비용
위험한 상황을 실제 도로에서 반복 실험할 수는 없습니다.
→ 세상이 어떻게 움직이는지 스스로 배운 ‘내부 시뮬레이터’가 필요합니다.
02 / 정의
월드모델 =
세상의 작동 방식을 배운 AI 속 시뮬레이터
ŝt+1 ~ pθ( st+1 | st , at )
“지금 상태 st에서 내가 행동 at를 하면, 다음 상태는 어떻게 될까?”
상태 State
지금 세상은 어떤가 — 주변 차의 위치·속도, 차로, 신호, 보행자.
행동 Action
내가 무엇을 하면 — 가속, 제동, 조향.
예측 Prediction
세상은 어떻게 바뀌나 — 하나가 아닌 여러 가능한 미래의 확률.
1943 크레이크(K. Craik) — 인간은 머릿속 ‘작은 세계 모형’으로 미리 생각한다
2018 Ha & Schmidhuber, 「World Models」 — AI가 자신의 ‘꿈’ 속에서 학습
2022 얀 르쿤 — 월드모델을 자율 지능의 핵심 모듈로 제안
03 / 구조
보고 → 압축하고 → 상상하고 → 고른다
인코더
수백만 픽셀의 센서 데이터를 작은 잠재 상태 z로 압축합니다.
동역학 모델
z와 행동으로 다음 z를 예측하고, 반복해서 몇 초 뒤까지 롤아웃합니다.
디코더
상상한 미래를 영상·점유 지도로 복원해 사람이 확인할 수 있게 합니다.
플래너
여러 후보 행동의 미래에 점수를 매겨 가장 안전하고 효율적인 행동을 고릅니다.
04 / 학습 방법과 핵심 성질
정답은 ‘다음 장면’ 그 자체
1주행 기록에서 지금 장면과 행동을 입력
2모델이 다음 장면을 예측
3실제 다음 장면과 비교해 오차 계산
4오차가 줄도록 모델을 수정 · 반복
자기지도학습 — 사람이 라벨을 달 필요가 없어, 수많은 시간의 주행 영상을 그대로 학습 데이터로 쓸 수 있습니다.
행동 조건부 Action-conditioned
“브레이크를 밟으면 / 안 밟으면”에 따라 다른 미래를 만들어야 계획에 쓸 수 있습니다.
확률적 · 다중 미래 Multimodal
옆 차는 끼어들 수도, 안 할 수도 있습니다. 미래를 하나로 찍으면 위험합니다.
잠재 공간 Latent space
픽셀 대신 압축된 표현에서 상상해야 실시간으로 빠르게 계산할 수 있습니다.
물리 · 시간 일관성 Consistency
차가 갑자기 사라지거나 순간이동하면 안 됩니다. 물리 법칙을 지켜야 합니다.
05 / 자율주행 활용과 대표 사례
데이터를 만들고, 시험하고, 계획한다
희귀 상황 생성
폭설, 역주행, 무단횡단처럼 모으기 힘든 장면을 합성해 학습 데이터로.
폐루프 시험
내 행동에 반응하는 가상 도로에서 수백만 km를 안전하게 검증.
상상 속 계획
여러 행동을 머릿속에서 먼저 시험 — 모델 예측 제어(MPC).
사전학습
미래를 예측하며 배운 표현이 인지·판단 성능을 끌어올림.
- 2018World ModelsHa & Schmidhuber · VAE + RNN, ‘꿈’ 속 학습
- 2020–23Dreamer 시리즈Hafner 외 · 잠재 공간 상상으로 행동 학습
- 2022MILEWayve · 도시 주행용 모델 기반 모방학습
- 2023GAIA-1 · OccWorld영상·행동으로 주행 장면 생성 / 3D 점유 공간 예측
- 2025NVIDIA Cosmos · GAIA-2물리 AI를 위한 월드 파운데이션 모델
06 / 직접 해 보기 — 예측 모델 시뮬레이션
상상한 미래로 운전하는 차
주황색 차가 자율주행차입니다. 노란 선은 월드모델이 주변 차들에 대해 상상한 여러 미래, 초록 선은 그중 가장 안전하다고 고른 내 경로입니다.
자율주행차
주변 차량
상상한 미래 (진한 선 = 가장 그럴듯한 미래)
선택한 경로
검토한 후보 행동
설정 슬라이더를 움직이면 바로 반영
코드로 설정 Ctrl + Enter로 실행
결과
비교 실험 같은 설정 · 같은 시드
이 시뮬레이션은 어떻게 동작하나요?
- 관측 — 0.2초마다 주변 차량의 위치·속도·가속도를 센서 노이즈가 섞인 채로 읽습니다.
- 상상 — 월드모델이 차량마다 ‘상상하는 미래 수’만큼 미래 궤적을 샘플링합니다. 정확도가 높을수록 깜빡이(의도)와 운전 성향을 잘 읽고, 낮을수록 예측이 흐려집니다.
- 시험 — 가속·제동 7가지 × 차로 유지/변경 = 최대 21개 후보 행동을 모든 상상 속 미래에 넣어 봅니다.
- 채점 — 비용 = 충돌 위험 + 안전거리 부족 + 목표 속도와의 차이 + 승차감. ‘위험 회피 성향’은 평균적인 미래와 최악의 미래 중 어느 쪽을 더 중시할지 정합니다.
- 선택 — 비용이 가장 낮은 행동을 실행하고, 0.2초 뒤 다시 상상합니다 (모델 예측 제어, MPC).
등속 예측은 “모두 지금 속도로 직진한다”는 한 가지 미래만 상상합니다. 예측 없음은 이미 내 차로에 들어온 앞차에만 0.7초 늦게 반응합니다. ‘예측 오차(최선 샘플)’는 상상한 여러 미래 중 실제와 가장 가까웠던 것의 오차(minFDE)입니다. 브라우저 콘솔에서 WM.run({ horizon: 5 })처럼 코드로도 실행할 수 있습니다.
07 / 한계와 과제
상상은 강력하지만,
틀릴 수도 있습니다.
환각 Hallucination
그럴듯하지만 물리적으로 불가능한 장면 — 차가 사라지거나 합쳐짐.
누적 오차
한 걸음씩 예측을 이어 붙이면 작은 오차가 커져 먼 미래일수록 부정확.
평가의 어려움
‘보기 좋은 영상’이 ‘안전한 판단’을 보장하지 않음. 무엇으로 채점할지가 과제.
계산 비용
차 안에서 실시간으로 여러 미래를 상상하려면 막대한 연산이 필요.
처음 보는 상황
학습 데이터에 없던 상황(분포 밖)에서는 상상 자체가 빗나갈 수 있음.
안전 보증
신경망의 판단을 어떻게 검증하고 설명할지 — 규제·책임의 문제.
08 / 정리
미래를 상상할 줄 아는 기계
- 01
월드모델은 “내가 이렇게 하면 세상이 어떻게 될까”를 예측하는 AI 속 시뮬레이터입니다.
- 02
인코더 → 동역학 → 디코더 → 플래너 구조로, 여러 미래를 상상하고 가장 좋은 행동을 고릅니다.
- 03
데이터 생성·시험·계획에 쓰이며, 환각과 누적 오차가 풀어야 할 과제입니다.
자동차뿐 아니라 자율운항 선박과 로봇까지 — 움직이는 기계는 앞으로 ‘먼저 상상하고 움직이게’ 될 것입니다.
감사합니다.
질문 받겠습니다 · 국립공주대학교 정재원 · 이주한 · 박상근 · 김재희
Q&A · 예상 질문 질문을 누르면 답변이 펼쳐집니다
Q1월드모델이 기존 자율주행 AI와 가장 다른 점은 뭔가요?
기존 자율주행 AI가 현재 상황을 인식하고 바로 행동을 결정하는 데 집중한다면, 월드모델은 내가 어떤 행동을 했을 때 앞으로 상황이 어떻게 변할지를 먼저 예측한다는 점이 가장 큰 차이입니다. 쉽게 말하면 실제로 움직이기 전에 머릿속으로 몇 가지 미래를 시뮬레이션해 보고, 그중에서 가장 안전한 행동을 선택하는 방식입니다.
Q2월드모델이 발전하면 완전 자율주행이 가능할까요?
월드모델은 완전 자율주행으로 가는 핵심 열쇠 중 하나지만, 그것만으로 완성되지는 않습니다. 드물고 위험한 상황을 가상으로 만들어 학습하고, 미리 예측해 대비할 수 있다는 점에서 가장 어려운 문제인 ‘롱테일’을 푸는 데 큰 도움이 됩니다. 하지만 센서의 정확한 인지, 차 안에서의 실시간 계산, 그리고 AI의 판단이 안전하다는 것을 증명하는 검증과 법·제도, 사고 책임 문제까지 함께 해결되어야 합니다. 그래서 월드모델은 완전 자율주행을 앞당기는 기술이라고 보는 것이 정확합니다.
Q3월드모델이 예측한 미래가 틀리면 사고가 날 수도 있지 않나요?
네, 예측은 틀릴 수 있습니다. 그래서 월드모델은 미래를 하나만 믿지 않도록 설계합니다. 첫째, 여러 가지 미래를 동시에 상상하고 그중 최악의 경우에도 안전한 행동을 고릅니다. 둘째, 한 번 예측하고 끝나는 것이 아니라 짧은 간격으로 계속 다시 예측해서 틀린 부분을 바로 고칩니다. 셋째, 실제 차량에는 긴급 제동 같은 별도의 안전장치를 함께 둡니다. 저희 시뮬레이션에서도 모델 정확도를 낮추면 위기 상황이 늘어나는 것을 볼 수 있는데, 이것이 바로 예측 정확도와 안전장치가 모두 중요한 이유입니다.
Q4마지막에 자율운항 선박도 언급했는데, 배에도 똑같이 쓸 수 있나요?
기본 원리는 같습니다. 주변을 관측하고, 미래를 예측하고, 가장 안전한 행동을 고르는 구조는 배에도 그대로 적용됩니다. 다만 배는 관성이 커서 멈추거나 방향을 바꾸는 데 수십 초에서 몇 분이 걸리기 때문에, 자동차보다 훨씬 먼 미래까지 예측해야 합니다. 또 바람·조류·파도의 영향을 크게 받고, 차선 대신 국제 해상충돌예방규칙(COLREGs)을 따라야 하며, 카메라보다 레이더와 AIS(선박 자동식별장치) 정보를 주로 씁니다. 그래서 같은 월드모델 아이디어를 바다 환경에 맞게 다시 학습시켜 사용하는 방향으로 연구되고 있습니다.
TEAM HOMEPAGES · 팀원 홈페이지
참고 자료
- K. Craik, The Nature of Explanation, 1943.
- D. Ha & J. Schmidhuber, “World Models,” 2018.
- D. Hafner 외, “Dream to Control” (2020), “Mastering Diverse Domains through World Models” (DreamerV3, 2023).
- Y. LeCun, “A Path Towards Autonomous Machine Intelligence,” 2022.
- A. Hu 외, “Model-Based Imitation Learning for Urban Driving” (MILE), 2022.
- A. Hu 외, “GAIA-1: A Generative World Model for Autonomous Driving,” Wayve, 2023.
- W. Zheng 외, “OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving,” 2023.
- NVIDIA, “Cosmos World Foundation Model Platform for Physical AI,” 2025.