1. Modeling Driver Behavior in a Cognitive Architecture
Dept. of Industrial Systems & Information Engineering
Korea University
Yeonjoo Cha
이 논문은 CA에서 운전자의 행동에 대한 computational model에 관한 것임.
Copyright 2008 by User Interface Lab

2. INTRODUCTION Driving and Integrated Driver Modeling1
To better understand the power and limitations of existing models, it is useful to view driving and driver modeling in the context of the embodied cognition, task, and artifact (ETA) framework .
This framework emphasizes three components of an integrated modeling effort:
the task that a person attempts to perform
the artifact which the person performs the task
the embodied cognition by which the person perceives, thinks, and acts in the world through the artifact.
운전은 일반적이지만 매우 복잡한 task이고 사람들이 어떻게
이러한 복잡한 task를 수행하는지 연구하기 위해 연구자들은
운전자의 행동을 시뮬레이트할 수 있는 다양한 모델을 개발해왔다.
이러한 모델은 운전자 행동에 대한 이론적 연구, 실제 지능운전시스템의
실용적 개발을 위한 강력한 도구가 될 수 있다.
많은 연구들에도 불구하고 real-world에서 운전자의 행동을 시뮬레이트할수있는
진정한 integrated driver model이 아직 개발되기 위해 아직 할 일이 많다.
현존하는 모델의 파워와 제한점을 잘 이해하기 위해서는 운전과 운전 모델링을
Embodied cognition, task, artifact의 프레임웍으로 보아야 한다.
Embodied cognition은 cognitive, perceptual, 그리고 차량을 조작하고
Desired task를 수행하는 motor process의 통합된 process이다.

3. INTRODUCTION Driving and Integrated Driver Modeling2
Michon (1985) identified three classes of task processes for driving:
operational processes that involve manipulating control inputs for stable driving
tactical processes that govern safe interactions with the environment and other vehicles
strategic processes for higher level reasoning and planning.
Driving typically involves all three types of processes working together to achieve safe, stable navigation
The goal of integrated driver modeling is to rigorously address all three of these components
Many successes of these models have demonstrated the importance of rigorous modeling efforts for both theoretical understanding of driver behavior and practical application of these theories in real-world system development.
Integrated driver model은 이 세가지 요소를 완벽하게 나타내는 것이다.
이러한 것을 잘 나타낸 성공적인 모델들은 운전자 행동에 대한 이론적인
이해와 실제 세상의 시스템 개발에 적용될 수 있는 실용성을 둘다 보였다.

4. INTRODUCTION Integrated Driver Modeling in the ACT-R Cognitive Architecture3
The chosen CA for this driver model is the ACT-R
Integrated driver models developed in a cognitive architecture such as ACT-R are especially well suited to addressing all three components of the ETA triad.
Architectural models typically interact with a simulated environment identical to the environment used by human participants, and thus the models must abide by the same input/output limitations and environment dynamics as human participants.
CA는 인간의 cognitive performance의 computational behavioral model을
나타내기 위한 일반적인 프레임웍이다.
여기서는 이러한 프레임웍으로 ACT-R을 사용하였다.
ACT-R과 같은 CA에서의 통합된 운전자 모델 개발은 특히
앞에서 말한 세가지 component를 나타내기에도 적격이다.
Architectural model은 시뮬레이트되는 환경과 interact하는데 이 환경은
인간 피험자가 참가하는 환경과 동일하게 만들어진다.
Input/output limitation이 인간 실험 환경의 것과 같도록..
버전 5.0

5. THE ACT-R INTEGRATED DRIVER MODEL4
The driver model includes three main components
The control component: manages all aspects of perception of the external world and mapping of specific perceptual variables to manipulation of vehicle controls (i.e., steering, acceleration, braking).
The monitoring component: maintains awareness of the current situation by periodically perceiving and encoding the surrounding environment.
The decision making component: handles tactical decisions for individual maneuvers (e.g., lane changes) based on knowledge of the current environment.
여기서 운전 모델은 고속도로 환경을 기반으로 한다.
고속도로 주행이 미국 주행 마일의 72%를 차지.
운전자 모델은 세 가지 메인 component를 포함한다.
Control component
외부에서의 perception의 모든 측면을 관리하고 특정 perceptual
Variable을 vehicle control에 mapping한다.
Monitoring component
주위 환경을 주기적으로 지각하고 인코딩함으로써 SA를 유지.
Decision making
- 현재 환경의 지식에 기반하여 전략적인 결정을 다룬다.
이 세 가지 component는 ACT-R에서 시행되고 있다.

6. THE ACT-R INTEGRATED DRIVER MODEL The ACT-R Cognitive Architecture5
ACT-R posits two separate but interacting knowledge stores.
Declarative knowledge:
made up of chunks
Declarative chunks can encode simple facts, current goals, and even ephemeral situational information.
Procedural knowledge:
made up of production rules
Representing procedural skills that manipulate declarative knowledge as well as the environment.
Each production rule is essentially a condition-action rule that generates the specified actions if the specified conditions are satisfied.
When all conditions match and the rule “fires,” rule actions can add to or alter declarative memory, set a new current goal, and/or issue perceptual or motor commands
ACT-R은 서로 상호작용하는 두 개의 knowledge를 지닌다.
DM은 chunk로 이루어지고 simple facts, current goal, 상황에 대한 정보를
인코드할 수 있다.
Procedural knowledge는 production rule로 이루어지고 환경 뿐 아니라
DM의 정보를 다루는 procedural skill을 나타낸다.
각각의 production rule은 condition-action rule로 어떠한 조건이 만족되면
명시된 Action을 실행한다.
모든 조건이 match되고 rule이 fire되면 rule action은 DM에 저장될 수 있고
새로운 현재 목표를 새우며 perceptual이나 motor command를 내린다.
CA의 critical한 장점은 인간과 같은 능력의 built-in feature의 통합이다.
ACT-R에서 몇몇 process는 동시에 수행될 수 있다.
예를 들어, perceptual module은 motor module이 physical movement를
하는 동안에 새 아이템을 볼 수 있다.

7. THE ACT-R INTEGRATED DRIVER MODEL The ACT-R Cognitive Architecture6
Also, ACT-R has the ability to perform some processes in parallel such that, for example, the perceptual module can look at a new item while the motor module performs a physical movement.
One of the most important constraints for the driver model is that although perceptual and motor processes can run in parallel with cognition, the cognitive processor itself is serial and, in essence, can “think” only one thing at a time.
CA의 critical한 장점은 인간과 같은 능력의 built-in feature의 통합이다.
ACT-R에서 몇몇 process는 동시에 수행될 수 있다.
예를 들어, perceptual module은 motor module이 physical movement를
하는 동안에 새 아이템을 볼 수 있다.
그러나 이 둘이 동시에 수행될 수 있더라도 cognitive processor 자체가 serial하기
때문에 한마디로 한번에 한 가지만 생각할 수 있다.
이것은 driver distraction을 예측하는데 매우 중요한데

8. THE ACT-R INTEGRATED DRIVER MODEL Model Specification7
The three components are integrated to run in ACT-R’s serial cognitive processor
This section describes each component, the integration of the components into a working implementation, and finally estimation of model parameters and integration with the simulated driving environment.
Control.
Manages all perception of lower level visual cues and manipulation of vehicle controls for lateral control (i.e., steering) and longitudinal control (i.e., acceleration and braking).
Lateral control
near point & far point
아까 말씀드렸듯, ACT-R 운전자 모델은 세 가지 component를
가지고 있다. Control, monitoring, decision making.
이 세 개의 component는 ACT-R의 serial cognitive processor로
통합된다.
이 section에서는 각 component에 대해 설명하고 이 component 들의
통합, 최종적으로 시뮬레이션되는 운전 환경에서의 모델 파라미터의 측정과
통합에 대해 설명할 것임.
Lower level에서의 visual cue의 모든 perception과 steering과 같은
Lateral control, 가속페달과 브레이크와 같은 longitudinal control을 조절한다.
Lateral control은 다음과 같은 두 개의 salient visual point의
지각에 기반하여 두 개의 레벨로 이루어진다.
첫 번째는 차량의 현재 레인 위치를 나타내는 near point, 즉, 차량이
얼마나 중앙선에 근접해 있는지 판단하는데 이용된다.
두 번째는 far point로 앞으로 나오는 길이 얼마나 굽어졌는지 나타낸다.
운전자가 앞으로 길의 굽어짐을 어떻게 예측하여 현재 레인에서 어떠한 식으로
행동할지의 판단에 이용된다. Far point는 세 개의 타겟 중 하나로 특정지어진다.
Near point와 far point는 현재 위치와 미래의 위치를 예측하는데 상호보완적인
정보로 이용된다.

9. THE ACT-R INTEGRATED DRIVER MODEL Model Specification8
1. moves its visual attention to the near point, then to the far point, noting the visual angles θnear and θfar of the two points, respectively.
2. calculates differences from the last cycle, namely Δθnear, Δθfar, and Δt.
3. uses these quantities to adjust the vehicle’s steering angle by some incremental value.
A simple steering control law that relies on perceived visual direction to the near and far points, as described by Salvucci and Gray(2004)
The control law essentially attempts to impose three constraints: a steady far point (Δθfar = 0), a steady near point (Δθnear = 0), and a near point at the center of the lane (θnear= 0)
1. 모델은 처음에는 near point로 visual attention을 이동한고, 그 후
Far point로 이동한다. 이것은 visual angle로 나타내어진다.
2. 모델은 이전 사이클에서의 angle과 현재의 angle의 차이를 계산한다.
3. 그리고 모델은 이 값들을 차량의 steering angle을 맞추기 위해 사용한다.
식 1은 지각된 visual direction에 의한 간단한 steering law이다.
삼지창: steering angle.
세 가지 다른 상수를 곱해준다.
지금 계수는 일반적인 고속도로 속도에 맞게 설정됨.
좀 더 발전된 모델에서
이 계수 대신 속도 함수(차량 반응의 변화에 따라 소요되는)를 적용.

10. THE ACT-R INTEGRATED DRIVER MODEL Model Specification9
Longitudinal control (i.e., speed control)
The model encodes the position of the lead car and derives the time headway thwcar to this vehicle.
The acceleration equation attempts to impose two constraints: a steady time headway (Δthwcar = 0) and a time headway approximately equal to a desired time headway for following a lead vehicle (thwcar = thwfollow).
A positive value translates to depression of the accelerator (throttle), and a negative value translates to depression of the brake pedal.
When the driver enacts a lane change, he or she simply begins to use the near and far points of the destination lane rather than the current lane
Longitudinal control에 관한 공식도 비슷한 방식으로 만들어진다.
모델은 앞의 lead car의 위치를 인코드하고 이 차량까지 가는데의
시간을 도출한다.
가속 공식은 두 가지 constraint를 가지는데 이 thwcar를 일정하게
유지하려고 하고, thwcar와 thwfollow를 똑같이 유지하려고 한다.
양수 값은 페달을 밟는 것을 의미하고, 음수 값은 브레이크 페달을 밟는 것을
의미한다.
고속도로 환경에서 주된 lower level control은 lane keeping과
Curve negotiation에서 일어나지만, 다른 일반적 subtask로 lane changing이 있다.
Lane changing에서 운전자는 현재 레인보다 바꾸려고 하는 레인의 near, far point를
사용하려 한다. 공식은 lateral control의 공식과 유사하나 near angle의 최대값을
제한하여 안정적으로 레인 변경이 가능하도록 한다.
ACT-R은 serial cognitive processor이기 때문에
연속적인 함수를 수행하는 대신 control loop를 통해
control input을 비연속적으로 넣어줌
이러한 control loop의 최소 실행 시간은 150ms 이다.
Near point, far point를 인코드하고, motor command를 issue함.

11. THE ACT-R INTEGRATED DRIVER MODEL Model Specification10
Monitoring.
The monitoring component of the driver model handles the continual maintenance of situation awareness.
Monitoring is currently based on a random-sampling model that checks, with some probability pmonitor, one of four areas
Decision making.
decision-making component of the driver model uses the information gathered during control and monitoring to determine whether any tactical decisions must be made
whether and when to execute a lane change.
The decision of whether to change lanes depends on the driver’s current lane, given that drivers (in the United States) attempt to stay in the right lane during normal driving and use the left lane for passing only (ideally).
고속도로에서의 SA에서 운전자의 차량 주위의 다른 차량의 위치를 인식하는 것이 중요한데
모델에서 모니터링을 통해 연속적인 SA의 유지가 가능하게 한다.
모니터링은 random-sampling을 통해 주위의 차량을 체크한다.
만약 모델이 특정 레인과 방향을 모니터하고 싶으면 그 쪽으로 visual attention을 옮긴 후
차량이 있는지 확인한다.
만약 있다면 차량의 현재 레인과 방향, 거리를 DM에 저장한다.
Decision making은 control과 monitoring에서 모아진 정보를 이용해
전략적인 결정을 내린다.
레인을 바꿀 건지 말 건지 결정하는 것은 현재 운전자의 레인에 달려있는데 미국에서는
일반적인 운전에서는 오른쪽 차선을 사용하고 그냥 지나가는 거는 왼쪽 레인을 사용한다.
그래서 오른쪽 레인에 있을 때만 lane을 change하겠다고 decision을 내린다.
레인을 바꾸기로 Decision을 내린 후에는, 언제 바꿀지 결정해야 하는데
우선 모델은 운전자 차량 근처에 다른 차량이 있는지 확인하고
Safe distance 안에 있으면 lane change를 하지 않고 그보다 멀리
있으면 목표 레인의 앞 뒤를 체크하고 레인을 바꾼다. 차라 레인 중앙에
도달할 때까지 계속한다.
이러한 DM의 사용을 통해 운전자의 에러를 예측할 수 있다.
운전자는 현재 상황을 직접 모니터 할 수도 있고 DM에 저장된 정보를 이용할 수도 있다.
DM에 저장된 정보를 이용하면 현재 상황과 안 맞게 되어 위험한 lane change를 할 수 있다.
이렇게 모델은 knowledge in the world와 knowledge in the head를 선택해서 사용할 수 있다.
ACT-R은 serial cognitive processor이기 때문에
연속적인 함수를 수행하는 대신 single, tight control loop를 통해
control input을 비연속적으로 넣어줌
이러한 면 때문에 실제 인간같은 limetation을 통합하여 실제적인
Driver performance를 예측할 수 있다.

12. THE ACT-R INTEGRATED DRIVER MODEL Model Specification11
Production-system implementation
각 박스의 타이틀은 goal을 나타낸다.
그 밑은 그 goal을 위한 production rule이다.
컨트롤을 위해 near point와 far point를 attend 한 후
이전에 저장된 steering과 accelearation 정보를 이용해 far point를 process한다.
그리고 이전 정보를 이용하기 때문에 old 필요. 없으면 without-old 실행
모니터링에서는 네 영역 중 하나를 Pmonitor 확률을 가지고 모니터한다.
Decision making에서는 레인을 변경할지 말지 결정하고 변경한다면
Decide-lane-change로 이동하여 다른 레인을 확인한다.
Recall-monitor-lane을 통해 차가 있었는지에 관한 chunk를 인출하고
아님 그냥 다시 monitor-lane을 통해 레인에 차가 있는지 본다.
Recall-in-safe-zone과 monitored-in-safe-zone을 통해 만약 차가
Safe distance보다 짧은 공간 안에 있으면 decide no.를 하고 그렇지 않다면
레인을 변경한다. 레인을 변경한 후에는 end-lane-change를 통해 끝낸다.

13. THE ACT-R INTEGRATED DRIVER MODEL Model Specification12
Parameter estimation
Informal : the bulk of the parameters were simply set to reasonable values based on informal observation of the model driving as well as approximations derived from available empirical literature.
Estimated: These parameters were estimated by setting them to reasonable values, observing the resulting qualitative and quantitative fits given these values
파라미터 측정은 두 가지 방식으로 이루어졌는데
Informal 이라고 쓰여진 파라미터들은 available empirical literature로부터
도출하거나 관찰을 통해 reasonable한 값으로 설정하였다.
Estimated 라고 쓰여진 파라미터는 reasonable한 값으로 설정하고
결과적으로 질적, 양적으로 이러한 값이 잘 맞는지 확인하여 결정하였다.

14. MODEL VALIDATION Lane Keeping and Curve Negotiation13
Steering angle
R-square 0.98
Angle을 curve에 도달하기 전에 바꾸기 시작하여 커브가 끝나기 전에
핸들을 원래 위치에 갖다 놓는다.
왼쪽 커브면 왼쪽으로 오른쪽 커브면 오른쪽으로 핸들을 튼다.
모델도 이와 같은 형태를 보임. 하지만 처음에 약간 급하게 튼다.
Lateral position
좀더 도로 안쪽으로 차를 운전한다. 왼쪽 커브면 도로의 왼쪽에, 오른쪽은 오른쪽에..
모델에서 이와 같은 현상 일어남. 매우 놀라움. 모델이 tangent point를 안정적으로 유지하려 하기 때문에
잘 예측한다…

15. MODEL VALIDATION Lane Keeping and Curve Negotiation14
눈의 위치의 비중을 나타냄.
Vanishing point, tangent point, lead car가 현재 레인에서는 높았고
다른 레인에서도 이 세 가지가 높았다.
인간과 모델이 다른 레인에서 lead car를 같은 비중으로 보았고,
거울은 5% 정도밖에 보지 않았으며, near point 별로 보지 않았다.

16. MODEL VALIDATION Lane Changing15
Steering angle
R-square 0.79
레인을 변경하고자 하는 방향으로 꺾은 후에
다시 반대방향으로 꺾어서 중간에 맞춘다.
레인을 변경하기 전에 꺾기 시작.
모델이 덜 smooth하고 angle이 0도일 때 약간 평평함.
Lateral position
R-square 0.98

17. MODEL VALIDATION Lane Changing16
The shift happened not in the middle of the lane change, as the vehicle actually crossed lanes, but rather at the very start (or even before the start) of the lane change
Both the human drivers and model exhibited a larger proportion of gazes to the mirror before the lane change
눈의 gaze time이 처음 시작때에는 start lane이 end lane보다 더
많았으나 lane changing이 시작하기 전 혹은 시작하자마자
End lane에서 gaze time이 더 많아졌다.
인간과 모델 모두 lane 변경 이전에 mirror를 보는 비중이 많았고
갈 수록 줄어들었다.

18. GENERAL DISCUSSION Architecture and model have limited attention17
Architecture and model have limited attention
First, the architecture can attend to only a single visual object at one time, and thus to attend to many objects it must shift attention between them.
Second, ACT-R generates emergent predictions about when and where the eyes move when following visual attention
A third aspect of the model and architecture involves accounting for the many individual differences among drivers
The driving domain challenges ACT-R to expand beyond the boundaries of basic laboratory tasks to the full complexity of real-world complex tasks
The ACT-R architecture is thus helping to shape scientific understanding of driving and, in turn, helping to provide a sound theoretical basis for practical applications that address real-world issues such as predicting driver distraction and performance.
모든 visual attention의 이동은 눈의 이동을 야기하지만
만약 눈이 움직이기 전에 visual attention이 또 다시 바뀐다면
눈의 움직임이 일어나지 않을 수 있다. 또한 모델은
현재 foveal location 근처의 대상을 쉽게 인코드할 수 있기 때문에
더 멀리 있는 대상에 eye movement가 fixate 되기 쉽다.
개인차: 모델의 파라미터 값을 다르게 매겨서 개인 차이를 나타낼 수 있다.
예를 들어, 연령대에 의한 차이.
운전 도메인은 ACT-R을 기본적 laboratory tasks가 아닌 real world에서의
복잡한 과제로 확장하도록 해준다.
ACT-R architecture는 운전에 대한 과학적 이해를 돕고, real-world issue에의
실용적 application을 위한 이론적 베이스를 제공한다.

19. Thank You
Copyright 2008 by User Interface Lab