1. IFT 703 Informatique cognitive Les processus subsymboliques de ACT-R André Mayers Automne 2010 1

2. Plan Introduction Niveau d’activation des chunks Utilité d’une règle de production Commande Références Tutoriel ACT-R : 4, 5, 6 2

3. Introduction ACT-R symbolique ◦ fonctionne sans tenir compte des caractéristiques de la psychologie cognitive. ◦ est un système expert déterministe qui ne tient pas compte  des expériences passées  de l’oubli  pas de modélisation de l’erreur ACT-R subsymbolique ◦ prise en compte des caractéristiques de la psychologie cognitive ◦ ACT-R cesse d’être un système expert classique et déterministe 3

4. L’architecture d’ACT-R 4 Mémoire procédurale Mémoire déclarative Pattern matching Exécution des productions Tampon de la mémoire (retrieval) Sélection Module intentionel Tampon des buts Tampon visuel Module visuel Module moteur Tampon visuel Module visuel Module moteur Tampon visuel Module visuel Module moteur environnement

5. L’architecture cognitive d’ACT-R Le module déclaratif ◦ contient l’information décrivant les objets concrets ou abstraits Le module procédural ◦ contient les habilités nous permettant de manipuler l’information de la mémoire déclarative, mais aussi des modules moteurs et perceptifs Le module but ◦ encode et gère nos intentions Le module imaginaire ◦ Son tampon permet de retenir une unité d’information qui est souvent complémentaire à celui dans le tampon but Les modules moteurs ◦ agissent sur l’environnement Les modules perceptuels ◦ captent l’information de l’environnement 5

6. Le R de ACT-R : l’aspect rationnel Toutes les architectures cognitives prétendent être rationnelles,  mais le sens du mot rationnel varie ◦ Soar : si un agent intelligent possède une information utile pour atteindre un but, il va l’utiliser (Newell, 1990) ◦ ACT-R : les caractéristiques de l’architecture cognitive sont le résultat d’une adaptation à son environnement (Anderson, 1990) Plusieurs études environnementales montre que l’occurrence d’un item dans le futur dépend de ses occurrences antérieures La probabilité de se rappeler d’un item dans le futur dépend de son utilisation antérieure La probabilité d’utiliser une procédure dépend de son utilité antérieure pour atteindre le but. 6

7. LE MODULE DÉCLARATIF ACT-R subsymbolique 7

8. Le module déclaratif Basé sur la recherche expérimentale en psychologie Contient les chunks conçus par le concepteur de modèles ainsi que ceux des tampons au moment où ils sont vidés Avant d’ajouter un chunk on regarde s’il n’en existe pas un similaire. ◦ si oui, on fusionne les chunks et on ajoute au chunk une référence au moment de fusion afin de faciliter son accès ultérieurement  la référence sert au calcul de l’activation de base d’un chunk ◦ si non, on ajoute le nouveau chunk à la mémoire déclarative Modélise les facteurs qui affectent la précision et la vitesse d’accès à l’information à l’aide de plusieurs paramètres 8

9. Création d’un chunk Lors de l’initialisation du modèle ◦ (t=0), commande (add-dm …) Lors de la réinitialisation d’un tampon ◦ Si le chunk existait dans la mémoire déclarative, ACT-R ne crée pas un nouveau chunk mais ajoute une occurrence à la liste des occurrences de ce chunk. 9

10. Les paramètres du module déclaratif :esc ◦ nil comportement déterministe d’ACT-R ◦ t prise en compte des paramètres des processus subsymboliques d’accès au chunk :er ◦ pris en compte seulement s’il y a plusieurs chunks qui répondent aux conditions du paramètre :esc ◦ t choix aléatoire du chunk parmi ceux répondant à la requête  le choix aléatoire dépend des paramètres :bll, :blc, :ol ◦ nil ce sera toujours le même chunk pour des requêtes donnant la même liste La commande ◦ exemple (sgp :esc t :er t …) 10

11. Activation d’un chunk i A i : activation du chunk i B i : activation de base reflète la fréquence et récence d’utilisation de ce chunk S i : activation reçue des chunks dans les tampons P i : appariement partiel ◦ reflète l’absence d’appariement du chunk avec la requête  i : bruit Les erreurs d’omission s’expliquent par B i et S i ◦ activation de base ◦ activation des sources Les erreurs de commission s’expliquent par P i ◦ confondre le sel avec le poivre parce qu’ils sont similaires 11

12. UTILISATION DE L’ACTIVATION D’UN CHUNK Le module déclaratif 12

13. Utilisation de l’activation d’un chunk Pour déterminer sa probabilité de rappel, i.e. la probabilité qu’il soit parmi les candidats qui pourront être déposé dans le tampon. Pour déterminer le temps de rappel. Pour déterminer sa chance d’être choisi s’il y a plusieurs chunks qui satisfont la requête. 13

14. Activation d’un chunk et sa probabilité de rappel Pour qu’un chunk soit sélectionné, son niveau d’activation doit être : ◦ le plus élevé ◦ supérieur à , le seuil d’activation ( :rt retrieval threshold)  sinon +retrieval> ne fournis aucun chunk Commande (… sgp :rt -0.5…) 14 (3+5 = 6) (3+5 = 8) (100/5 =20) seuil 1 2 (3+5 = 6) (3+5 = 8) plusieurs chunks peuvent être sélectionnés s’ils ont la même activation, le choix dépend du paramètre :er +retrieval> ne fournis aucun chunk

15. Activation d’un chunk et sa probabilité de rappel Le rappel est bruité, on suppose que le bruit suit une distribution normale et celle-ci est approximée par une distribution logistique pour faciliter les calculs. 15

16. Activation d’un chunk est sa probabilité de rappel On utilise souvent le concept de chance que le chunk i soit déposé Le paramètre  détermine le degré d’activation A i que doit avoir le chunk i pour être rappelé 50% du temps 16

17. Seuil d’activation et temps de rappel 17

18. Le choix d’un chunk parmi plusieurs La probabilité de rappel d’un chunk i parmi k compétiteurs incluant le chunk i est ACT-R choisit le chunk ayant la probabilité la plus forte 18

19. LES FACTEURS DÉTERMINANT L’ACTIVATION D’UN CHUNK 19

20. La chance En psychologie souvent, la justification d’un phénomène s’explique mieux en terme de chance qu’en terme de probabilité bien que les deux soient formellement équivalents Comme nous sommes plus portés à additionner les chances qu’à les multiplier, il est souvent plus utile de considérer le logarithme de la chance que la chance elle-même. Il est étonnant de voir que plusieurs théories en psychologie basées sur un paradigme aussi simple sont vérifiées par la psychologie expérimentale. 20

21. A i : une mesure du besoin du chunk i dans un contexte E 21

22. A i : une mesure du besoin du chunk i dans un contexte E 22

23. B i : L’ACTIVATION DE BASE 23

24. Activation de base d’un chunk i (sans fusion) ◦ à t=0 l’activation de base est infinie Cette équation est pour une situation où le chunk est déposé dans la mémoire déclarative qu’une seule fois. Si votre modèle ne demande pas de distinguer le bruit au moment de l’encodage et de celui au moment du rappel, vous pouvez n’avoir qu’un bruit N(0,  1 +  2 ) 24

25. Activation de base : B i 25

26. Activation de base : B i La formule précédente est computationnellement coûteuse Si le paramètre :ol = #t alors elle est approximée par Si le paramètre :ol = k Le premier facteur est pour les k plus récentes occurrences 26

27. L’ACTIVATION REÇUE DU CONTEXTE : S i L’activation d’un chunk 27

28. L’activation reçue du contexte Le contexte est formé de tous les chunks dans les tampons ainsi que ceux référencés en tant qu’attributs de ces chunks. Tous les chunks du contexte sont des sources potentielles d’activation. Les chunks qui peuvent recevoir une activation du contexte sont ceux de la mémoire déclarative. 28

29. L’activation en provenance du contexte 29 Chunk slot1 Chunk slot2 S 11 W k1 W k2 S 12 S 13 S 21 S 22 S 23 chunk1 chunk2 chunk3 Slot 1 Slot 2 chunk X B1 B2 B3 pour un tampon k Quel est la probabilité d’avoir besoin d’un chunk i (i par la suite) étant donné les chunk slot1 et chunk slot2 (j ou C j par la suite) ?

30. L’activation reçue du contexte 30

31. la force d’association entre les chunks j et i ◦ l’approximation se justifie parce qu’il existe un grand nombre de chunks R ji représente les chances que le chunk j soit dans le contexte si le chunk i est utile R ji est proportionnel à la probabilité que i soit utile (H i ) étant donné que j est dans le contexte (C j ) R ji est inversement proportionnel au besoin d’avoir le chunk i en général, donc moins le chunk i est utile en général plus il recevra une activation forte du chunk j s’il est utile dans ce contexte. 31

32. Valeur empirique de la force d’association entre les chunks j et i 32

33. Valeur empirique de la force d’association entre les chunks j et i 33

34. Valeur empirique de la force d’association entre les chunks j et i 34

35. Preuve expérimentale de S ji = S – log (n j ) 35 TargetsFoils LocationPerson Fan Fan123Mean123 11.1111.1741.2221.1691.1971.2211.2641.227 21.1671.1981.2221.1961.2501.3561.2911.299 31.1531.2331.3571.2481.2621.4711.4651.399 Mean1.1441.2021.3571.201.2361.3491.3401.308 Liste partielle des faits A hippie is in the park.A giant is in the beach. A hippie is in the church.A giant is in the dungeon. A hippie is in the bank.A giant is in the castle. A captain is in the park.A earl is in the castle. A captain is in the cave.A earl is in the forest. A debutante is in the bank.A lawyer is in the store. A fireman is in the park. fan : nombre de faits où le concept apparaît foil : «p is in l» n’est pas dans la liste mais p et l sont des concepts de la liste Temps de réaction Fan effect (Anderson, 1974) But mesurer le temps de reconnaissance pour un fait présenté ou nouveau parmi une liste de faits en fonction du nombre de fois où un concept mentionné dans le fait apparaît aussi dans n autres faits. Résultat le temps de réaction augmente avec le fan

36. Simulation du fan effect avec ACT-R L’expérimentation ◦ Phase d’apprentissage :  n’est pas vraiment simulé  les faits sont ajoutés avec la fonction adm  les paramètres d’activation et d’appariement partiel sont ajustés à la main ◦ Phase de reconnaissance  production avec Résultats : ◦ analyse du temps de reconnaissance par le logiciel ◦ explication de ce temps en fonction des paramètres choisis  fonction du nombre de présentations de l’acteur dans des lieux différents  Résultat empirique concorde avec les résultats de la simulation  1.19 s si associé 1 fois  1.28 s associé 2 fois,  1.30 s associé 3 fois. 36

37. Le clavier virtuel 37 voir manuel de référence page 274 « motor module » 0.889 MOTOR PRESS-KEY k … 1.099 MOTOR OUTPUT-KEY #(8 4)

38. Dans le logiciel S: la force d’association maximum :mas (maximum associative strength) ) fan j :  le # de chunk où le chunk j apparaît dans une slot.  1 parce que le chunk réfère à lui-même slots j : # de slots où le chunk j est la valeur ◦ tous les chunks de la mémoire déclarative sont pris en considération slotsof ji : # de slots dans le chunk i qui ont le chunk j comme valeur ◦ (plus 1 si chunk i est le chunk j) Les paramètres :sji-hook, : spreading-hook, :w-hook 38

39. Les paramètres de ACT-R pour l’activation 39

40. W kj : La valeur d’une source d’activation W k ◦ la quantité d’activation qui peut être dispersée à partir de ce tampon, ◦ représente l’attention consciente à l’information dans le tampon ◦ fluctue d’un individu à l’autre, selon la nature de l’information à laquelle il prête attention W kj ◦ la quantité d’activation qui peut être dispersée à partir du slot j du chunk dans le tampon k  W k est divisée entre tous les slots du chunk dans le tampon buffer,  = W k /n k Par défaut, seul le tampon but a un W non nul ◦ On peut donner une valeur W aux autres tampons de façon individuelle. 40

41. L’APPARIEMENT PARTIEL DES CHUNKS : P i L’activation d’un chunk 41

42. P i : l’appariement partiel jusqu’à maintenant le rappel d’un chunk dans un tampon n’était possible que si le chunk dans la mémoire déclarative correspondait parfaitement aux spécifications explicites l’appariement partiel permet d’expliquer bien des erreurs, mais aussi parfois des généralisations intéressantes 42

43. Rappel : l’activation d’un chunk 43

44. BRUIT :  I L’activation d’un chunk :  i 44

45. Bruit Le bruit permet le non-déterminisme des simulations 2 types de bruit ◦ Permanent alloué au moment de la création du chunk ◦ Temporaire alloué au moment de l’utilisation du chunk le paramètres :ans permet de générer le bruit temporaire le paramètres :pas permet de générer le bruit permanant ◦ Les valeur du bruit sont aléatoires et suit une distribution logistique avec paramètre u= 0 et  2 =(  s) 2 /3 ◦ s est déterminé par l’usager à l’aide des paramètres :ans et :pas 45

46. L’UTILITÉ D’UNE PRODUCTION 46

47. Utilité d’une production i U i = P i G - C i +  P i : probabilité que la production mène à l’atteinte du but. C i : Coût d’utiliser cette production estimée en temps jusqu’à ce que le but soit atteint. G : Valeur de l’objectif, calculé en temps. ◦ Valeur globale estimée à 20s par défaut.  Bruit. U i : peut s’interpréter comme étant du temps pour faire autre chose ◦ Par exemple, les autres numéros d’un examen 47

48. Utilité des règles : La probabilité de réussite P i = q i *r i ◦ q i : la probabilité que la production i se termine avec succès ◦ r i : la probabilité d’atteindre le but si la production i se déroule avec succès ◦ q i et r i se calculent de la même façon 48

49. Utilité des règles : La coût d’une prodution C i = a i +b i ◦ a i : l’effort pour exécuter la production  tient compte du temps pour l’instanciation de la production et son exécution ◦ b i : idem, mais pour l’effort total jusqu’à l’atteinte du but concerné par la production, le but est atteint par une séquence de sous-buts dont la production i n’est qu’un élément ◦ a i et b i se calculent de la même façon 49

50. Le bruit associé à l’utilité d’une règle Le bruit suit une loi logistique avec u= 0 et  2 =(  s) 2 /3 La valeur de s est défini à l’aide du paramètre :egs La théorie sous-jacente est similaire à celle du bruit pour les chunks de la mémoire déclarative 50

51. Compétition entre plusieurs productions Il peut y avoir plusieurs productions ayant diverses utilités qui peuvent s’instancier à partir des mêmes chunks présents dans les tampons La probabilité de choisir l’un d’eux est 51

52. Utilité d’une production i Dans le logiciel Le paramètre :utility-hook permet de configurer notre propre fonction d’utilité 52

53. La foncton spp (show/set production parameter) force-over force-under et decide-over sont des règles définis dans le tutoriel 6. On peut ignorer le reste de cette diapositive. (spp force-over force-under decide-over) ◦ Parameters for production FORCE-OVER:  :utility NIL  :u 10.000  :at 0.050  :reward NIL ◦ Parameters for production FORCE-UNDER:  :utility NIL  :u 10.000  :at 0.050  :reward NIL ◦ Parameters for production DECIDE-OVER:  :utility NIL  :u 13.000  :at 0.050  :reward NIL 53

54. La foncton spp (show/set production parameter) ses paramètres : ◦ :u  utilité selon la formule  ne peut être modifié, si l’option apprentissage est choisie ◦ :utility  dernière utilité calculée incluant le bruit  nil si la règle n’a jamais fait partie d’un conflit pour le choix d’une règle  ne peut être modifié ◦ :at  le temps entre sa sélection et son exécution ◦ :name  le nom de la production  ne peut être modifié ◦ :reward  la récompense en temps pour l’exécution de la production  utilisée par la fonction trigger-reward  le concepteur décide quelle règle mérite une récompense, mais toutes les règles qui ont mené à l’exécution de cette règle recevront une partie de celle-ci en fonction du temps qui les sépare. 54

55. La fonction spp :utility ◦ La dernière utilité de la règle  nil si la règle n’a jamais fait partie d’un conflit pour le choix d’une règle :u ◦ l’utilité actuelle de la règle :at ◦ temps entre sa sélection et son exécution :reward ◦ la valeur de récompense utilisée par la fonction trigger-reward ◦ le concepteur décide quelle règle mérite une récompense, mais toutes les règles qui ont mené à l’exécution de cette règle recevront une partie de celle-ci en fonction du temps qui les sépare. 55

56. la commande sgp Le premier énoncé de define-model Détermine le comportement global du modèle Ses paramètres ◦ :OL default: T : Optimized Learning ◦ :ER default: NIL : Enable Randomness ◦ :ESC default: NIL : Enable Subsymbolic Computations ◦ :EPL default: NIL : Enable Production Learning ◦ :TT default: 2.0 : Threshold time pour une production ◦ :PCT default: NIL : Production Compilation Trace ◦ … 56

57. GARBAGE 57

58. S i : L’activation reçue du contexte 58