1. למידה, התניה ומח – מי עושה מה?
Cerebrum – קליפת המח – הכי מפותח בבני אדם (יחסית לחיות אחרות), לא קיים בכל בע"ח (כן בכל היונקים, ומפותח יחסית). תפקודי זכרון, חישה ומוטוריקה – איך אנו מגיבים לגירויים סנסוריים מהעולם סביבנו + תפקודים גבוהים (שפה וכו').
Cerebellum – המח הקטן – קואורדינציה של תנועות, שווי משקל ויציבה בהליכה וכו' (יש גם תאוריות אחרות), התניה קלאסית (התניית עפעף)
Frontal lobe - תפקודים גבוהים – שפה, תגובות רגשיות למצבים שונים, קורטקס מוטורי
Parietal lobe – קורטקס סנסורי
Occipital lobe – חוש הראיה
Temporal lobe – חוש השמיעה
Pons – נשימה, דופק וכו'
שפה – המיספרה שמאלית, אונה פרונטלית, פריאטלית (Wernicke’s area) וטמפורלית
Hippocampus - היפוקמפוס – מצוי באונה הטמפורלית, לא קורטקס, חשוב לזכרון קצר טווח
Amygdala – באונה הטמפורלית, התנהגות חברתית ומינית, ורגשות אחרים
Basal ganglia – קואורדינציה של תנועה עדינה (יחד עם צרבלום)
Limbic system – חשוב בהתנהגות רגשית ובקרת תנועות של שרירים חלקים

2. Brodmann – חלוקה ציטוארכיטקטובית של הקורטקס
אדם – קוף – חתול- חולדה (לא בקנה מידה)

3. Neurons – membrane potential, action potential, synaptic cleft, neurotransmitters

5. איפה למידה מתרחשת במח? איך המח לומד? כל המח לומד (ברמה התאית)
חוק Hebb ופלסטיות סינפטית
סינפסות אקסיטטוריות ואינהיביטוריות
כל המח לומד (ברמה התאית)
איפה מתרחשת הלמידה שאנו דברנו עליה?
לא מתעסקים בלמידה מוטורית
לא מתעסקים בלמידה/הבשלה של חושים
לא מתעסקים בלמידה עם מורה
התניה = למידת חיזוק
אילו אזורים במח משתתפים בלמידת חיזוק?

6. אז איפה התניה מתרחשת במח?
סופסוף מסתכלים בתוך הקופסא השחורה, אבל... מה זה נותן לנו?
החיבור בין חקר התנהגות וחקר המח – כלי חזק מאוד להבנת תפקודי המח, וכן להבנת הארגון של התנהגות
אבל – קשה להסיק מסקנות... חוקרים שני דברים מאוד מורכבים
איך בכלל מסתכלים בתוך הקופסא הזו?
הדמיות - fMRI,EEG,CT
Lesions (מעשה ידי אדם או טבעיים) – באיזה שלב של התהליך? איפה בדיוק? אינאקטיבציות זמניות.
פרמקולוגיה – מתן תרופות (סיסטמי/מקומי)
רישום תוך-תאי וחוץ-תאי בחיה מתנהגת/מורדמת/in vitro

7. אז איפה התניה מתרחשת במח?
הקושי שבהוכחה – קבוצות ביקורת, double dissociations
הקושי שבהבנה –
אז אזור מסוים פעיל במטלה מסוימת – אז מה?
אז נוירון מסוים יורה בצורה מסוימת במטלה מסוימת – אז מה?
חלוקה פונקציונלית של המח בו בזמן עם חלוקה של התנהגות/יכולות קוגניטיביות (זכרון וכו') למודולים (תלויים? בלתי תלויים?)
אנטומיה – מי קשור למי – לא ממופה לגמרי (ברור), וגם לא קבוע במח..
חשוב גם על איזו קופסא מסתכלים (חיות, בני אדם? פגוע, תקין? גמישות המח...)
לא קלה מלאכתו של מי שרוצה להבין איך המח לומד...

8. כמה דוגמאות (קצה הקרחון)
נוירוטרנסמיטרים:
דופמין וניבוי של השמטת חיזוק בהתניה אינהיביטורית (extracellular single cell recordings)
אזורים:
האמיגדלה ו-fear conditioning
התניה פבלובית בבני אדם (trace vs. Delay) (fMRI)
התפקיד של ההיפוקמפוס בהתניה אופרנטית (lesion)
למידת הרגלים בסטריאטום של בני אדם (fMRI)
Basal Ganglia – למידה מוטורית תלויית חיזוק

9. דופמין – מה הוא מקודד?
נוירוטרנסמיטר מאוד חשוב (מעורב כנראה בכל המחלות המנטליות – סכיצופרניה, פרקינסון, התמכרות לסמים וכו')
מתי נוירונים דופמינרגים יורים?
חיזוק לא צפוי
גירויים המנבאים חיזוקים אפטטיבים
השמטה של חיזוק צפוי (הפסקת ירי)
Novel/salient stimuli
אזור מועדף ב-intracranial self-stimulation – קשור לחיזוק, אך לא מייצג חיזוקים באופן ישיר
דברנו בעבר בהקשר של temporal difference (TD) – ההיפותזה השלטת – דופמין מקודד טעות ניבוי (בעיקר על סמך התאמה של single cell activity לתאוריה של למידה). משפיע על למידה קלאסית ואופרנטית ב-basal ganglia.

10. דופמין – טעות ניבוי או קשב?
חיזוקים וגירויים המנבאים חיזוקים הם ארועים אפטטיבים המעודדים approach ולמידה, אך הם גם מעוררים קשב – תגובת orienting, והפרעה להתנהגות הנכחית.
תאי דופמין מגיבים גם לגירויים חדשים/חזקים המעוררים קשב  פגיעה בהם אולי פוגעת בהפניית קשב.
Tobler, Dickinson + Schultz 2003
התניה אינהיביטורית מנגידה את החיזוק והגירוי הקשבי – גירוי אינהיביטורי הוא אברסיבי וגורם לעיכוב התנהגות, בעוד אקסיטטורי הוא אפטטיבי ומעורר CR, אך לשניהם מפנים קשב.
ניסוי התניה קלאסית בקופים: A+, AX- ובדיקת התגובה ל- (X-)
רואים תגובה שונה (איכותית) של תאי דופמין ל-CS אקסיטטורי ואינהיביטורי.
שניהם מעוררים קשב, אך רק לאקסיטטורי יש תגובה דופמינרגית חיובית גדולה.
מעיד על קידוד שונה של טעות ניבוי ושל ארוע קשבי
הרחבה של ההקבלה בין תאוריות למידה לבין פעילות של תאים דופמינרגים לניבוי של אי-חיזוק

13. The Amygdala and Fear Conditioning
אמיגדלה – מצויה באונה הטמפורלית, תת-קורטיקלית (עתיקה), מעורבות ברגשות, social behavior, והתנהגות מינית.
התניה עם חיזוק אברסיבי – מחקרים מראים שהאמיגדלה נחוצה בכדי ליצור "פחד מותנה" (BLA - נחוצה לאחסון ארוך טווח של האסוציאציה) (CER)
“Attaching fear to previously neutral stimulus and remembering it is what the amygdala does”
זו הדעה הרווחת אבל... Cahill et al עדויות נגד:
Lesions של האמיגדלה פוגעים גם ב-UR, כך שלא ברור אם התפקיד של האמיגדלה ספציפי –conditioned fear
עדויות חדשות לכך ששינויים אלקטרופיסיולוגים באמיגדלה, הקשורים להתניה קלאסית אודיטורית, נובעים משינויים באזורי הקלט האודיטורים (afferents) ולא משינויים בתוך האמיגדלה.
עדויות מבני אדם – ניתן ליצור CER לא מודעים (למשל, galvanic skin response) ללא אמיגדלה
בקיצור – יכול להיות שהאמיגדלה מתווכת גם את ה-UR וגם את ה-CR, אבל זה עוד טעון הוכחה משכנעת.

14. Delay and Trace Fear Conditioning in Humans – Knight et al. 2004
האם יש הבדל בין אזורי המח המעורבים ב-Trace לעומת Delay conditioning?
ישנם אזורים המעורבים בשניהם – היפוקמפוס, אמיגדלה, קורטקס סנסורי, תלמוס. האם יש אזורים ספציפים ל-trace?
החשוד – היפוקמפוס:
אולי מקודד מידע טמפורלי (אורך גירויים ויחסים טמפורלים ביניהם) - פגיעה בו פוגעת בתזמון של ה-CR (אך לא מעלימה אותו)
אולי חשוב ל-awareness, שחשוב ב-trace. קורלציה בין זכרון דקלרטיבי ולמידת trace, אך ללמידת delay לא נחוצה מודעות ליחסים בי הגירויים.
ניסוי התניה קלאסית בבני אדם –
חיזוק – שוק לעצב הטיביה
4 בלוקים (15 גירויים בכל אחד) – CS+, CS-, CS10
מודדים skin conductance response (נחשב מדד אמין לכח האסוציאציה CS-US), מד הערכת ציפייה לשוק, שאלון הערכת עוצמת השוק, וכמובן - fMRI

15. תוצאות fMRI:
אזורים רבים מראים learning related changes
קורטקס ויזואלי (גם שם שינוי לאורך האימון – ייצוג יתר ל-CS מנבאים חיזוק)
אזורים עם פעילות trace=CS+>CS10 – ציפייה?
אזורים המעורבים רק ב-trace – working memory (אך גם מטלה קשה יותר בתנאי זה בגלל דחייה גדולה יותר בחיזוק)
אזורים שפעילותם יורדת בזמן גירויים מנבאים (הפרעה של המטלה לפעילות מנוחה)
היפוקמפוס – "bridges the temporal gap"? לא כאן (תפקיד לזמן קצר? השואה עם מטלה לא מודעת?)
לא רואים שינויים באמיגדלה על אף הקשר הידוע לפחד מותנה...

16. ההיפוקמפוס והתניה אופרנטית Corbit+Balleine 2000
היפוקמפוס - מצוי באונה הטמפורלית, תת-קורטיקלי (עתיק). דברנו עליו בעבר בהקשר של למידה מרחבית, זכרון דקלרטיבי, והיום – תזמון.
אם התניה אופרנטית מתווכת ע"י זכרון דקלרטיבי של קשרי R-O, פגיעה בו תפגע בלמידה אופרנטית (סופסוף בודקים את Dickinson).
ההיפותזה: חולדות פגועות היפוקמפוס ייאלצו להשתמש רק ב-S-R ולכן לא יהיו מושפעים מ-postconditioning outcome devaluation.
ניסוי 1 – specific satiety
שתי דוושות, שתי תוצאות, מבחן בחירה בתנאי הכחדה choice extinction test
אין הבדל בין חולדות פגועות לקבוצת ביקורת ברכישה או בביצוע בסוף האימון (VR)
אין הבדל מובהק ב-test

17. ההיפוקמפוס והתניה אופרנטית Corbit+Balleine 2000
אז אולי ההיפוקמפוס מעורב בזיהוי יחס סיבתי בין פעולה לתוצאה?
ניסוי 2 – contingency degradation
נראה שחיות פגועות פחות רגישות ל-degradation (אם כי לא מובהק)
ב-test חולדות פגועות מבצעות את שתי הפעולות באותה תדירות
שימו לב – האפקט הוא דרך ה-nondegraded בקבוצת הבקרה...

18. ההיפוקמפוס והתניה אופרנטית Corbit+Balleine 2000
מסקנות:
חיות ללא היפוקמפוס רגישות לשינוי ערך התוצאה (מבחינות גם בשינוי על סמך תכונת טעם אחת), ויכולות לעשות אינטגרציה של הערך החדש לתוך קשרי R-O שנלמדו בעבר
פגיעה היפוקמפלית גורמת לחיות לאבד רגישות לתוצאות הסיבתיות של פעולותיהם
תפקיד ספציפי יחסית להיפוקמפוס בהתניה אופרנטית – זיהוי הקשר הסיבתי בין פעולה לתוצאה.
אולי הפגיעה היא ביכולת לקשור את ה-context לחיזוק (לא רגישים להסתברות לקבל חיזוקים בהנתן ההקשר בלבד ולכן לא יכולים להשוות זאת להסתברות בהנתן התגובה) – פגיעה ביכולת לחשב predictive validity (תוקף יחסי). הסביבה צריכה היתה להצליל את התגובה ולמנוע ממנה להכנס לאסוציאצית R-O.
בהעדר יכולת כנ"ל – אולי החיות מיחסות את כל החיזוקים לפעולותיהם (אך אז... למה מגיבות פחות ולא יותר?)

19. הסטריאטום ולמידת הרגלים – Knowlton, Mangels and Squire 1996
מטלת חיזוי מזג אויר לפי קומבינצית גירויים – לא מתווכת זכרון אלא "פרוצדורלית" (+ שאלון דקלרטיבי על הגירויים בסוף הניסוי)
משווים בין חולי אמנזיה (אזורים לימבים והיפוקמפוס) וחולי פרקינסון (סטריאטום ו-basal ganglia)
חולי אמנזיה לומדים את המטלה (זכרון פרוצדורלי), אך לא זוכרים טוב את סיטואצית הלימוד (זכרון דקלרטיבי)
חולי פרקינסון זוכרים את סיטואצית הלימוד אך פגועים בלמידת המטלה
Double dissociation המצביע על שתי מערכות למידה נפרדות הפועלות במקביל