1. Simple Neural Nets for Pattern Classification
الشبكات العصبية البسيطة
لتصنيف النمط
اعداد المهندسة : بنان عبد الكريم محمودي

2. How are neural networks used? كيف تستخدم الشبكات العصبية
Typical architectures :
It is convenient to visualize neurons as arranged in layers
من المناسب تخيل او تصور الخلايا العصبية كانها مرتبة في طبقات
Neurons in the same layer behave in the same manner
الخلايا العصبية في نفس الطبقة تتصرف بنفس الطريقة
Key factors in determining the behavior of a neuron are its activation function and pattern of weighted connections over which sends and receives signals
العناصر الاساسية في تقرير سلوك الخلاية العصبية هو تابع تفعيلها ونمط ارتباطات الاوزان الذين يرسلان ويستقبلان الاشارات
Within each layer neurons usually have the same activation function and same pattern of weighted connections to other neurons
ضمن كل طبقة الخلايا العصبية عادة لها نفس تابع التفعيل ونفس نمط الاوزان المرتبطة بالخلايا الاخرى

3. Typical architectures :(الهندسة المعمارية النموذجية)
The arrangement of neurons into layers and the connection patterns within and between layers is called the net architecture
ترتيب الخلايا العصبية داخل الطبقات وانماط الارتباط بين الطبقات يسمى هندسة الشبكة المعمارية
Many neural nets have an input layer in which the activation of each unit is equal to an external input signal
معظم الشبكات العصبية تملك طبقة ادخال حيث تفعيل كل وحدة مساوي لاشارة الدخل الخارجية مثال الشكل التالي الشبكة هنا تتألف من وحدات ادخال ووحدات اخراج ووحدة واحدة مخفية (ليست ادخال ولا اخراج )

4. Typical architectures :(الهندسة المعمارية النموذجية)
Neural nets classified as ( تصنف الشبكات العصبية )
Single layer (طبقة واحدة )
Multilayer (متعددة الطبقات )
In determining the number of layers the input units are not counted as a layer because they perform no computation .
في تحديد عدد الطبقات وحدات الادخال لاتعد كطبقة لانها لاتنجز اي حساب
The number of layers in the net can be defined to be the number of layers of weighted interconnected links between the slabs of neurons
عدد الطبقات في الشبكة يمكن ان يعرف بعدد طبقات خطوط الارتباطات الداخلية الموزونة بين كتل الخلايا العصبية مثال الشكل السابق يتألف من طبقتين

5. Single layer net Has one layer of connection weights
تملك طبقة واحدة من اوزان الارتباطات
The units can be distinguished as input units which receive signals from the outside world and output units from which the response of the net can be read
الوحدات يمكن ان توصف كوحدات ادخال التي تستقبل الاشارات من العالم الخارجي ووحدات اخراج وهو استجابة الشبكة الذي يمكن ان تقرأه
In typical single layer net shown in figure the input units are fully connected to output units but are not connected to other input units and output units are not connected to other output units
في الشبكة وحيدة الطبقة النموذجية المبينة بالشكل التالي وحدات الادخال ترتبط بشكل كامل بوحدات الاخراج ولكنها لاتتصل بوحدات ادخال اخرى ووحدات الاخراج لاترتبط بوحدات اخراج اخرى

6. A Single layer net X1 y1 Xi yj Xn ym One layer of weights output units
wi1
w1j
wn1 Xi yj
wij
wnj
w1m Xn ym
wim
wnm
One layer of weights
output units
Input units

7. Single layer net
For pattern classification each output unit corresponds to a particular category
بالنسبة لنمط التصنيف كل وحدة اخراج تقابل صنف معين
Note : in single layer net the weight for one output unit do not influence the weights for other output units
ملاحظة : في الشبكات وحيدة الطبقة وزن اي وحدة اخراج لاتؤثر على اوزان وحدات اخراج اخرى
For pattern association the same architecture can be used but now the overall pattern of output signals gives the response pattern associated with the input signal that caused it to be produced
بالنسبة لنمط الارتباط نفس الهيكلية يمكن استخدامها ولكن الان جميع الانماط لاشارات الخرج تعطي نمط استجابة مرتبط باشارة الدخل التي كانت سبب انتاجها

8. Multilayer net
Net with one or more layers or levels of nodes (called hidden units) between the input units and the output units
هي شبكة بطبقة او اكثر من العقد والتي تسمى الوحدات المختفية بين وحدات الدخل ووحدات الخرج
Can solve more complicated problems than can single layer nets
بامكانها ان تحل مشاكل معقدة اكثر من الشبكات وحيدة الطبقة
Training more difficult but some cases more successful
التدريب اكثر تعقيدا فيها ولكن في بعض الحالات اكثر نجاحا

9. A multilayer neural net
w11
v11 Z1
w21
wp1
v21
vn1 y2
w12
w22
v12
wp2
v22 Z2
vn2
w13
v1p
w13
v2p y3
wp3
vnp Zp
w1m
w2m
wpm n ym
A multilayer neural net

10. Setting the weights
The method of setting the values of the weights (training) is an important distinguishing characteristic of different neural nets
طريقة اعداد قيم الاوزان (التدريب ) تعتبرخاصية مميزة هامة لمختلف الشبكات العصبية
Two types of training
Supervised(مشرف )
Unsupervised(غير مشرف)
There are nets whose weights are fixed without an iterative training process
هناك نوع من الشبكات اوزانها ثابتة بدون عملية تدريب تكرارية
There is a useful correspondence between the type of training that is appropriate and the type of problem we wish to solve
هناك مراسلات مفيدة بين نوع التدريب الملائم ونوع المشكلة التي نريد حلها

11. Supervised training
Training is accomplished by presenting a sequence of training vectors or patterns each with an associated target output vector . The weights are then adjusted according to a learning algorithm. This process is known as Supervised training
التدريب يكتمل بتقديم سلسلة من التدريبات الموجهة او الانماط مع الناتج المرتبط . الاوزان بعدها تضبط طبقا لخوارزمية التعليم هذه العملية تسمى بالتدريب المشرف عليه
In pattern classification the output is an elements say 1 (if input vector belongs to the category )or -1 (if dose not belong)
في تصنيف الانماط الخرج يكون 1 اذا كان الدخل يعود لصنف ويساوي -1 اذا كان لايعود لصنف
In pattern association if the desired output vector is the same as the input vector the net is an autoassociative memory
في النمط المرتبط إذا كان الخرج المطلوب نفس الدخل الشبكة تكون ذاكرة ترابط آلي

12. Supervised training
If the output target vector is different from the input vector the net is a heteroassociative memory
إذا كان الخرج الهدف يختلف عن الدخل الشبكة هي ذاكرة
After training an associative memory can recall a stored pattern when it is given an input vector that is sufficiently similar to a vector it has learned
بعد التدريب الذاكرة الترابطية يمكنها استرجاع الانماط المخزنة عندما تعطى مدخل مشابه للمدخل التي تعلمته
The single layer nets (pattern classification nets )and (pattern association nets ) use Supervised training
شبكة الطبقة الوحيدة (شبكات الانماط المصنفة ) و(شبكات الانماط المرتبطة ) تستخدم هذا التدريب

13. Unsupervised training
Self organizing neural nets group similar input vector together without the use of training data to specify what a typical member of each group
الشبكات العصبية ذاتية التنظيم تجمع مدخلات متشابهة مع بعض بدون استخدام تدريب البيانات لتحديد ماهو العنصر النموذجي لكل مجموعة
A sequence of input vectors is provided but no target vectors are assigned
سلسلة المدخلات الموجهة تجهز ولكن لايوجد هدف موجه مرتبط بها
The net modifies the weights so that the most similar input vectors are assigned to the same output (or cluster) unit
الشبكة تعدل الاوزان لذلك معظم المدخلات الموجهة المتشابهة ترتبط بنفس وحدة الخرج او تجتمع
The neural net will produce an exemplar (representative) vector for each cluster formed
الشبكة العصبية سوف تنتج نموذج (تمثيلي ) لكل شكل مجمع

14. Fixed weight nets
The weight are set to represent the constraints and the quantity to be maximized or minimized
الوزن يوضع لتمثيل القيود والكمية اللتان ستزيدان او تقلان
Fixed weights are also used in contrast enhancing nets
تستخدم هذه الشبكات في شبكات تحسين المقارنة

15. Summary of notation
Xi,yj activations of units Xi,Yj , respectively :
for input units Xi,
xi = input signal
for other units Yj
yj= f (y-inj)
Wij weight on connection from unit Xi to unit Yj
الوزن للإتصال بين الخليه المدخله Xi والخليه المخرجه yj
beware : some authors use the opposite convention with wji denoting the weight from unit Yj to unit Xi
Bias on unit Yj(الانحراف لخلية الخرج )
A bias acts like a weight on a connection from a unit with a constant Activation of 1 (figure 1.11)
الانحراف يتصرف كالوزن في الاتصال من الوحدة بوصلة تنشيط ثابتة تساوي الواحد

16. Summary of notation = bi + Ʃ xi wij weight matrix:
Net input to unit Yj:
= bi + Ʃ xi wij i
weight matrix:
W={ }
from unit i to unit j
i: row index; j: column index
Threshold for
Activation of neuron Yj :

17. Summary of notation
عباره عن مجموعه المدخلات للشبكه
S عباره عن مجموعه التعليم وهي مجموعه المدخلات للشبكه من الإشارات في مرحلة التعليم
t عبارة عن مجموعه المخرجات الهدف أي مجموعه الإشارات المخرجه التي من المفترض أن تخرجها بعد أن تنهي مرحلة التعليم ..
Change in
وهو عباره عن التغير في الوزن wij
معدل التعليم
The learning rate is used to control the amount of weight adjustment at each step of training
يستخدم للتحكم بكمية الوزن المضبوطة في كل خطوة من التدريب

18. Matrix multiplication method for calculating net input طريقة ضرب المصفوفة لحساب مدخلات الشبكة
If the connection weights for a neural net are stored in a matrix W={ }, the net input to unit Yj (with no bias on unit j) is simply the dot product of the vectors x=(x1, x2, ……, xn) and
Ʃ xi wij = i

19. Bias الانحراف
A bias can be included by adding a component x0 = 1 to the vector x , i.e. (1,x1,………,xi, …….,xn)
The bias is treated exactly like any other weight i.e w0j = bj
The net input to unit Yj is given by n
Ʃ xi wij =
i=0 n
Ʃ xi wij =
w0j +
i=1 n = bj
Ʃ xi wij +
i=1

20. Architecture
The basic architecture of the simplest possible neural networks that perform pattern classification consists of a layer of input units and a single output unit.
الهيكلية الأساسية لأبسط الشبكات العصبية الممكنة الممثلة في تصنيف النمط تتألف من طبقة وحدات الدخل وطبقة وحيدة للخرج

21. Neuron with a bias
output
unit
Input
units

22. Biases and Thresholds
A bias acts exactly as a weight on a connection from a unit whose activation is always 1.increasing the bias increase the net input to the unit . If a bias is included , the activation function is typically taken to be
يتصرف الانحراف تماما كوزن في الاتصال من الوحدة حيث تابع تغعيله دائما 1 1
If net ≥ o
F(net)= -1
If net < o
Where
net
= b + Ʃ xi wi i

23. Biases and Thresholds
Some authors do not use a bias weight , but instead use a fixed threshold
For the activation function in that case
بعض المؤلفين لايستخدموا وزن الانحراف ويستخدموا بدلا منه حد العتبة
يكون تابع التفعيل لهذه الحالة كما يلي : 1
If net ≥
F(net)= -1
If net <
Where
net
= Ʃ xi wi
وهي تكافئ تماما استخدام الانحراف

24. Linear Separability
It a linear decision boundary exist that correctly classifies all the training samples .
هو وجود حد قرار خطي يصنف كل عينات التدريب بدقة
The samples are said to be linearly separable
يقال إن العينات مفصولة بشكل خطي
The linear decision boundary is given by the equation:
b + x1.w1+x2.w2 = 0
x2 =
-w1 b
. X1-
w2≠0 w2 w2

25. Linear Separability
Problems that are not linear separable are sometimes referred to as nonlinearly separable or topologically complex.
المشاكل التي لاتكون مفصولة بشكل خطي يشار لها كمفصولة غير خطيا أو مركب طوبولوجي
If the n training samples are linearly separable by linear decision boundary ,a single-layer feedforward network is capable of correctly classifying the samples .

26. Linear Separability Examples : Logic functions and decision regions
(0,1)
(1,1)
(0,1)
(1,1)
(0,1)
(1,1) 1 1 1 1 1 1
(0,0)
(0,0)
(1,0)
(0,0)
(1,0)
(1,0)
AND OR
XOR

27. Linear Separability
Referring to figure we observe that some common logic functions OR and AND , are linearly separable and XOR is not linearly separable .
من الشكل السابق نلاحظ ان بعض التوابع المنطقية مفصولة خطيا (AND , OR) اما (XOR) غير مفصولة خطيا

28. Learning Rule(قاعدة التعليم (
Associated with each neural network is a learning rule ,which changes the input functions .
ترتبط بكل شبكة عصبية قاعدة تعليم تغير بتوابع الدخل
Normally the learning rule defines how to change the weights in response to given input / output pairs
عادة تعرف قاعدة التعليم كيف تتغير الاوزان في استجابة لمدخل معطى او مخرج

29. Hebb’s Rule
More than 50 years ago ,Donald O Hebb theorized that biological associative memory lies in the synaptic connections between nerve cells .
من خمسين سنة فسر العالم هيب ان الذاكرة الترابطية الحيوية تكمن في الوصلات العصبية بين الخلايا العصبية
He thought that the process of learning and memory storage involved changes in the strength with which nerve signals are transmitted across individual synapses .
فكر بأن عملية التعليم وتخزين الذاكرة يتضمن التغيير في شدة الاشارات العصبية المرسلة عبر وصلات عصبية فردية

30. Hebb’s Rule
Hebb’s Rule states that pairs of neurons which are active simultaneously becomes stronger by weight changes.
قاعدة هيب حددت ان ازواج الخلايا العصبية النشيطة تصبح بشكل اني اقوى بتغير الوزن
Hebb’s Rule : the learning rule that states that the synaptic weight changes are proportional to the product of the synaptic activities of both the sending and receiving cells:
قاعدة التعليم التي حددت ان تغير وزن الوصلة العصبة نسبي لنشاطات الوصلات العصبية لكل الخلايا المرسلة والمستقبلة

31. Hebb’s Rule . . = Where is the learning rate is the input
is the output of the receiving neuron

32. Algorithm :Hebb net (supervised) learning algorithm
Step0 . initialize weights and bias
Step1 . per each training sample s:t do steps 2 – 4
Step2 . Set activations of input units :
xi = si
STEP3 . Set activations of output units :
y = t
Step4. update weight and bias :
wi (new) = wi(old) + xi. y
b (new) = b (old) + y

33. Application
Bias types of input are not explicitly used in the original formulation of Hebb learning .
انواع الانحرافات للدخل لم تستخدم بشكل واضح في الصيغة الاصلية لتعليم هيب
Logic functions
Examples: a Hebb net for the AND function : binary inputs and target
input
y=target
(x1, x2, 1)
(1, 1, 1) 1
(1, 0, 1) 0
(0, 1, 1) 0
(0, 0, 1) 0
bias unit

34. Logic functions
For each training input :target , the weight change is the product of the input vector and the target value i.e. t =
x1t =
x2t =
The new weights are the sum of the previous weights and the weight change . Only one iteration through the training vectors is required . The weight updates for the first input are as follows :
input
Target
Weight changes
Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(1, 1, 1) ( ) ( )

35. Logic functions The separating line becomes x2 = - x1 – 1
The graph presented in figure 2.7 shows that the response of the net will now be correct for the first input pattern . Presenting the second ,third and fourth training input shows that because the target value is 0 , no learning occurs . Thus using binary target values prevents the net from learning any pattern for which the target is “ off” :

36. Figure 2.7 decision boundary for binary AND function using Hebb rule after first training pairx2 + x1

37. Logic functions Weight changes input Target Weights
(x1, x2, 1) (Δw1 Δw2 Δb) (w1 w2 b)
(1, 0, 1) ( ) ( )
(0, 1, 1) ( ) ( )
(0, 0, 1) ( ) ( )

38. Logic functions
Example 2.6 Hebb net for the AND function : binary inputs, bipolar targets
input
Target
(x1, x2, 1)
(1, 1, 1) 1
(1, 0, 1) -1
(0, 1, 1) -1
(0, 0, 1) -1

39. Logic functions
Presenting the first input including a value of 1 for the third component yields the following:
input
Target
Weight changes
Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(1, 1, 1) ( ) ( )
The separating line becomes
x2 = - x1 – 1

40. Logic functions
Figure 2.8 shows the response of the net will now be correct for the first input pattern.
Presenting the second ,third and fourth training patterns shows that learning continues for each of these patterns (since the target value is now -1 rather than 0 as in example 2.5)

41. Figure 2.7 decision boundary for AND function using Hebb rule after first training pair (binary inputs , bipolar targets ) x2 x1 - +

42. Logic functions
Weight changes
input
Target
Weights
(x1, x2, 1) (Δw1 Δw2 Δb) (w1 w2 b)
(1, 0, 1) ( ) ( )
(0, 1, 1) ( ) ( )
(0, 0, 1) ( ) ( )
However these weights do not provide the correct response for the first input pattern

43. Logic functions
The choice of training patterns can play a significant role in determining which problems can be solved using the Hebb rule .
الاختيار لتدريب الانماط يمكن ان يلعب دور هام في تقرير اي المشاكل يمكن حلها باستخدام قاعدة هيب
The next example shows that the AND function can be solved if we modify its representation to express the inputs as well as the targets in bipolar form
المثال التالي يظهر ان تابع AND يمكن ان يحل اذا عدلنا تمثيله لاظهار المدخلات مثل الهدف في شكل قطبي

44. Logic functions
Bipolar representation of the inputs and targets allows modification of a weight when the input unit and target value are both “on” at the same time and when they are both “of” at the same time .
التمثيل القطبي للمدخلات والاهداف يسمح بتعديل الوزن عندما تكون قيم وحدة الدخل والهدف كلاهما on في نفس الوقت وعندما يكونوا off في نفس الوقت
The algorithm is the same as that just given expect that now all units will learn whenever there is an error in the output
الخوارزمية هي نفسها المعطاة من قبل نتوقع الان ان كل الوحدات سوف تتعلم عندما يكون هناك خطأ في الناتج

45. Logic functions
Example 2.7 Hebb net for the AND function : bipolar inputs and targets
input
Target
(x1, x2, 1)
(1, 1, 1) 1
(1, -1, 1) -1
(-1, 1, 1) -1
(-1, -1, 1) -1

46. Logic functions
Presenting the first input including a value of 1 for the third component yields the following:
input
Target
Weight changes
Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(1, 1, 1) ( ) ( )
The separating line becomes
x2 = - x1 – 1

47. Logic functions
Figure 2.9 shows the response of the net will now be correct for the first input point (and also by the way for the input point (-1,-1) ) . Presenting the second input vector and target results in the following situation:

48. Figure 2.9 decision boundary for AND function using Hebb rule after first training pair (bipolar inputs , bipolar targets ) x2 - + x1 - -

49. Logic functions input Target Weight changes Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(1, -1, 1) ( ) ( )
The separating line becomes
x2 = 0

50. Logic functions
Figure 2.10 shows the response of the net will now be correct for the first two input point (1,1) and (1,-1) and also for input point (-1,-1)
Presenting the third input vector and target yields the following :

51. Figure 2.10 decision boundary for bipolar AND function using Hebb rule after second training pattern (boundary is x1 axis ) x2 - + x1 - -

52. Logic functions input Target Weight changes Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(-1, 1, 1) ( ) ( )
The separating line becomes
x2 = -x1 +1

53. Logic functions
Figure 2.11 shows the response of the net will now be correct for the first three input point (and also by the way for the input point (-1,-1) ) . Presenting the last point. we obtain the following:

54. Figure 2.11 decision boundary for bipolar AND function using Hebb rule after third training patternx2 - + x1 - -

55. Logic functions
input
Target
Weight changes
Weights
(x1, x2, 1) ( ) (w1 w2 b) ( )
(-1, -1, 1) ( ) ( )
Even though the weights have changed The separating line is still :
x2 = -x1 +1
So the graph of the decision regions (the positive response and the negative response) remains as in figure 2.11

56. Character recognition تمييز الاحرف
Example 2.8 A Hebb net to classify two –dimensional input patterns (representing letters )
A simple example of using the Hebb rule for character recognition involves training the net to distinguish between the pattern “X” and the pattern “O” . The pattern can be represented as
# # # # # .
. # . # . # #
. . # # #
# # . # # # .
and
Pattern 1
Pattern 2

57. Character recognition
To treat this example as a pattern classification problem with one output class we will designate the class “X” and take the pattern “O” to be an example of output that is not “X” .

58. Character recognition
The first thing we need to do is to convert the patterns to input vectors . That is easy to do by assigning each # the value 1 and each “.” the value -1 . To convert form the two dimensional pattern to an input vector we simply concatenate the rows , i.e. the second row of the pattern comes after the first row , the third row follows , ect .

59. Character recognition
Pattern 1 then becomes
, , , ,
and pattern 2 becomes
, , , ,

60. Character recognition
The correct response for the first pattern is “on” or +1 , so the weights after presenting the first pattern are simply the input pattern .
الاستجابة الصحيحة للنمط الاول هي on يعني 1 وبالتالي الوزن لايتغير
The bias weight after presenting this is +1 .
The correct response for the second pattern is “off” or -1 . So the weight change when the second pattern is presented is
الاستجابة الصحيحة للنمط الثاني هي off أي -1 لذلك الوزن يتغير بضرب -1 بالنمط الثاني
, , , ,
In addition the weight change for the bias weight is -1.

61. Character recognition
Adding the weight change to the weights representing the first pattern gives the final weights :
, , , ,
The bias weight is 0
We compute the output of the net for each the training patterns
The net input is the dot product of the input pattern with the weight vector
For the first training vector the net inputs is 42 so the response is positive as desired
For the second training pattern the net input is -42 so the response is clearly negative also as desired

62. Character recognition
However the net can also give reasonable responses to input that are similar but not identical , to the training patterns
بكل الأحوال الشبكة يمكن ان تعطي استجابات معقولة لدخل مشابه ولكن ليس مماثل لانماط التدريب
There are two types of changes can be made to one of the input patterns that will generate a new input pattern for which it is reasonable to expect a response
هناك نوعين من التغييرات يمكن ان تصنع لاحد ادخالات النماذج التي سوف تولد دخل نموذج جديد سيكون معقول لتوقع الاستجابة

63. Character recognition
The first type of change is usually referred to as “mistakes in the data “. In this case one or more components of the input vector (corresponding to one or more pixels in the original pattern) have had their sign reversed, changing a 1 to -1 or vice versa
النوع الاول من التغيير عادة يشار له بالخطأ في البيانات في هذه الحالة واحد او اكثر من مكونات الدخل تعكس اشاراتهم يتغير 1 الى -1 او العكس بالعكس
The second type of change is called “missing data” . In this situation one or more of the components of the input vector have the value 0 rather than 1 or -1
النوع الثاني يسمى بيانات مفقودة في هذه الحالة واحد او اكثر من مكونات الدخل تملك قيمة 0 اكثر من 1 او -1
In general a net can handle more missing components than wrong components in other words
بشكل عام الشبكة يمكن ان تعالج مكونات مفقودة اكثر من مكونات خاطئة