3. Pattern Samples عينات من الانماط Pattern Classification, Chapter 12

4. What is pattern recognition? ما هو التعرف علي الانماط ؟ ( هام ) Definitions from the literature تعريفات يتم حفظ تعريف واحد “The assignment of a physical object or event to one of several pre-specified categories” –Duda and Hart “A problem of estimating density functions in a high-dimensional space and dividing the space into the regions of categories or classes” – Fukunaga “Given some examples of complex signals and the correct decisions for them, make decisions automatically for a stream of future examples” –Ripley “The science that concerns the description or classification (recognition) of measurements” –Schalkoff “The process of giving names ω to observations x”, –Schürmann Pattern Recognition is concerned with answering the question “What is this?” – Morse ( أسهل تعريف )

5. Examples of pattern recognition problems أمثلة من مشاكل التعرف على الأنماط Machine vision Visual inspection, ATR Imaging device detects ground target جهاز تصوير للكشف عن الهدف علي الارض مثل الاقمار الصناعية ( كما هو موضح بالصورة ) Character recognition التعرف علي الحروف Scanner captures an image of the text الماسح الضوئي يلتقط صورة للنص Image is converted to text able to edit Computer aided diagnosis التشخيص بمساعدة الكمبيوتر Medical imaging, EEG, ECG signal analysis التصوير الطبي ( الاشعة ) Designed to assist (not replace) physicians صممت لمساعدة وليس استبدال الاطباء Speech recognition التعرف علي الصوت Human Computer Interaction, Universal Access تفاعل الانسان مع الحاسب Microphone records acoustic signal Speech signal is classified into phonemes and/or words تصنيف الاشارة الصوتية ( مثل بصمة الصوت )

6. Why we need pattern recognition? لماذا نحتاج الي التعرف علي النماط Human beings can easily recognize things or objects based on past learning experiences! Then how about computers? البشر يمكنهم بسهولة التعرف علي الاشياء او الكائنات يعتمد علي خبرات التعلم في الماضي لكن ماذا عن الكمبيوتر ؟

7. Features الميزة Feature is any special aspect, quality or characteristic. هي اي جانب خاص او مميز Features may be symbolic (i.e., color) or numeric (i.e., height) قد تكون رمزية مثل اللون او رقمية مثل الوزن ( مثال في الصورة اللون والنوع ) Definitions التعريف The combination of features is represented as a d-dimensional column vector called a feature vector The d-dimensional space defined by the feature vector is called the feature space Objects are represented as points in feature space. This representation is called a scatter plot

8. Features (cont.) يكون الشكل بالكاملجزء مميز من الشكل

9. Basic Structure البنية الاساسية اثنين من العوامل الاساسية Two basic factors 1- Feature الميزة 2- Classifier تجزأ وتقسم بين الانماط <<< الطريقة المميزة مثال التفرقة بين السيارتين :- Feature: Car Boundary حدود السيارة مثلا في الحجم Classifier: Mechanisms and methods to define what the pattern is. الميكانيكة ونظام لتحديد ما هي الانماط

10. System structure هيكل النظام The feature should be well-chosen to describe the pattern!! ميزة ينبغي أن يتم اختيارها بشكل جيد لوصف نمط Knowledge: experience, analysis, trial & error المعرفة : تجربة والتحليل، والمحاكمة والخطأ The classifier should contain the knowledge of each pattern category and also the criterion or metric to discriminate among patterns classes. Knowledge: direct defined or “training“ المعرفة تكون عن طريق تعريفها او عن طريق التدريب ( تدريب الحاسب علي المعرفة )

11. Pattern النمط Pattern is a composite of features characteristic of an individual هي السمات المميزة للفرد In classification tasks, a pattern is a pair of variables {x,ω} where في مهام التصنيف يكون النمط ثنائي من المتغيرات مثل اماكن اكس و دبليو x is a collection of observations or features (feature vector) هو مجموعة من الملاحظات او الميزات ω is the concept behind the observation (label) هو المفهوم الكامن وراء الملاحظة

12. Feature extraction استخراج الميزة Task: to extract features which are good for classification. استخراج الميزات الجيدة للتصنيف Good features: Objects from the same class have similar feature values. اوبجيكت لديها قيم متشابهة Objects from different classes have different values اوبجيكت لديها قيم مختلفة “Good” features“Bad” features

13. More feature properties المزيد من الخصائص المميزة

14. Classifiers الطريقة المميزة The task of a classifier is to partition feature space into class-labeled decision regions Borders between decision regions are called decision boundaries The classification of feature vector x consists of determining which decision region it belongs to, and assign x to this class. A classifier can be represented as a set of discriminated function The classifier assigns a feature vector x to class If

15. Four basic recognition models اربع نماذج اساسية للتعرف او طرق التعرف Template matching: size similarity an image and a template. هو قياس التشابه بين الصورة والصورة المخزنة مثل بصمة الوجه التي يتم العمل بها في الشركات الكبري Structural (or Syntactic) PR شكل الحرف : pattern classes represented by means of formal structures as grammars, automata, strings, etc. Statistical PR احصائي : based on underlying statistical model of patterns and pattern classes. Neural Network الشبكة العصبية : classifier is represented as a network of cells modeling neurons of the human brain (connectionist approach). يتم تمثيل المصنف باعتباره شبكة من الخلايا العصبية نمذجة الدماغ البشري

16. A comparison مقارنة بين الطرق هام امتحان Pattern Classification, Chapter 115

17. An Example مثال “Sorting incoming Fish on a conveyor according to species using optical sensing” فرز الأسماك الواردة على الناقل وفقا لأنواع باستخدام الاستشعار البصرية Sea bass Species Salmon Pattern Classification, Chapter 116

18. Problem Analysis تحليل المشكلة Set up a camera and take some sample images to extract features إعداد الكاميرا والتقاط بعض الصور عينة لاستخراج الميزات Length طول Lightness الاضاءة Width عرض Number and shape of fins عدد وشكل الزعانف Position of the mouth, etc… الفم This is the set of all suggested features to explore for use in our classifier! Pattern Classification, Chapter 117

19. Preprocessing المعالجة  Use a segmentation operation to isolate fishes from one another and from the background استخدام عملية تجزئة لعزل الأسماك عن بعضها البعض ومن الخلفية Information from a single fish is sent to a feature extractor whose purpose is to reduce the data by measuring certain features يتم إرسال المعلومات من سمكة واحدة إلى مستخرج ميزة الذي يهدف للحد من البيانات عن طريق قياس خصائص معينة The features are passed to a classifier يتم تمرير الميزات إلى المصنف Pattern Classification, Chapter 118

20. Pattern Classification, Chapter 119

21. Classification Select the length of the fish as a possible feature for discrimination تحديد طول السمكة كسمة ممكن للتمييز Pattern Classification, Chapter 120

22. Pattern Classification, Chapter 121

23. The length is a poor feature alone! الطول وحد لا يكفي كسمة Select the lightness as a possible feature. نختار الاضاءة كميزة ممكنة Pattern Classification, Chapter 122

24. Pattern Classification, Chapter 123

25. Threshold decision boundary and cost relationship عتبة حدود القرار والعلاقة بين التكلفة Move our decision boundary toward smaller values of lightness in order to minimize the cost (reduce the number of sea bass that are classified salmon!) Task of decision theory نظرية القرار Pattern Classification, Chapter 124

26. Adopt the lightness and add the width of the fish اعتماد الاضاءة ووزن السمكة Fish x T = [x 1, x 2 ] Pattern Classification, Chapter 125 Lightness Width

27. Pattern Classification, Chapter 126

28. We might add other features that are not correlated with the ones we already have. A precaution should be taken not to reduce the performance by adding such “noisy features” يمكننا أن نضيف الميزات الأخرى التي لا ترتبط مع تلك التي لدينا بالفعل. وينبغي اتخاذ الاحتياطات ليس للحد من أداء بإضافة مثل هذه " الميزات " Ideally, the best decision boundary should be the one which provides an optimal performance such as in the following figure: من الناحية المثالية ينبغي ان يكون افضل قرار الذي يوفر الاداء الامثل Pattern Classification, Chapter 127

29. Overfitting and underfitting نسبة بسيطة من الخطا overfittinggood fit نسبة كبيرة من الخطأ underfitting نسبة دقيقة

30. Pattern Classification, Chapter 129 Figure: Overly complex models for the fish will lead to decision boundaries that are complicated. While such a decision may lead to perfect classification of our training samples, it would lead to poor performance on future patterns. The novel test point marked ? is evidently most likely a salmon, whereas the complex decision boundary shown leads it to be misclassified as a sea bass.

31. However, our satisfaction is premature because the central aim of designing a classifier is to correctly classify novel input ومع ذلك، ارتياحنا من السابق لأوانه لأن الهدف الرئيسي من تصميم المصنف هو لتصنيف المدخلات الرواية بشكل صحيح Issue of generalization! مسالة التعميم Pattern Classification, Chapter 130

32. Pattern Classification, Chapter 131 Figure 1.6: The decision boundary shown might represent the optimal tradeoff between performance on the training set and simplicity of classifier.

33. Pattern Classification, Chapter 132 Pattern Recognition System نظام التعرف علي الانماط ( مراحل الادخال )

34. Pattern Recognition Systems Sensing الاستشعار عن بعد Use of a transducer (camera or microphone) PR system depends of the bandwidth, the resolution sensitivity distortion of the transducer Segmentation and grouping تجزئة وتجميع Patterns should be well separated and should not overlap Pattern Classification, Chapter 133

35. Feature extraction استخراج ميزة Discriminative features Invariant features with respect to translation, rotation and scale. ملامح ثابتة فيما يتعلق بالترجمة والتناوب والحجم Classification التصنيف Use a feature vector provided by a feature extractor to assign the object to a category Post Processing Exploit context input dependent information other than from the target pattern itself to improve performance Pattern Classification, Chapter 134

36. The Design Cycle دورة التصميم Data collection جمع البيانات Feature Choice اختيار المميزات Model Choice اختيار الطريقة Training التدريب Evaluation التقييم Computational Complexity Pattern Classification, Chapter 135

37. Pattern Classification, Chapter 136 Design Cycle

38. Data Collection How do we know when we have collected an adequately large and representative set of examples for training and testing the system? Feature Choice Depends on the characteristics of the problem domain. Simple to extract, invariant to irrelevant transformation insensitive to noise. Model Choice Unsatisfied with the performance of our fish classifier and want to jump to another class of model Pattern Classification, Chapter 137

39. Evaluation Measure the error rate (or performance and switch from one set of features to another one. Computational Complexity What is the trade-off between computational ease and performance? (How an algorithm scales as a function of the number of features, patterns or categories?) Training Use data to determine the classifier. Many different procedures for training classifiers and choosing models Pattern Classification, Chapter 138

40. Learning and Adaptation التعلم والتكيف Supervised learning التعلم تحت الاشراف A teacher provides a category label or cost for each pattern in the training set يوفر المعلم تسمية فئة أو التكلفة لكل نمط في مجموعة التدريب Unsupervised learning تعليم غير خاضع للاشراف The system forms clusters or “natural groupings” of the input patterns يشكل نظام المجموعات أو " التجمعات الطبيعية " من أنماط الإدخال Pattern Classification, Chapter 139

41. Classification and Clustering تصنيف وتقسيم Classification تصنيف (Supervised learning) Clustering (Unsupervised learning) Pattern Classification, Chapter 140

42. Home Work 1. Each group choose a pattern to work on. كل مجموعة تختار نمط للعمل به 2. Start with understanding template matching approach. ابدا في فهم المطابقة 3. Do a complete research on applying template matching approach in recognizing your pattern. عمل بحث في النمط الخاص بك Do your best!!!!!!!!!!!!!!!!!!!!!!! Pattern Classification, Chapter 141