Optical Character Recognition By: mahdi sheida Guide: Dr. A. Osareh fall-2010

Objective of OCR Glossary of Image Processing Terms identification of characters from a graphic file and converting them into a regular text file : APPENDIX A Glossary of Image Processing Terms

OCR Applications: Reading important handwritten & machine-printed characters: postal zip code passport number employee code Bank cheque Ancient texts

OCR System Text in graphic file pre-processing Feature extraction classification

pre-processing Pre-processing aims to produce data that are easy for the OCR systems to operate accurately. The main objectives of pre-processing are : Binarization Noise Reduction Segmentation Normalization

Binarization Document image binarization (thresholding) refers to the conversion of a gray-scale image into a binary image.

Noise Reduction Noise reduction improves the quality of the document. Two main approaches: Filtering (masks) Morphological Operations (erosion, dilation, etc)

Segmentation Text Line Detection (histogram projections) Word Extraction (vertical projections, connected component analysis) همان روش پیدا کردن isolated connected component ها برای سگمنت کردن کاراکترها هم قابل استفاده است. ولی این مشکل را دارد که کاراکتر هایی که overlap دارندرا به درستی سگمنت نمیکند. مثلا یک کاراکتر به دوتا تبدیل میشه m به n و r

Normalization Normalization provides a tremendous reduction in data size, thinning extracts the shape information of the characters Fix size for bounding box(template matching) مثلا برای حالت الفبای ماشین نویسی شده،می توانیم دیتاستی داشته باشیم با فونت های مختلف که ابعادشان فرق می کند به این ترتیب تکنیک thinig مناسب می تواند اسکلت کاراکتر را بیرون بکشد به طوریکه مشابهت یک کاراکتر در فونت های مختلف، بیشتر نمایان شود. نرمال کردن سایز، مناسب template matching مطمئن نیستم:( یعنی کاراکترها scale(size) invariant می شوند. به این ترتیب فیچرها نسبت به تغییرات روی سایز حساسیت نشان نمی دهند.

OCR System Text in graphic file pre-processing Feature extraction classification

Feature Extraction goal of feature extraction: to extract a set of features, which maximizes the recognition rate with the least amount of elements. Statistical features: Representation of a character image by statistical distribution of points Zoning Projections profiles

Invariants In order to recognize many variations of the same character, features that are invariant to certain transformations on the character need to be used. برای آنکه کاراکتری با شکل های مختلف را بتوانیم به درستی شناسایی کنیم، فیچرها باید روی یک سری از تبدیلاتی که روی کاراکتر صورت میگیرد ثابت. حالت rotate invariant (مستقل از چرخش) حالت scaled invariant (مستقل از تغییر سایز) حالت skew invarient (مستقل از تغییر شیب واریب)مناسب کاراکترهای دست نویس و چند فونته(مثلا ترکیب italic و Arial) است. original rotated scaled skewed

Zoning The character image is divided into N×M zones. From each zone features are extracted to form the feature vector. The goal of zoning is to obtain the local characteristics instead of global characteristics مناسب تفکیک کاراکترهایی که در یک ناحیه توزیع بیشتری نسبت به سمت دیگر دارند. این فیچر حتما باید همراه با فیچرهای دیگر استفاده بشود تا نتیجه مناسب بدهد.

Zoning-Direction Based on the contour of the character image For each zone the contour is followed and a directional histogram is obtained by analyzing the adjacent pixels in a 3x3 neighborhood

Projection Histograms The basic idea behind using projections is that character images, which are 2-D signals, can be represented as 1-D signal. Scale-invariant Depend on Rotation and skew No information about character shape در این روش فیچرها نسبت به تغییر سایز مستقل می شوند.scale invariant اطلاعات مهم راجع به شکل کاراکتر

Profiles The profile counts the number of pixels (distance) between the bounding box of the character image and the edge of the character. describe well the external shapes of characters and allow to distinguish between a great number of letters, such as “p” and “q”. Dependent on rotation

OCR System Text in graphic file pre-processing Feature extraction classification

Classification Template Matching Statistical approaches Neural Net Hidden Markov Modeling KNN Support Vector Machines Neural Net Template matching نیازی به مرحله استخراج ویژگی ندارد و خود تصویر کاراکتر به عنوان بردار ویژگی فرض می شود. در مرحله تشخیص، یک similarity measure بین template و تصویر کاراکتر در نظر گرفته می شود، تصویر با تمپلیت های کلاس های مختلف مقایسه می شه و نتایج میزان مشابهت بدست آمده با تمام تمپلیت ها با یک حد آستانه مقایسه میشه، هر کدوم که از آستانه بیشتر بود، تصویر به همون کلاس اختصاص پیدا می کنه ایرادات: Scale , rotate invariant نیست نویز تاثیر زیادی روی خرابی نتایج دارد. راه حل: استفاده از چند template به ازای هر کلاس. مشکل: هزینه محاسباتی زیاد

1 Title: Feature Extraction and MLP Neural Network Classifier for Farsi Digit Recognition

Farsi Digit Recognition with MLP Dataset: training :18000 normalized (40*40) binary images testing : 2000 normalized (40*40) binary images Classifier: MLP

Feature Extraction Method A: Statistical Approach: compare number of black pixels on the upper and lower halves and also left and right halves of the digit image. این فیچر به درد ارقام تایپ شده می خورد اما در ارقامی که دستی نوشته شده اند بهتر است با فیچر های دیگر ترکیب شود چون در دستی ها مرکز رقم و تصویر بر هم منطبق نیستند.

Feature Extraction Method B: The Number Of Intersections متد مناسبی برای تفکیک اعدادی مثل 2 و 3 است (Part1) (Part2)

Feature Extraction Method C. Elastic Meshing Feature Extraction: decomposes the whole binary character image into four directional sub-images:

Classifier 2 layer MLP

Results approach Number of neurons in hidden layer Recognition percentage of system for testing data Statistical Approach 3 90.13% Number Of Intersections 9 94.43% Elastic Meshing 5 93.68% Combination of 3 methods 16 97.62%

2 Title: Hand Written Character Recognition Using Twelve Directional Feature Input and Neural Network

Pre-processing & Dataset Noise removing Skeletonization Normalization(32*32 pixel) Dataset: combination of Hindi – English and special characters Train: 500 handwritten Characters Test: 250 handwritten Character

Feature extraction A: Conventional Feature Extraction (0&1) B: Gradient Feature Extraction (using sobel mask) (Horizontal component) (Vertical component)

Feature extraction C: Directional Features نگاشت مقادیر گرادیان هر پیکسل روی یکی از دوازده جهت به وسیله این فرمول محاسبه می شود. که حالت گسسته ی آن را در اسلاید بعدی می بینید.

Feature extraction C: Directional Features

Classifier Back propagation neural Network Learning rate: 0.2 Input layer: 1024 1 hidden layer with 32 nerouns Output layer: 5 (3Hindi, 1English , 1 special)

Results Input To MLP Number Of Hidden neurons iteration Training time Classification Performance On Testset Pixel input 12 50 970 946 75 Gradient 764 246 90 12 Directional 421 221 97 به این دلیل دقت تشخیص در مدل 12 جهته بالاتر رفته که در این تکنیک استخراج ویژگی، اطلاعات بیشتری مد نظر قرار گرفته است.

References: A. K. Jain, T. Taxt, “Feature extraction methods for character recognition--A Survey”, Elsevier Science Ltd, Vol. 29, No. 4, pp. 641-662, 1996. H. Fujisawa, “Forty years of research in character and document recognition an industrial perspective”, Elsevier, Vol.41, pp.2435 -2446, 2008 M. Moradi, M. Poornima, “Feature Extraction and MLP Neural Network Classifier for Farsi Handwritten Digit Recognition”,IEEE Computer Society, 2009 D. Singh, S. Kr. Singh, “Hand Written Character Recognition Using TwelveDirectional Feature Input and Neural Network “, Internatinal Jornal of Computer Applications , Vol.1,2010.

Thanks for attention