Presentation is loading. Please wait.

Presentation is loading. Please wait.

Paper & Pencil Interface 1999 년 10 월 20 일 KAIST 전산학과 인공지능 연구실 김 진 형

Similar presentations


Presentation on theme: "Paper & Pencil Interface 1999 년 10 월 20 일 KAIST 전산학과 인공지능 연구실 김 진 형"— Presentation transcript:

1 Paper & Pencil Interface 1999 년 10 월 20 일 KAIST 전산학과 인공지능 연구실 김 진 형

2 목 차목 차목 차목 차 uPaper & Pen Interface uPen Computers : Dream and Realization uPen Computing 요소 기술 uPen Computing 을 위한 인식기술  KAIST Approach uKiller Applications  Innovative Applications  KAIST Pen-based Arithmetic Tutor uConclusion

3 "Paper and Pencil" Interface u 가장 자연스러운 Interface  (Probably) Between Computer and Humans uVDT, Keyboard, Mouse combination is limited  VDT syndrome : eyestrain, headaches, backaches, stiff necks, sore wrists  Mouse+keyboard vs Pen  Equation input  Drawing input  Large set Character input 한자, 한글 (?)

4 Pen Computer uPen is the major input device  optional keyboard  various size and shape uAims vertical market  Not a general purpose device uSome are already on the market uNot a big success yet  No killer applications yet

5 Pen Computer 의 일반적인 사양 u 작고 가벼워서 들고 다닐 수 있다.  Mobile computing device, PDA u( 전자 ) 펜으로 글씨와 그림 작성, 메뉴 선택 u 무선 통신에 의한 정보 교환  Handy internet terminal 로 uMultiMedia 처리  글씨, 도형, 화상, 음성 u 값이 싸다.

6 Long History of Research uDreams  DynaBook - Alan Kay  Knowledge Navigator - Apple Co.  Tablet - U. of Illinois Undergrads uProjects  Pattern Information Processing (Japan)  Electronic Paper (ESPRIT) uIBM, Sony, etc.

7 Samsung Penmaster 386

8 Samsung Export Model 1994(?)

9

10

11

12 PDA models

13 NeoPoint uRead and send uAccess Internet uPopular PDA programs  Contact  Schedule  To do uSync data with PC uWake-up-call

14 E-book : Rocket Book uDownload book contents uTouch-Screen based interaction uMake note, annotation, book mark, under lining uNo handwriting yet uToo expensive uNo other usage  Need Internet Access

15 E-book : everybook

16 전자부품연구원 ebook u 인터넷에 접속 정보검색 u 문서작성 (?) u8.2 인치 터치 스크린 u 무게 : 1 ㎏ u 배터리 사용시간 : 8 시간 uPDA 4 배크기 칼라 화면 u 저장 : 반도체 메모리 u 중소기업과 협동작업

17 PenComputer 요소 기술 uHardware 기술  Flat Panel Display  Pen/Digitizer  MicroProcessor  Battery and Power management  Storage Devices  Packaging uSoftware 기술  Wireless Communications  Operating System  Handwriting recognition  Utilities and Accessories  Applications

18 Pen Computing 을 위한 인식 문제 u 인식 대상 (online)  Menu 선택  Characters ( 한글, 영문자, 한자, 숫자, 특수문자 )  Drawings, Gestures u 영문 인식 시스템 시장에 출현  Limited Capability Printed style Only : C+ Cursive Style : C- u 적극적인 활용의 장애 요인  Pattern Recognition 학계의 활발한 연구 주제

19 필기 문자 u A Sequence of some writing units u Temporally ordered u (mostly) left-to-right

20 필기 문자 인식 uSource of Difficulty  Static Variability - personal style  Dynamic Variability - shape deviation  Stroke connection - coarticulation effect uProblems to solve Free-Writing  Variability Modeling simple model for high flexibility  Resolve coarticulation segmentation problem

21 Handwritten Roman Styles

22 Non-Roman Character Recognition u 동양언어권에서의 펜 인식 요구가 강함 u 일본의 PDA products  상자안에 쓴 KANA  또박 또박 쓴 한자  상자안에 쓴 영문자 u 중국인들의 노력 u 한국에서의 노력  한글 실용화 수준에 도달  KAIST 에서 수년간 연구

23 Printed All alphabet separated One Syllable in a box Cursive Ligature within Syllable One Syllable in a box Cursive Ligature over Syllables Handwritten Hangul Styles Cursive Ligature within Syllable Syllables may Overlab Spatially

24 KAIST Online 필기문자 인식 연구 u 한글 인식기 (2 개의 국내 특허 )  무제한 필기 형태, 백지위에 연속 필기 가능  인식률 95+% u 무제한 연속 필기 영문자 단어 (US Patent)  Boxed, Run-on, unconstrained cursive word  약 88% 의 인식률 u 한자 인식기 uGesture Recognizer u 응용 연구  도형편집기  Arithmetic Tutoring System 등

25 필기 문자 인식을 위한 KAIST 의 HMM 기반 방법론 uVariability is modeled with HMM  Alphabet as character model  Stroke connection as ligature model as a separate entity uViewing handwritten word as an alternating sequence of character model and ligature model uNetwork of HMM  knowledge of language utilized uHierarchy of Networks  component - character - word - sentence

26 BongNet : Hangul Syllable Model ConsonantLigatureVowelConsonantLigature Initial Node Final Node

27 Circular Network for English Words Circular Network for English Words Initial State Final State A z ligature

28 Recognition Problem uA Path corresponds to a Hangul Syllable / English word  Complete sequence of states and arcs from initial node to final node uRecognition  Finding the maximal probability path for given input chain code sequence  Yields optimal segmentation and character label, simultaneously

29 Cursive Hangul Recognition

30 Hangul Recognition (Segmentation Result)

31 Unconstained English Word Recognition

32 Unconstrained English Word Recognition (Segmentation Result)

33 Network Approach 의 장점 uSegmentation and character labels obtained simultaneously  No external segmentation needed  Segmentation is obtained from global view point uHierarchy of HMM can be constructed  Handwritten sentences with word model and inter-word gap model uSmooth Integration with postprocessing / language models uFramework for unified recognizer of multiple languages

34 Framework of Integrating Knowledge uVarious knowledge can be easily integrated  Augmented Transition Network  data-driven and knowledge-driven approach combined uLanguage model checking  bigram, trigram, dictionary lookup uStructural constraint checking  within or intercharacter constraints  Complementary to Markov Assumption uEnables Pairwise discrimination Advantages of Network Approach

35 Intermixed Use of Languages English words and Chinese characters embedded in Hangul text English words and Chinese characters embedded in Hangul text

36 Unified Network for Multiple Languages

37 Recognition of Multiple Language Text

38 Potential Killer Applications uPenSpreadsheet uPen-based 한글 ( 한자 ) System  Freehand Editor ( 교정부호 이용 )  Free Memo - Fax machine uPen-based Address Book( 방명록 ) uSignature Verifier uFreehand Equation Input/Editor, Freehand Calculator u 외국어 훈련기 u 게임 ( 바둑, 체스, Crossword Puzzle) u 작곡, 악보 편집

39 Pen computer : Note Taker

40 Pen computer : Fax / Phone

41 Pen computer : Draw and Spell

42 Pen Computer : Family Message Center

43 Pen Computer : Inventory Watch

44 Pen Computer : Data Collector

45 Pen-Based Editing u 교정부호 (Gesture) 를 사용한 자연스로운 교정 replace insert exchange join paragraphs insert space insert text

46 Pen Computer : Portable Map

47 지휘관의 전자수첩

48 FreeDraw

49 Pen Computer : Archtect's SketchPad

50 Free Hand Spreadsheet

51 Freehand Calculator

52 Freehand Equation Input u 수식 입력 시스템 : 문서 편집기와 연계 전자 펜으로 수식 입력수식 인식

53 Pen-based Arithmetic Tutor

54 Pen-based Arithmetic Tutor 목표 학생이사용하기 쉬운 인터훼이스 학생 중심의 학습 진행 학교에서 하고있는 것과 동일한 교육 방법 실현

55 분수의 사칙 계산 u 인식 대상  숫자  연산 기호 +, -, , /, (, ), =,   편집 기호 u 문자 ( 숫자, 연산기호 ) 와 편집기호의 구분 문맥 정보의 이용

56 연산 개념 u 자연수 덧셈, 뺄셈, 곱셈, 나눗셈 u 최대공약수, 최소 공배수 구하기 u 대분수, 가분수간 변환 u 공통분모 분수의 덧, 뺄셈 u 분수 변환, 약분, 통분 u 분수 덧셈, 뺄셈, 곱셈 u 나눗셈을 곱셈으로 변환 u 도움말 기능 - 학생의 이해 정도에 따른 차등적 설명 u 평가 - 풀이 속도, 정확도, 개념의 이해 정도

57 Electronic Classroom

58 결론 u"Paper and Pencil" 인터훼이스는 가장 자연스러운 Human Computer Interaction u 그러나 넘어야 할 많은 과제  하드웨어  인식기  Killer Applications uKAIST AI lab 에서 지난 10 년간 꾸준히 연구 수행  한글 솔류션 제공 가능


Download ppt "Paper & Pencil Interface 1999 년 10 월 20 일 KAIST 전산학과 인공지능 연구실 김 진 형"

Similar presentations


Ads by Google