1. Chapter 14: Meta Data Repository Development
دانشکده مهندسی کامپیوتر
دانشگاه صنعتی امیرکبیر
Chapter 14: Meta Data Repository Development
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
سمیه مدبری
درس هوش تجاری
شماره دانشجویی

2. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
فهرست مطالب
موارد مورد نظر در توسعه یک انباره فرا داده
منابع متعدد برای انباره فرا داده و تفاوت مابین انباره های فرا داده فعال و غیر فعال
نیاز برای توسعه دو نوع روند واسط انباره فرا داده: روند واسط ابزار و روند واسط دسترسی
چهار تستی که در توسعه انباره فرا داده انجام می شود: تست واحد، تست یکپارچگی، تست رگرسیون و تست پذیرش.
شش فعالیتی که قبل از تولید انباره فرا داده باید انجام شود.
چگونه یک فهرست برای انباره فرا داده سازماندهی شود.
توضیخ مختصر کارهایی که برای توسعه انباره فرا داده باید انجام شود، خروجی های این فعالیت ها و نقش های درگیر در ای فعالیت ها
ریسک انجام ندادن این مرحله
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

3. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
موارد قابل ملاحظه
حمایت از تولید انبار فرا داده
چه واسط هایی برای تولید انباره فرا داده لازم است؟
آیا لازم هست برای نوشتن این واسط ها با فروشندگان انباره فرا داده برای گرفتن کمک تماس بر قرار کنیم؟
آیا هر مشکلی که ناشی از استخراج فرا داده از ابزارها منبع آن در نظر گرفته شده است؟ آیا ما می دانیم که سایر شرکت ها با چه مشکلاتی در این راه مواجه شده اند؟
آیا ما با فروشندگان ابزارها برای گرفتن کمک تماس خواهیم گرفت؟
آیا ما گزارش های فرا داده را که توسط انباره فرا داده تولید شده تغییر میدهیم؟
آیا انباره فرا داده یم راهنمای بر خط حساس به متن دارد؟
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

4. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
موارد قابل ملاحظه
قواعد ساخت انباره فرا داده
آیا طراحی انباره فرا داده به اندزاه کافی برای توسعه در آینده انعطاف پذیر است؟
آیا لازم است فهرست انباره فرا داده را به عنوان بخشی از واسط دسترسی برای متخصصین و مدیران تجاری ساخته شود؟
آیا لازم است تابع راهنمای بر خط حساس به متن برای انباره فرا داده ساخته شود؟
آیا نیاز است گزارش های فرا داده نوشته شود؟ ما چگونه آنها را توزیع می کنیم؟ از طریق کاغذ؟ یا از طریق اینترنت؟
آیا فرا داده ها با گزارش ها و پرس وجوهای کاربردهای هوش تجاری یکپارچه می شود؟ چه فرآیندی برای حمایت از ساخت ان لازم است؟
چگونه می توانیم مطمئن شویم که فرا داده های موجود در انباره فرا داده با داده های حوجود در سایر ابزارها و سیستم های مدیریت داده همانگ است؟
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

5. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
موارد قابل ملاحظه
نیروی مود نیاز
تا چه اندازه کد نوشتن و تست را می توانیم ماژولار کنیم؟ آیا به اندازه کافی توسعه دهنده و انجام دهنده تست برای توسعه سیستم با سرعت مورد نظر داریم؟
آیا همان توسعه دهندگانی که بر روی توسعه انباره فرا داده کار می کنند بر روی توسعه تابع راهنمایی هم می توانند کار کنند؟ یا می توان تابع راهنمایی را به صورت موازی با اینکار انجام داد؟
مدیر پایگاه داده تمام وقت است یا پاره وقت؟ آیا یک مدیر پایگاه مدیر پایگاه داده های هدف در هوش تجاری نیز هست؟
چه کسی انباره فرا داده را نگهداری میکند؟ آیا یک مدیر تمتم وقت برای انباره فرا داده وجود دارد؟ آیا یک فرد کافی است؟
آیا هیچ آموزش خاصی برای توسعه دهندگان یا مدیران تجاری لازم است؟
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

6. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
موارد قابل ملاحظه
آمادگی برای تولید
آیا لازم است که انباره فرا داده بر روی یک سرور مجرا نصب شود؟ چه کسی مسئول نصب و تست سرور است؟
آیا باید روندهای اجرایی برای اوپراتورها نوشته شود؟
آیا نیاز هست که یک مرجع راهنمایی برای کارمندان مسئول پاسخ گویی و راهنمایی و همچنین مدیران تجاری نوشته شود؟
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

7. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
برای اینکه مدیران در محیط های حمایت از تصمیم گیری بهتر عمل کنند نیاز به دسترسی به انباره فرا داده است.
دو راه برای داشتن انباره فرا داده وجود دارد:
خریدن
توسعه
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

8. مقدار دهی انباره فرا داده
Technicians and Business people
Business Analysts
Data Administrator
Data base administrator
ETL Lead Developer
Application Lead Developer
Data Mining Experts
Word Processing files
DBMS Dictionaries
Spreadsheets
CASE Tools
ETL Tools
OLAP Tools
Data Mining Tools
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
Meta Data Migration Process
Meta data repository

9. مقدار دهی انباره فرا داده
Word Processing files:دست نوشته ها، روندها و سایر مستندات کمتر رسمی که حاوی تعاریف داده ها و قوانین تجاری می باشند.
Spreadsheets:شامل محاسبات و ماکروهایی که بر روی داده ها در spreadsheetsهای خصوصی تحلیل گران تجاری بعد از اینکه آنها داده ها را از منابع مختلف بارگیری نموده اند اجرا شده است. این محاسبات و ماکروها می توانند به عنوان قوانین انتقال، قوانین پاکسازی،derivation، aggregation و summarization مورد استفاده قرار بگیرد.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

10. مقدار دهی انباره فرا داده
CASE Tools:شامل نام ها، تعاریف، اندازه ها، روابط، اطلاعات کاردینالیتی، قوانین صحت منبع و نکاتی در مودر داده هایی که برای سیستم های عملیاتی یا کاربردهای BI مدل شده اند می باشد.همچنین این منبع معمولا نام های تخصصی جداول و ستون ها و همچنین کلیدهای اصلی و خارجی را نیز ذخیره میکند. بعضی از نمونه های پیچیده تر نیز شامل ماژول هایی هستند که فرا داده ها را برای اجزای پردازشی مانند: برنامه ها، screen displays و لایه های گزارش نیز ذخیره می کند.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

11. مقدار دهی انباره فرا داده
Internal DBMS Dictionaries:بخش جدایی ناپذیر تمامی DBMS ها هستند که ساختار پایگاه داده ها را کنترل می کننند. در پایگاه داده های رابطه ای SYSTABLES نام یده می شوند. که نام ها، تعاریف، اندازه ها، روابط و حجم ساختارهای پایگاه داده مانند گروهایی ذخیره سازی، مکان های جداول، جداول، ستون ها، کلید های اصلی، کلیدهای خارجی و اندیس ار نگه می دارد.
ETL Tools:این ابزارها بدون دستور العمل ها کار نمی کنند. دیکشنری داخلی آن mappingهای مبدا به مقصد و همچنین الگوریتم های انتقال که بر روی داده های منبع اعمال می شود را ذخیره می کند.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

12. مقدار دهی انباره فرا داده
OLAP Tools:مشخصه های مربوط به اعمال OLAP را در فهرست های داجلی خود ذخیره می کند. این مشخصه ها به OLAP این امکان را میدهند که عملیات Drill-down و roll-up را انجام دهند. بعضی از OLAPها این امکان ار دارندکه در پایگاه دادههای دیگر تحت نظر DBMS مشترک یا حتی پایگاه داده ای با DBMSمتفاوت برای استخراج جواب پرش و جو عمل drill را انجام دهند.
Data Mining Tools:توصیفات مدل های داده تحلیلی که بر اساس آن ها عملیات داده کاوی انجام می شود را ذخیره میکند.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

13. انباره فرا داده در مقابل تغییر!
انباره فرا داده فعالactive:تغییرات تنها بر روی انباره فرا داده انجام می شود و انباره فرا داده این تغیرات را به ابزار و DBMS مربوطه منتشر خواهد کرد.
انباره فرا داده غیر فعالpassive:تغییرات باید هم بر روی انباره فرا داده انجام بگیرد و هم بر روی ابزار و DBMS مربوطه . و این تغییرات باید به صورت همگام شده با هم به صورت دستی یا با استفاده از برنامه ها صورت پذیرد.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

14. واسط های پردازشی انباره فرا داده
هر انباره فرا داده برای اینکه بتواند کار کند به دو واسط نیاز دارد:
واسط ابزار: برای پذیرش داده از سایر ابزارها
واسط دسترسی: برای تعامل با مذیرات تجاری و متخصصین.
نکته: اگر انباره فرا داده را خودمان بخواهیم ایجاد کنیم باید هر دو واسط را نیز ایجاد کنیم. ولی اگر آن را خریداری کنیم تنها کافی است که واسط ابزار را توسعه دهیم.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

15. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
interface
interface
CASE Tools
Technician
Business analyst
DBMS Dictionaries
Meta data repository
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
ETL Tools
OLAP Tools

16. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
تست انباره فرا داده
زمان و تعداد افراد تست کنده کافی برای تست انباره داده باید در زمانبندی پروژه در نظر گرفته شود.
تست کردن یکی از فعالیت هایی است که به راحتی قابل ماژول بندی است و افزایش تعداد تست کنندگانموجب افزایش سرعت کار می شود.
نکته: تجربه نشان داده برای هر یک روز کد زدن سه روز تست کردن نیاز است.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

17. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
تست انباره فرا داده
تست های مورد نیاز انباره فرا داده:
Unit Testing
آیا کد بدون خطا کامپایل می شود؟
Integration Testing
آیا خروجی ها متناسب با نیازمندیها هستند؟
Regression Testing
آیا تغییرات باعث خرابی این برنامه یا سایر برنامه ها می شود؟
Acceptance Testing
آیا خروجی ها از تمامی جنبه ها قابل قبول هستند؟
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

18. آماده شدن برای اجرای انباره فرا داده
Security
Program and Quality Libraries
Instruction Guides and Manuals
Server Platform
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
Meta Data Repository
Meta data repository Training
Production DBMS

19. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
فهرست انباره فرا داده
یک نحوه نمایش محتویات انباره فرا داده به مدیران تجاری و متخصصین.
به صورت یک وب سایت یا یک ماتریس حساس به متن ساخته شود.
همچنین به عنوان جزئی از راهنمای بر خط محیط تصمیم گیری BI نیز می تواند ساخته شود.
Business directory
Information navigator
Technical directory
audience
Business staff
Technical staff
Meta data components and functions
Business terms
Aggregations
Security
Source of data
transformations
BI target databases
Currency of data
Query library
indices
ownership
Drill-Down functions
Data mapping
Data quality
Roll-up functions
Quality metrics
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

20. فعالیت های توسعه انباره فرا داده
5.Prepare meta data repository for production
2.Build and unit test meta data migration process
1.Build meta data repository databases
4.Test mete data repository programs or product functions
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
3.Build and unit test meta data application
6.Provide meta data repository training

21. فعالیت های توسعه انباره فرا داده
مرحله1:چه از پایگاه داده رابطه ای استفاده می کنید چه شی گرا یک زبان تعریف داده DDL را ایجاد و آن را اجرا کنید تا ساختارهای انباره فرا داده را ایجاد کنید. سپس یک زبان کنترل داده DCL را ایجاد و اجرا کنید تا حقوق ایجاد، پاک کردن، به روز کردن و خواندن بر روی پایگاه داده انباره فرا داده ایجاد شود.
مرحله2: این مرحله شامل ابزار واسط پردازش و برنامه های انتقال فرا داده که داده های استخراج شده را برای انباره فرا داده آماده می کند می باشد.
مرحله3: توسعه توابع کاربردی که شامل: پردازش واسط دسترسی ، تابع راهنمایی بر خط، گزارش های فرا داده و پرش و جوها می باشد. اگر انباره فرا داده را خریداری کرده باشید باید این توابع کاربردها ار تست کنید
مرحله4: تست تمامی برنامه ها و محصولات انباره فرا داده از ابتدا تا انتها با استفاده از تست های یکپارچگی و رگرسیون.
مرحله 5: نصب و تست بستر سرور و برای ایجاد انباره فرا داده. ایجاد DDL و DCL برای تولید پایگاه داده انباره فرا داده. نوشتن روال های اجرایی برای افراد اجرایی همراه با دستورالعمل هایی برای اجرا کردن مداوم برنامه های زمانبندی شده انباره فرا داده.
مرحله 6: آموزش افرادی همچون power user ها و help desk staffها
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

22. نتایج حاصل از این فعالیت ها
1: پایگاه داده انباره فرا داده فیزیکی
2: برنامه تست انباره فرا داده
3: برنامه های انباره فرا داده
4: کتابخانه برنامه انباره فرا داده
5: مستندات ساخت انباره فرا داده
6: مواد آموزشی انباره فرا داده
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

23. نقش های درگیر در این فعالیت ها
Business representative: شرکت در تست پذیرش و دوره آموزش انباره فرا داده.
مدیر پایگاه داده: ایجاد ساختار پایگاه داده.اعطای حق دسترسی به متخصصین، مدیران تجاری، ابزارها و سایر برنامه های دسترسی و نوشتن پایگاه داده انباره فرا داده. کمک به مدیر انباره فرا داده در در مرحله دوم روند توسعه
مدیر فرا داده: نصب انباره فرا داده در صورت خرید آن و نظارت بر روند توسعه در صورت ساخت آن. نصب و تست سرور تولید برای انباره فرا داده. همکاری در فعالیتهای توسعه.
توسعه دهندگان انباره فرا داده: نوشتن کد برای مرحله migrationکه شامل پردازش واسط ابزار، کاربرد فرا داده، پردازش واسط دسترسی و تابع راهنمای بر خط می باشد.
تست کنندگان: تست کنندگان نباید از توسعه دهندگان انباره فرا داده باشند.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

24. ریسک انجام ندادن این مرحله
بدون ایجاد یک انباره فرا داده شما باید یک کاربرد فرا داده متعرف پیچیده ایجاد کنید تا بتواند از تمای ابزارها و DBMSهای مختلف داده را برای تولید گزارش های فرا داده استخراج کند. که این کار بسیار سخت، هزینه بر، وقت گیر، با کد بسیار فشرده و خسته کننده خواهد بود.
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند

25. سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند
با تشکر از توجه شما
سمیه مدبری/ درس هوش تجاری/آزمایشگاه سیستم های هوشمند