این دوره برای تمامی افرادی که در پروژه های SQL Server Business Intelligence نقش دارند توصیه می شود. مدیران پروژه، تحلیل گر کسب و کار و مدل ساز داده، مدیران پایگاه داده، معماران نرم افزار و پیاده سازها و توسعه دهندگان ETL و برنامه های کاربردی Business Intelligence

•  چگونگی تدوین نقشه راه در پروژه های DW / BI
•  برنامه ریزی و مدیریت پروژه های Data warehouse , Business Intelligence
•  چگونگی تعریف نیازمندی های کسب و کار و تکنیک های مرتبط با آن و بررسی الگوهای ارائه شده در این حوزه مانند Kimball
•  طراحی ابعاد و تکنیک های مرتبط با آن Star , Snowflake , Constellation
•  آماده سازی بستر ETL
•  طراحی فنی و معماری لایه ETL
•  طراحی فیزیکی پایگاه داده
•  استخراج، اعمال تغییرات و بارگزاری داده با استفاده از SQL Server Integration Service 2014
•  بررسی و پیاده سازی مدل های طراحی Multi-Dimensional و Tabular با استفاده از SSAS
•  پیاده سازی گزارشات با استفاده از SQL Server Reporting Service 2014
•  بررسی برنامه های کاربردی لایه نماش BI در اکسل: Power BI , Power Map , Power Query , Data Mining
•  پیاده سازی داشبورد مدیریتی با استفاده از سرویس Performance Point در SharePoint 2013
•  استقرار و پشتیبانی پروژه DW / BI
• گسترش و بسط سیستم های SQL Business Intelligence

Introduction

• Roadmap of project tasks

Program/Project Planning and Management

• Readiness factors
• Risk assessment and mitigation plans
• Scoping and business justification
• Team roles and responsibilities
• Project plan development and maintenance
• Program management

Business Requirements Definition

• Program versus project requirements preparation
• Requirements gathering participants
• Techniques for gathering requirements and handling obstacles
• Program/project requirements deliverables
• Requirements prioritization

Dimensional Modeling

• Role of dimensional modeling in Project, Corporate Information Factory (CIF) and hybrid architectures
• Fact and dimension table characteristics
• ۴-step process for designing dimensional models
• Transaction fact tables
• Fact table granularity
• DE Normalizing dimension table hierarchies
• Degenerate dimensions
• Date and time-of-day dimension considerations
• Dealing with nulls
• Surrogate key for dimensions
• Star versus snowflake schemas
• Centipede fact tables with too many dimensions
• Fact-less fact tables
• Additive, semi-additive, and non-additive facts
• Workshop: Converting requirements and source data realities into dimensional model
• Consolidated fact tables
• Dimension table role-playing
• Allocated facts at different levels of detail
• Complications with operational header/line data
• Multiple currencies
• Junk dimensions for miscellaneous transaction indicators
• Periodic and accumulating snapshot fact tables
• Implications of business processes on data architecture
• Enterprise Data Warehouse Bus Architecture and matrix for master data and integration
• Conformed dimensions – identical and shrunken roll-ups
• Exercise: Translate business requirements into DW Bus Matrix
• Slowly changing dimensions – type 1, 2, 3 and hybrid techniques for current and point-in-time attribute values
• Mini-dimensions for large, rapidly changing dimensions
• Exercise: Design review to identify common dimensional modeling flaws
• Design review dos and don’ts and mistakes to avoid
• Dimensional modeling process, tasks, and deliverables
• Exercise: Design enhancements to embellish existing design

Mature DW/BI System Check-ups

• Symptoms of sponsorship, data, infrastructure, and business acceptance disorders
• Prescribed treatment plans for common maturity problems

Technical Architecture Design

• Architecture concepts
• Topology options – independent data marts, enterprise data warehouse, and conformed data warehouse
• Common components and functionality
• o ETL system
• o Exercise: Processing slowing changing dimensions type 2
• (o Presentation servers (RDBMS/OLAP
• o Real time options – direct to source, ODS, and real time layer
• o BI application types and services
• Creating the architecture plan
• Exercise: Translating requirements into architecture implications

Product Selection and System Setup

• • Architecture-based evaluation approach and matrices
• Infrastructure considerations
• Metadata management
• Securing the system

Physical Database Design

• Standards and naming conventions
• Physical model development
• Initial aggregation, indexing and storage plans
• Column-oriented database alternative
• Usage monitoring

Extract, Transformation and Load

• Design the ETL system
• o Determine design patterns and implement key subsystems
• o Quality assurance and data validation system
• o Warehouse operations system
• ETL development workflow
• o Create high-level and detailed ETL schematics
• Extract to create, filter and transfer source data
• Cleaning and conforming dimensions and facts
• ETL development workflow continued
• Preparing and delivering dimensions and facts
• Data integration and master data management
• Dealing with data quality issues
• Aggregate management
• Load cycle management
•  Exercise: “High-level ETL schematic” case study

BI Applications

• BI application types (ad hoc, standard reporting, analytic applications, dashboards) and audiences
• Specification of templates, applications and navigation framework
• Development of applications and BI portal

DW/BI System Deployment and Support

• System deployment
• Communication and documentation
• Training and support
• On-going user, data and system maintenance

DW/BI System Growth

• Planning for growth

افرادی که حوزه کاری یا تحقیقاتی آنان یادگیری ماشین و عمیق باشد

امکان تحلیل و ساخت برنامه کاربردی در حوزه یادگیری عمیق

• مقدمه و معرفی یادگیری عمیق (Deep learning)
• معرفی هوش مصنوعی، یادگیری ماشین و یادگیری عمیق
• تاریخچه یادگیری عمیق
• کاربردهای یادگیری عمیق
• مزایا و چالش های یادگیری عمیق
• روش ها و مدل های یادگیری عمیق
• معرفی مدل های یادگیری عمیق
• یادگیری بدون نظارت (Unsupervised)
• مدل های خود رمزنگار (Auto Encoder)
• مدل های شبکه عصبی عمیق مولد (Generative adversarial network)
• یادگیری با نظارت (Supervised)
• مدل های شبکه عصبی کانولوشنی (Convolutional neural network)
• مدل های شبکه عصبی بازگشتی (Recurrent neural network)
• جزئیات شبکه های عصبی کانولوشنی
• لایه های کانولوشن
• لایه های کاهش اندازه
• مدل های برتر شبکه های عصبی کانولوشنی
• نحوه آموزش شبکه های عصبی
• آماده سازی داده های آموزش
• انتخاب معماری مناسب شبکه
• الگوریتم های آموزش و بهینه سازی
• تکنیک های تنظیم و بهبود روند آموزش
• تکنیک Batch Normalization
• تکنیک Dropout
• تکنیک انتقال یادگیری (Transfer Learning)
• سخت افزارها، نرم افزارها و برنامه نویسی یادگیری عمیق (با پایتون)
• معرفی سخت‌ افزارهای مناسب برای پیاده سازی ایده های یادگیری عمیق
• معرفی نرم افزارها و کتابخانه های برنامه نویسی حوزه یادگیری عمیق
• نحوه راه اندازی بسترهای کدنویسی پایتون، TensorFlow در ویندوز
• مثال های برنامه نویسی در کتابخانه TensorFlow به زبان پایتون

• افراد فعال در حوزه آمار
• تحلیلگران داده
• افراد فعال در حوزه Business Intelligence
• کسانی که حداقل با یک زبان برنامه نویسی کار کرده اند
• طراحان سایت
• افراد فعال در حوزه Bio-Medical جهت تحلیل دنباله­های DNA
• سازمان­هایی که قصد مهاجرت به سیستمهای توصیه کننده دارند

توانایی تحلیل داده، درک کامل کاربرد فرمول­های ریاضی، یادگیری پیاده سازی یادگیری ماشین، پیاده سازی سیستم­های توصیه کننده، آمادگی دانشجو جهت استخدام در حوزه ­های علم داده

Theory & Math

• Learning Concepts
• Types of machine learning
• Supervised
• Unsupervised
• Semi Supervised
• Reinforcement Learning
• What is Data mining
• What is dataset
• Dataset Terms
• What is Feature
• Types of Features
• Central tendency
• Normal Distribution
• Normal Distribution Box Plot
• Variance
• Co-Variance
• Correlation
• Similarity
• Cosine Similarity
• Machine learning Steps
• Generalization
• Overfit & Underfit
• Bias Variance Tradeoff
• Simple Learners
• Complex Learners

Python

• Variable
• Basic Data Types
• Python Collections
• Conditions
• Loop
• Functions
• Comprehension
• Generator

Tools

• Installing Python Packages
• Install Virtual Environment
• Requirements
• Numpy
• Pandas
• MatplotLib
• Data Visualization
• Normal Distribution
• Histogram
• Scatter Matrix
• Line Chart
• Time Series Chart
• Correlation Matrix
• Load Datasets
• Visualize Records
• Seaborn
• Scikit Learn
• Tensorflow

Basic - Pre-processing

• What is Pre-processing
• What is data quality
• Main tasks
• Null values
• Noisy values
• Data integration
• Identifying entities
• Duplicates
• Normalization
• Min-Max
• Z-score
• Noisy Data recognition
• Detect noisy data with IQR
• Detect noisy data with Z-Score
• Detect via Covariance.EllipticEnvelope
• Detect SVM.OneClassSVM

Supervised Learning

• Basic Concepts
• Linear Regression
• Multi Regression
• Ridge Regression
• Lasso Regression
• Elastic Net Regression
• Gradient Descent
• What is Classification
• Select Features
• Logistic Regression
• Decision Tree algorithm
• Implement Decision Tree
• Naïve Bayes
• Support Vector Machine
• K-Nearest Neighbours
• Linear Discriminant Analysis
• Hyper Parameters
• Grid Search CV
• Randomized Search CV

Model Evaluation

• What is Cross Validations
• Train Test Split
• K-Fold
• Leave One Out
• Shuffle Split
• Evaluation
• MAE, MSE, R2
• Confusion Matrix
• ROC

Un-Supervised Learning

• What is Clustering
• Clustering Analysis
• Cosine Similarity
• K-Means
• What is Recommender Systems
• Collaborative Filtering
• Content Based
• Hybrid
• Pearson Similarity
• K-means
• Fuzzy C-means
• Compare algorithms

Pre-processing

• Imbalanced data pre-processing
  • SMOTE
• Instance Generalization
  • LVQ
• Space Transformation
  • PCA
• Feature Selection
  • Feature subset selection
  • P-Value & Hypothesis
  • Feature importance
  • Univariate feature selection
  • SelectKBest
  • SelectPercentile
  • SelectFpr
  • Correlation
  • Recursive feature elimination
  • L1
  • RFE
• Missing Values Imputations
  • EM
  • KNNI
• Noise Filtering
  • IPF
  • EF

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده

آشنایی با مفاهیم و راه‌حل‌های موجود در دنیای کلان داده و توانایی حل مسائل موجود در این حوزه با استفاده از ابزارهای تدریس شده در کلاس

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• مفاهیم سیستم فایل توزیع شده و بررسی سیستم فایل هادوپ ) HDFS )
• مفهوم مدل برنامه نویسی Mapreduce
• نصب کلاستر سکوی Hadoop )سیستم فایل HDFS و چهارچوب Yarn ( و اجرای برنامه های نمونه بروی آن
• نصب کلاستر Apache Storm و مدل توسعه برنامه در آن و اجرای برخی از مسایل دنیای واقعی بروی آن
• نصب کلاستر Apache Spark و مدل توسعه برنامه در Spark و اجرای برنامه های نمونه بروی آن

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده
• علاقه‌مندان به زبان اسکالا و سکوی آپاچی اسپارک

• توسعه برنامه ها مبتنی بر زبان اسکالا و حل مسئله های کلان داده با استفاده از ابزار آپاچی اسپارک
• ارائه راه‌حل جهت دریافت و جمع ‌آوری جریان داده‌ها
• ذخیره‌سازی داده‌های جریانی بصورت لحظه‌ایی
• توانایی توسعه برنامه پردازش داده‌های جریانی

Apache Spark

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• آماده سازی محیط کدنویسی و اجرا
  1. مقدمه بر زبان برنامه نویسی جاوا
  2. نصب و راه اندازی IDE
• بررسی پروژه آپاچی Spark
• راه اندازی و پیکربندی کلاستر Spark
• توسعه و اجرای برنامه های نمونه با استفاده از پروژه Spark
  1. بررسی و کار با مفاهیم RDD
  2. Transformation و Action
  3. بررسی تابع‌های UDF
• بررسی فرمت فایل‌های مورد استفاده در کلان داده و چگونگی نحوه استفاده از آنها در اسپارک
• بررسی زیرساخت‌های ذخیر‌ه‌سازی داده و استفاده آنها همراه با اسپارک
  1. HDFS
  2. Object Storage
  3. Cassandra
  4. MongoDB
• توسعه برنامه با استفاده از مولفه SparkSQL
  1. تحلیل داده‌های دارای ساختار توسط پرس‌وجوهای sql در اسپارک
  2. DataFrame
  3. Dataset
• توسعه برنامه با استفاده از مولفه MLib در پروژه اسپارک
• بررسی مولفه Graphframe به منظور پردازش داده‌های گراف در اسپارک
• بررسی زیرساخت‌های استقرار پروژه اسپارک
  1. Yarn
  2. Mesos
  3. Docker
  4. Kubernetes
  5. Cloud Computing - IaaS

Apache Kafka

Introduction to Stream Data Processing

• Definition
• Origin and history of Big Data
• Webpages in Big Data projects
• Big Data problems
• Types of Big Data processing
  • Batch
  • Stream
  • Data processing in (almost) real time
  • Definition
  • Advantages and disadvantages
  • Examples
  • Types of message delivery guarentee
    • at-most-once
    • at-least-once
    • exactly-once
  • Tools:
    • Apache Kafka
    • Apache NiFi
    • ELK Stack
    • Apache Flume
    • Fluentd

  • Introduction to Apache Kafka

  • What Kafka is and why it was created
  • The Kafka Architecture
  • The main components of Kafka
  • Some of the use cases for Kafka

  • Kafka Command Line

  • The contents of Kafka's /bin directory
  • How to start and stop Kafka
  • How to create new topics
  • How to use Kafka command line tools to produce and consume messages
  • Kafka terminologies
    • Broker
    • Topic
    • Partition
    • Producer
    • Consumer

  • Kafka Producer Java API

  • The Kafka producer client
  • Some of the KafkaProducer configuration settings and what they do
  • How to create a Kafka producer using the Java API and send messages both synchronously and asynchronously

Kafka Consumer Java API

• The Kafka consumer client
• Some of the KafkaConsumer configuration settings and what they do
• How to create a Kafka consumer using the Java API

Kafka Connect and Spark Streaming

• How to use Kafka and Spark Streaming together

Streaming Platform Concept

• Spark Streaming
• Apache Storm
• Apache Flink
• Apache Kafka Streaming