این دوره برای تمام افرادی است که هیچ دانشی در حوزه داده کاوی ندارند و قصد دارند که بر چگونگی پیاده سازی پروژه های داده کاوی با استفاده از سرویس  SQL Service Analysis Services ( SSAS ) تسلط پیدا کنند.

دسته دیگر مخاطبین توسعه دهندگان پروژه های Business Intelligence هستند که بدنبال یادگیری راهکارهای داده کاوی هستند و در نهایت مدیران پروژه که نیاز دارند دید درستی از جنبه های کلیدی پیاده سازی راهکارهای داده کاوی داشته باشند.

•  آشنایی با مفاهیم داده کاوی
• آماده سازی داده ها: انتقال و پاکسازی داده ها
•  مدلسازی داده ها بر اساس تکنیک های مدلسازی داده کاوی SQL Server
•  معرفی ابزارهای مایکروسافت جهت پیاده سازی داده کاوی در SQL Server Analysis Services
•  معرفی و تشریح الگوریتم های داده کاوی مایکروسافت (خوشه بندی، درخت تصمیم، رگرسیون خطی، الگوریتم بیز، الگوریتم های سری زمانی، الگوریتم شبکه عصبی، رگرسیون منطقی، الگوریتم وابستگی و …)
• آشنایی با اصول زبان برنامه نویسی R
•  نصب ابزار R Tools for Visual Studio
•  تکنیک های انتقال و پاکسازی داده ها با زبان R

Data Mining Concepts

• Introduction
• Course Materials
• Facilities
• Prerequisites
• Concepts and Terminology
• Data Mining and Results
• CRISP-DM
• Business Problems for Data Mining
• Models, Induction, and Prediction
• Data Mining Tasks
• Key Concepts

SQL Server Analysis Services Data Mining Tools

• Introduction to SQL Server Data Tools
• Project Walk-Through
• Stepping Through the Data Mining Wizard
• Testing and Validation of Mining Models
• Cross Validation
• The Mining Model Prediction Tab
• Reports

The Microsoft Data Mining Algorithms

• Types of Data Mining Algorithms
• Microsoft Decision Trees Algorithm
• Microsoft Linear Regression Algorithm
• Microsoft Clustering Algorithm
• Microsoft Nave Bayes Algorithm
• Microsoft Association Algorithm
• Microsoft Sequence Clustering Algorithm
• Microsoft Time Series Algorithm
• Microsoft Neural Network Algorithm
• Microsoft Logistic Regression Algorithm

Excel PowerPivot Data Mining Add-ins

• Data Mining Tab
• Connection
• Data Preparation
• Management
• Model Usage
• Accuracy and Validation
• Data Modeling
• Visio Data Mining Add-In

R Language and Data Analysis

• Getting started and working with data
• Basic data types and operations
• Data Frames
• Importing, saving, exporting, and re-using data
• Common R functions for numbers, factors, text, and dates
• Vector-oriented computation
• Sorting, ranking, and printing
• Reading and writing data with R
• Reading tables and CSV files, row and column headers, delimiters. Built-in data.
• Cleaning and transforming data
• Writing R scripts and functions
• Loops and conditions
• Flow control, functions and classes in R, executing R scripts from GUI and command line
• Visualizing data and Exploratory Data Analysis
• Exploring and plotting relationships between variables
• Visualizations for categorical and continuous data, scatter plots, box plots, pie charts, histograms, bar plots, dot charts, and the char object

افرادی که حوزه کاری یا تحقیقاتی آنان یادگیری ماشین و عمیق باشد

امکان تحلیل و ساخت برنامه کاربردی در حوزه یادگیری عمیق

• مقدمه و معرفی یادگیری عمیق (Deep learning)
• معرفی هوش مصنوعی، یادگیری ماشین و یادگیری عمیق
• تاریخچه یادگیری عمیق
• کاربردهای یادگیری عمیق
• مزایا و چالش های یادگیری عمیق
• روش ها و مدل های یادگیری عمیق
• معرفی مدل های یادگیری عمیق
• یادگیری بدون نظارت (Unsupervised)
• مدل های خود رمزنگار (Auto Encoder)
• مدل های شبکه عصبی عمیق مولد (Generative adversarial network)
• یادگیری با نظارت (Supervised)
• مدل های شبکه عصبی کانولوشنی (Convolutional neural network)
• مدل های شبکه عصبی بازگشتی (Recurrent neural network)
• جزئیات شبکه های عصبی کانولوشنی
• لایه های کانولوشن
• لایه های کاهش اندازه
• مدل های برتر شبکه های عصبی کانولوشنی
• نحوه آموزش شبکه های عصبی
• آماده سازی داده های آموزش
• انتخاب معماری مناسب شبکه
• الگوریتم های آموزش و بهینه سازی
• تکنیک های تنظیم و بهبود روند آموزش
• تکنیک Batch Normalization
• تکنیک Dropout
• تکنیک انتقال یادگیری (Transfer Learning)
• سخت افزارها، نرم افزارها و برنامه نویسی یادگیری عمیق (با پایتون)
• معرفی سخت‌ افزارهای مناسب برای پیاده سازی ایده های یادگیری عمیق
• معرفی نرم افزارها و کتابخانه های برنامه نویسی حوزه یادگیری عمیق
• نحوه راه اندازی بسترهای کدنویسی پایتون، TensorFlow در ویندوز
• مثال های برنامه نویسی در کتابخانه TensorFlow به زبان پایتون

• افراد فعال در حوزه آمار
• تحلیلگران داده
• افراد فعال در حوزه Business Intelligence
• کسانی که حداقل با یک زبان برنامه نویسی کار کرده اند
• طراحان سایت
• افراد فعال در حوزه Bio-Medical جهت تحلیل دنباله­های DNA
• سازمان­هایی که قصد مهاجرت به سیستمهای توصیه کننده دارند

توانایی تحلیل داده، درک کامل کاربرد فرمول­های ریاضی، یادگیری پیاده سازی یادگیری ماشین، پیاده سازی سیستم­های توصیه کننده، آمادگی دانشجو جهت استخدام در حوزه ­های علم داده

Theory & Math

• Learning Concepts
• Types of machine learning
• Supervised
• Unsupervised
• Semi Supervised
• Reinforcement Learning
• What is Data mining
• What is dataset
• Dataset Terms
• What is Feature
• Types of Features
• Central tendency
• Normal Distribution
• Normal Distribution Box Plot
• Variance
• Co-Variance
• Correlation
• Similarity
• Cosine Similarity
• Machine learning Steps
• Generalization
• Overfit & Underfit
• Bias Variance Tradeoff
• Simple Learners
• Complex Learners

Python

• Variable
• Basic Data Types
• Python Collections
• Conditions
• Loop
• Functions
• Comprehension
• Generator

Tools

• Installing Python Packages
• Install Virtual Environment
• Requirements
• Numpy
• Pandas
• MatplotLib
• Data Visualization
• Normal Distribution
• Histogram
• Scatter Matrix
• Line Chart
• Time Series Chart
• Correlation Matrix
• Load Datasets
• Visualize Records
• Seaborn
• Scikit Learn
• Tensorflow

Basic - Pre-processing

• What is Pre-processing
• What is data quality
• Main tasks
• Null values
• Noisy values
• Data integration
• Identifying entities
• Duplicates
• Normalization
• Min-Max
• Z-score
• Noisy Data recognition
• Detect noisy data with IQR
• Detect noisy data with Z-Score
• Detect via Covariance.EllipticEnvelope
• Detect SVM.OneClassSVM

Supervised Learning

• Basic Concepts
• Linear Regression
• Multi Regression
• Ridge Regression
• Lasso Regression
• Elastic Net Regression
• Gradient Descent
• What is Classification
• Select Features
• Logistic Regression
• Decision Tree algorithm
• Implement Decision Tree
• Naïve Bayes
• Support Vector Machine
• K-Nearest Neighbours
• Linear Discriminant Analysis
• Hyper Parameters
• Grid Search CV
• Randomized Search CV

Model Evaluation

• What is Cross Validations
• Train Test Split
• K-Fold
• Leave One Out
• Shuffle Split
• Evaluation
• MAE, MSE, R2
• Confusion Matrix
• ROC

Un-Supervised Learning

• What is Clustering
• Clustering Analysis
• Cosine Similarity
• K-Means
• What is Recommender Systems
• Collaborative Filtering
• Content Based
• Hybrid
• Pearson Similarity
• K-means
• Fuzzy C-means
• Compare algorithms

Pre-processing

• Imbalanced data pre-processing
  • SMOTE
• Instance Generalization
  • LVQ
• Space Transformation
  • PCA
• Feature Selection
  • Feature subset selection
  • P-Value & Hypothesis
  • Feature importance
  • Univariate feature selection
  • SelectKBest
  • SelectPercentile
  • SelectFpr
  • Correlation
  • Recursive feature elimination
  • L1
  • RFE
• Missing Values Imputations
  • EM
  • KNNI
• Noise Filtering
  • IPF
  • EF

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده

آشنایی با مفاهیم و راه‌حل‌های موجود در دنیای کلان داده و توانایی حل مسائل موجود در این حوزه با استفاده از ابزارهای تدریس شده در کلاس

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• مفاهیم سیستم فایل توزیع شده و بررسی سیستم فایل هادوپ ) HDFS )
• مفهوم مدل برنامه نویسی Mapreduce
• نصب کلاستر سکوی Hadoop )سیستم فایل HDFS و چهارچوب Yarn ( و اجرای برنامه های نمونه بروی آن
• نصب کلاستر Apache Storm و مدل توسعه برنامه در آن و اجرای برخی از مسایل دنیای واقعی بروی آن
• نصب کلاستر Apache Spark و مدل توسعه برنامه در Spark و اجرای برنامه های نمونه بروی آن

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده
• علاقه‌مندان به زبان اسکالا و سکوی آپاچی اسپارک

• توسعه برنامه ها مبتنی بر زبان اسکالا و حل مسئله های کلان داده با استفاده از ابزار آپاچی اسپارک
• ارائه راه‌حل جهت دریافت و جمع ‌آوری جریان داده‌ها
• ذخیره‌سازی داده‌های جریانی بصورت لحظه‌ایی
• توانایی توسعه برنامه پردازش داده‌های جریانی

Apache Spark

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• آماده سازی محیط کدنویسی و اجرا
  1. مقدمه بر زبان برنامه نویسی جاوا
  2. نصب و راه اندازی IDE
• بررسی پروژه آپاچی Spark
• راه اندازی و پیکربندی کلاستر Spark
• توسعه و اجرای برنامه های نمونه با استفاده از پروژه Spark
  1. بررسی و کار با مفاهیم RDD
  2. Transformation و Action
  3. بررسی تابع‌های UDF
• بررسی فرمت فایل‌های مورد استفاده در کلان داده و چگونگی نحوه استفاده از آنها در اسپارک
• بررسی زیرساخت‌های ذخیر‌ه‌سازی داده و استفاده آنها همراه با اسپارک
  1. HDFS
  2. Object Storage
  3. Cassandra
  4. MongoDB
• توسعه برنامه با استفاده از مولفه SparkSQL
  1. تحلیل داده‌های دارای ساختار توسط پرس‌وجوهای sql در اسپارک
  2. DataFrame
  3. Dataset
• توسعه برنامه با استفاده از مولفه MLib در پروژه اسپارک
• بررسی مولفه Graphframe به منظور پردازش داده‌های گراف در اسپارک
• بررسی زیرساخت‌های استقرار پروژه اسپارک
  1. Yarn
  2. Mesos
  3. Docker
  4. Kubernetes
  5. Cloud Computing - IaaS

Apache Kafka

Introduction to Stream Data Processing

• Definition
• Origin and history of Big Data
• Webpages in Big Data projects
• Big Data problems
• Types of Big Data processing
  • Batch
  • Stream
  • Data processing in (almost) real time
  • Definition
  • Advantages and disadvantages
  • Examples
  • Types of message delivery guarentee
    • at-most-once
    • at-least-once
    • exactly-once
  • Tools:
    • Apache Kafka
    • Apache NiFi
    • ELK Stack
    • Apache Flume
    • Fluentd

  • Introduction to Apache Kafka

  • What Kafka is and why it was created
  • The Kafka Architecture
  • The main components of Kafka
  • Some of the use cases for Kafka

  • Kafka Command Line

  • The contents of Kafka's /bin directory
  • How to start and stop Kafka
  • How to create new topics
  • How to use Kafka command line tools to produce and consume messages
  • Kafka terminologies
    • Broker
    • Topic
    • Partition
    • Producer
    • Consumer

  • Kafka Producer Java API

  • The Kafka producer client
  • Some of the KafkaProducer configuration settings and what they do
  • How to create a Kafka producer using the Java API and send messages both synchronously and asynchronously

Kafka Consumer Java API

• The Kafka consumer client
• Some of the KafkaConsumer configuration settings and what they do
• How to create a Kafka consumer using the Java API

Kafka Connect and Spark Streaming

• How to use Kafka and Spark Streaming together

Streaming Platform Concept

• Spark Streaming
• Apache Storm
• Apache Flink
• Apache Kafka Streaming