• افراد فعال در حوزه آمار
• تحلیلگران داده
• افراد فعال در حوزه Business Intelligence
• کسانی که حداقل با یک زبان برنامه نویسی کار کرده اند
• طراحان سایت
• افراد فعال در حوزه Bio-Medical جهت تحلیل دنباله­ های DNA
• سازمان­ هایی که قصد مهاجرت به سیستم های توصیه کننده دارند

توانایی تحلیل داده، درک کامل کاربرد فرمول­های ریاضی، یادگیری پیاده سازی یادگیری ماشین، پیاده سازی سیستم­های توصیه کننده، آمادگی دانشجو جهت استخدام در حوزه ­های علم داده

Theory & Math

• Learning Concepts
• Types of machine learning
• Supervised
• Unsupervised
• Semi Supervised
• Reinforcement Learning
• What is Data mining
• What is dataset
• Dataset Terms
• What is Feature
• Types of Features
• Central tendency
• Normal Distribution
• Normal Distribution Box Plot
• Variance
• Co-Variance
• Correlation
• Similarity
• Cosine Similarity
• Machine learning Steps
• Generalization
• Overfit & Underfit
• Bias Variance Tradeoff
• Simple Learners
• Complex Learners

Python

• Variable
• Basic Data Types
• Python Collections
• Conditions
• Loop
• Functions
• Comprehension
• Generator

Tools

• Installing Python Packages
• Install Virtual Environment
• Requirements
• Numpy
• Pandas
• MatplotLib
• Data Visualization
• Normal Distribution
• Histogram
• Scatter Matrix
• Line Chart
• Time Series Chart
• Correlation Matrix
• Load Datasets
• Visualize Records
• Seaborn
• Scikit Learn
• Tensorflow

Basic - Pre-processing

• What is Pre-processing
• What is data quality
• Main tasks
• Null values
• Noisy values
• Data integration
• Identifying entities
• Duplicates
• Normalization
• Min-Max
• Z-score
• Noisy Data recognition
• Detect noisy data with IQR
• Detect noisy data with Z-Score
• Detect via Covariance.EllipticEnvelope
• Detect SVM.OneClassSVM

Supervised Learning

• Basic Concepts
• Linear Regression
• Multi Regression
• Ridge Regression
• Lasso Regression
• Elastic Net Regression
• Gradient Descent
• What is Classification
• Select Features
• Logistic Regression
• Decision Tree algorithm
• Implement Decision Tree
• Naïve Bayes
• Support Vector Machine
• K-Nearest Neighbours
• Linear Discriminant Analysis
• Hyper Parameters
• Grid Search CV
• Randomized Search CV

Model Evaluation

• What is Cross Validations
• Train Test Split
• K-Fold
• Leave One Out
• Shuffle Split
• Evaluation
• MAE, MSE, R2
• Confusion Matrix
• ROC

Un-Supervised Learning

• What is Clustering
• Clustering Analysis
• Cosine Similarity
• K-Means
• What is Recommender Systems
• Collaborative Filtering
• Content Based
• Hybrid
• Pearson Similarity
• K-means
• Fuzzy C-means
• Compare algorithms

Pre-processing

• Imbalanced data pre-processing
  • SMOTE
• Instance Generalization
  • LVQ
• Space Transformation
  • PCA
• Feature Selection
  • Feature subset selection
  • P-Value & Hypothesis
  • Feature importance
  • Univariate feature selection
  • SelectKBest
  • SelectPercentile
  • SelectFpr
  • Correlation
  • Recursive feature elimination
  • L1
  • RFE
• Missing Values Imputations
  • EM
  • KNNI
• Noise Filtering
  • IPF
  • EF

افرادی که حوزه کاری یا تحقیقاتی آنان یادگیری ماشین و عمیق باشد

امکان تحلیل و ساخت برنامه کاربردی در حوزه یادگیری عمیق

مقدمه و معرفی یادگیری عمیق (learning Deep)

• معرفی هوش مصنوعی
• معرفی اجمالی یادگیری ماشین
• معرفی روش ها و الگوریتم های یادگیری ماشین
• معرفی اجمالی شبکه های عصبی مصنوعی
• تاریخچه یادگیری عمیق
• کاربردهای یادگیری عمیق
• فرصت ها و چالش های یادگیری عمیق

روش ها و مدل های یادگیری عمیق

• معرفی انواع یادگیری
• الگوریتم ها و کاربردهای یادگیری با نظارت (Supervised)
• الگوریتم و کاربردهای یادگیری بدون نظارت (Unsupervised)
• عملکرد و کاربرد روش خود رمزنگار (Auto Encoder)
• عملکرد و روش کار شبکه های (GANs (Generative Adversarial Networks
• معرفی و کاربرد شبکه عصبی کانولوشنی (CNN (Convolutional Neural Network
• معرفی و کاربرد شبکه عصبی بازگشتی (RNN (Recurrent Neural Network

سخت افزار و نرم افزارهای مورد نیاز

• معرفی سخت افزارهای مختلف موجود در ایران و جهان برای پیاده سازی الگوریتم ها و روش های حوزه یادگیری عمیق
• معرفی نرم افزارها و کتابخانه های برنامه نویسی حوزه یادگیری عمیق
• نحوه راه اندازی بسترهای کدنویسی پایتون و TensorFlow در ویندوز

جزئیات پیاده سازی شبکه عصبی عمیق با مثال عملی

• معرفی ساختار و نحوه پیاده سازی یک شبکه عصبی عمیق
• معرفی و پیاده سازی شبکه عصبی عمیق کانولوشن با مجموعه داده MNIST به صورت کامال پایه ای
• معرفی و پیاده سازی سیستم تشخیص چهره با استفاده از شبکه عصبی عمیق

این دوره برای تمام افرادی است که هیچ دانشی در حوزه داده کاوی ندارند و قصد دارند که بر چگونگی پیاده سازی پروژه های داده کاوی با استفاده از سرویس  SQL Service Analysis Services ( SSAS ) تسلط پیدا کنند.

دسته دیگر مخاطبین توسعه دهندگان پروژه های Business Intelligence هستند که بدنبال یادگیری راهکارهای داده کاوی هستند و در نهایت مدیران پروژه که نیاز دارند دید درستی از جنبه های کلیدی پیاده سازی راهکارهای داده کاوی داشته باشند.

•  آشنایی با مفاهیم داده کاوی
• آماده سازی داده ها: انتقال و پاکسازی داده ها
•  مدلسازی داده ها بر اساس تکنیک های مدلسازی داده کاوی  SQL Server
•  معرفی ابزارهای مایکروسافت جهت پیاده سازی داده کاوی در SQL Server Analysis Services
•  معرفی و تشریح الگوریتم های داده کاوی مایکروسافت (خوشه بندی، درخت تصمیم، رگرسیون خطی، الگوریتم بیز، الگوریتم های سری زمانی، الگوریتم شبکه عصبی، رگرسیون منطقی، الگوریتم وابستگی و …)
• آشنایی با اصول زبان برنامه نویسی  R
•  نصب ابزار R Tools for Visual Studio
•  تکنیک های انتقال و پاکسازی داده ها با زبان  R

Data Mining Concepts

• Introduction
• Course Materials
• Facilities
• Prerequisites
• Concepts and Terminology
• Data Mining and Results
• CRISP-DM
• Business Problems for Data Mining
• Models, Induction, and Prediction
• Data Mining Tasks
• Key Concepts

SQL Server Analysis Services Data Mining Tools

• Introduction to SQL Server Data Tools
• Project Walk-Through
• Stepping Through the Data Mining Wizard
• Testing and Validation of Mining Models
• Cross Validation
• The Mining Model Prediction Tab
• Reports

The Microsoft Data Mining Algorithms

• Types of Data Mining Algorithms
• Microsoft Decision Trees Algorithm
• Microsoft Linear Regression Algorithm
• Microsoft Clustering Algorithm
• Microsoft Nave Bayes Algorithm
• Microsoft Association Algorithm
• Microsoft Sequence Clustering Algorithm
• Microsoft Time Series Algorithm
• Microsoft Neural Network Algorithm
• Microsoft Logistic Regression Algorithm

Excel PowerPivot Data Mining Add-ins

• Data Mining Tab
• Connection
• Data Preparation
• Management
• Model Usage
• Accuracy and Validation
• Data Modeling
• Visio Data Mining Add-In

R Language and Data Analysis

• Getting started and working with data
• Basic data types and operations
• Data Frames
• Importing, saving, exporting, and re-using data
• Common R functions for numbers, factors, text, and dates
• Vector-oriented computation
• Sorting, ranking, and printing
• Reading and writing data with R
• Reading tables and CSV files, row and column headers, delimiters. Built-in data.
• Cleaning and transforming data
• Writing R scripts and functions
• Loops and conditions
• Flow control, functions and classes in R, executing R scripts from GUI and command line
• Visualizing data and Exploratory Data Analysis
• Exploring and plotting relationships between variables
• Visualizations for categorical and continuous data, scatter plots, box plots, pie charts, histograms, bar plots, dot charts, and the char object

این دوره برای تمامی افرادی که در پروژه های SQL Server Business Intelligence نقش دارند توصیه می شود. مدیران پروژه، تحلیل گر کسب و کار و مدل ساز داده، مدیران پایگاه داده، معماران نرم افزار و پیاده سازها و توسعه دهندگان ETL و برنامه های کاربردی .Business Intelligence

•  چگونگی تدوین نقشه راه در پروژه های DW / BI
•  برنامه ریزی و مدیریت پروژه های  Data warehouse , Business Intelligence
•  چگونگی تعریف نیازمندی های کسب و کار و تکنیک های مرتبط با آن و بررسی الگوهای ارائه شده در این حوزه مانند  Kimball
•  طراحی ابعاد و تکنیک های مرتبط با آن  Star , Snowflake , Constellation
•  آماده سازی بستر  ETL
•  طراحی فنی و معماری لایه  ETL
•  طراحی فیزیکی پایگاه داده
•  استخراج، اعمال تغییرات و بارگزاری داده با استفاده از SQL Server Integration Service 2014
•  بررسی و پیاده سازی مدل های طراحی Multi-Dimensional و Tabular با استفاده از SSAS
•  پیاده سازی گزارشات با استفاده از  SQL Server Reporting Service 2014
•  بررسی برنامه های کاربردی لایه نماش BI در اکسل:Power BI , Power Map .Power Query ,Data Mining
•  پیاده سازی داشبورد مدیریتی با استفاده از سرویس Performance Point در SharePoint 2013
•  استقرار و پشتیبانی پروژه  DW/BI
• گسترش و بسط سیستم های  SQL Business Intelligence

Introduction

• Roadmap of project tasks

Program/Project Planning and Management

• Readiness factors
• Risk assessment and mitigation plans
• Scoping and business justification
• Team roles and responsibilities
• Project plan development and maintenance
• Program management

Business Requirements Definition

• Program versus project requirements preparation
• Requirements gathering participants
• Techniques for gathering requirements and handling obstacles
• Program/project requirements deliverables
• Requirements prioritization

Dimensional Modeling

• Role of dimensional modeling in Project, Corporate Information Factory (CIF) and hybrid architectures
• Fact and dimension table characteristics
• ۴-step process for designing dimensional models
• Transaction fact tables
• Fact table granularity
• DE Normalizing dimension table hierarchies
• Degenerate dimensions
• Date and time-of-day dimension considerations
• Dealing with nulls
• Surrogate key for dimensions
• Star versus snowflake schemas
• Centipede fact tables with too many dimensions
• Fact-less fact tables
• Additive, semi-additive, and non-additive facts
• Workshop: Converting requirements and source data realities into dimensional model
• Consolidated fact tables
• Dimension table role-playing
• Allocated facts at different levels of detail
• Complications with operational header/line data
• Multiple currencies
• Junk dimensions for miscellaneous transaction indicators
• Periodic and accumulating snapshot fact tables
• Implications of business processes on data architecture
• Enterprise Data Warehouse Bus Architecture and matrix for master data and integration
• Conformed dimensions – identical and shrunken roll-ups
• Exercise: Translate business requirements into DW Bus Matrix
• Slowly changing dimensions – type 1, 2, 3 and hybrid techniques for current and point-in-time attribute values
• Mini-dimensions for large, rapidly changing dimensions
• Exercise: Design review to identify common dimensional modeling flaws
• Design review dos and don’ts and mistakes to avoid
• Dimensional modeling process, tasks, and deliverables
• Exercise: Design enhancements to embellish existing design

Mature DW/BI System Check-ups

• Symptoms of sponsorship, data, infrastructure, and business acceptance disorders
• Prescribed treatment plans for common maturity problems

Technical Architecture Design

• Architecture concepts
• Topology options – independent data marts, enterprise data warehouse, and conformed data warehouse
• Common components and functionality
• o ETL system
• o Exercise: Processing slowing changing dimensions type 2
• (o Presentation servers (RDBMS/OLAP
• o Real time options – direct to source, ODS, and real time layer
• o BI application types and services
• Creating the architecture plan
• Exercise: Translating requirements into architecture implications

Product Selection and System Setup

• • Architecture-based evaluation approach and matrices
• Infrastructure considerations
• Metadata management
• Securing the system

Physical Database Design

• Standards and naming conventions
• Physical model development
• Initial aggregation, indexing and storage plans
• Column-oriented database alternative
• Usage monitoring

Extract, Transformation and Load

• Design the ETL system
• o Determine design patterns and implement key subsystems
• o Quality assurance and data validation system
• o Warehouse operations system
• ETL development workflow
• o Create high-level and detailed ETL schematics
• Extract to create, filter and transfer source data
• Cleaning and conforming dimensions and facts
• ETL development workflow continued
• Preparing and delivering dimensions and facts
• Data integration and master data management
• Dealing with data quality issues
• Aggregate management
• Load cycle management
•  Exercise: “High-level ETL schematic” case study

BI Applications

• BI application types (ad hoc, standard reporting, analytic applications, dashboards) and audiences
• Specification of templates, applications and navigation framework
• Development of applications and BI portal

DW/BI System Deployment and Support

• System deployment
• Communication and documentation
• Training and support
• On-going user, data and system maintenance

DW/BI System Growth

• Planning for growth

• تمامی لینوکس کاران و متخصصان شبکه
• Sysadmins Developers

• شروع کار با Docker
• معرفی Docker، تاریخچه و آشنایی با مباحث اولیه
• پیش نیازهای نصب، نصب Docker  - آشنایی با مباحث اولیه و پیاده سازی آن ها
• شروع کار با Docker و  Basic Commands
• بررسی معماری Docker
• آشنایی باContainer  و Image, Docker Files
• راه اندازی پراسس ها تحت Docker
• Manage Containers
• Resource Management
• Docker logs
• تنظیمات شبکه در Docker و Link کردنContainer  ها
• راه اندازی سرویس های مختلف تحت Docker
• آشنایی با مفهوم Storage
• آشنایی Swarm Mode
• و....

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده

آشنایی با مفاهیم و راه‌حل‌های موجود در دنیای کلان داده و توانایی حل مسائل موجود در این حوزه با استفاده از ابزارهای تدریس شده در کلاس

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• مفاهیم سیستم فایل توزیع شده و بررسی سیستم فایل هادوپ ( HDFS )
• مفهوم مدل برنامه نویسی Mapreduce
• نصب کلاستر سکوی Hadoop سیستم فایل HDFS و چهارچوب Yarn و اجرای برنامه های نمونه بروی آن
• نصب کلاستر Apache Storm و مدل توسعه برنامه در آن و اجرای برخی از مسایل دنیای واقعی بروی آن
• نصب کلاستر Apache Spark و مدل توسعه برنامه در Spark و اجرای برنامه های نمونه بروی آن

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده

آشنایی با مفاهیم و راه‌حل‌های موجود در دنیای کلان داده و توانایی حل مسائل موجود در این حوزه با استفاده از ابزارهای تدریس شده در کلاس

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• مفاهیم سیستم فایل توزیع شده و بررسی سیستم فایل هادوپ ( HDFS )
• مفهوم مدل برنامه نویسی Mapreduce
• نصب کلاستر سکوی Hadoop سیستم فایل HDFS و چهارچوب Yarn و اجرای برنامه های نمونه بروی آن
• نصب کلاستر Apache Storm و مدل توسعه برنامه در آن و اجرای برخی از مسایل دنیای واقعی بروی آن
• نصب کلاستر Apache Spark و مدل توسعه برنامه در Spark و اجرای برنامه های نمونه بروی آن

مدیران شرکت ها، استارتاپ ها، برنامه نویس ها و ...

• آشنایی با متودولوژی های گوناگون مهندسی نرم افزار
• آشنایی با متودلوژي مدیریت پروژه Kanban
• مدیریت پروژه به کمک Agile و Scrum
• ‌History
• Scrum vs Kanban
• Sprints and iterations
• Backlog
• Tasks
• Estimate Points
• Daily meetings
• Retrospective
• Velocity
• Scrum roles (Scrum Master, Product Owner, …)
• آشنایی با ابزار های موجود و روند کار
• معرفی ورژن کنترل سیستم ها
• آشنایی با Git و تاریخچه آن
• چرا از Git استفاده میکنیم؟
• شروع کار با Git
• Git repositories
• Branches
• Git commands
• Git workflow
• Remotes (Github, Gitlab, Bitbucket, …)
• Cheatsheet
• Tags
• Histories
• Publish
• Best practices

• علاقه مندان به مباحث Big Data
• دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
• علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده
• علاقه‌مندان به زبان اسکالا و سکوی آپاچی اسپارک

• توسعه برنامه ها مبتنی بر زبان اسکالا و حل مسئله های کلان داده با استفاده از ابزار آپاچی اسپارک
• ارائه راه‌حل جهت دریافت و جمع ‌آوری جریان داده‌ها
• ذخیره‌سازی داده‌های جریانی بصورت لحظه‌ایی
• توانایی توسعه برنامه پردازش داده‌های جریانی

Apache Spark

• توضیح در خصوص کلان داده و سیستم های توزیع شده
• آماده سازی محیط کدنویسی و اجرا
  1. مقدمه بر زبان برنامه نویسی جاوا
  2. نصب و راه اندازی IDE
• بررسی پروژه آپاچی Spark
• راه اندازی و پیکربندی کلاستر Spark
• توسعه و اجرای برنامه های نمونه با استفاده از پروژه Spark
  1. بررسی و کار با مفاهیم RDD
  2. Transformation و Action
  3. بررسی تابع‌های UDF
• بررسی فرمت فایل‌های مورد استفاده در کلان داده و چگونگی نحوه استفاده از آنها در اسپارک
• بررسی زیرساخت‌های ذخیر‌ه‌سازی داده و استفاده آنها همراه با اسپارک
  1. HDFS
  2. Object Storage
  3. Cassandra
  4. MongoDB
• توسعه برنامه با استفاده از مولفه SparkSQL
  1. تحلیل داده‌های دارای ساختار توسط پرس‌وجوهای sql در اسپارک
  2. DataFrame
  3. Dataset
• توسعه برنامه با استفاده از مولفه MLib در پروژه اسپارک
• بررسی مولفه Graphframe به منظور پردازش داده‌های گراف در اسپارک
• بررسی زیرساخت‌های استقرار پروژه اسپارک
  1. Yarn
  2. Mesos
  3. Docker
  4. Kubernetes
  5. Cloud Computing - IaaS

Apache Kafka

Introduction to Stream Data Processing

• Definition
• Origin and history of Big Data
• Webpages in Big Data projects
• Big Data problems
• Types of Big Data processing
  • Batch
  • Stream
  • Data processing in (almost) real time
  • Definition
  • Advantages and disadvantages
  • Examples
  • Types of message delivery guarentee
    • at-most-once
    • at-least-once
    • exactly-once
  • Tools:
    • Apache Kafka
    • Apache NiFi
    • ELK Stack
    • Apache Flume
    • Fluentd

  • Introduction to Apache Kafka

  • What Kafka is and why it was created
  • The Kafka Architecture
  • The main components of Kafka
  • Some of the use cases for Kafka

  • Kafka Command Line

  • The contents of Kafka's /bin directory
  • How to start and stop Kafka
  • How to create new topics
  • How to use Kafka command line tools to produce and consume messages
  • Kafka terminologies
    • Broker
    • Topic
    • Partition
    • Producer
    • Consumer

  • Kafka Producer Java API

  • The Kafka producer client
  • Some of the KafkaProducer configuration settings and what they do
  • How to create a Kafka producer using the Java API and send messages both synchronously and asynchronously

Kafka Consumer Java API

• The Kafka consumer client
• Some of the KafkaConsumer configuration settings and what they do
• How to create a Kafka consumer using the Java API

Kafka Connect and Spark Streaming

• How to use Kafka and Spark Streaming together

Streaming Platform Concept

• Spark Streaming
• Apache Storm
• Apache Flink
• Apache Kafka Streaming