ما را دنبال کنید:
image

دوره تخصصی Apache Spark و Apache Kafka (پردازش داده های جریانی Stream Data Processing)

آنچه یاد خواهید گرفت

Apache Spark

  • توضیح در خصوص کلان داده و سیستم های توزیع شده
  • آماده سازی محیط کدنویسی و اجرا
    1. مقدمه بر زبان برنامه نویسی جاوا
    2. نصب و راه اندازی IDE
  • بررسی پروژه آپاچی Spark
  • راه اندازی و پیکربندی کلاستر Spark
  • توسعه و اجرای برنامه های نمونه با استفاده از پروژه Spark
    1. بررسی و کار با مفاهیم RDD
    2. Transformation و Action
    3. بررسی تابع‌های UDF
  • بررسی فرمت فایل‌های مورد استفاده در کلان داده و چگونگی نحوه استفاده از آنها در اسپارک
  • بررسی زیرساخت‌های ذخیر‌ه‌سازی داده و استفاده آنها همراه با اسپارک
    1. HDFS
    2. Object Storage
    3. Cassandra
    4. MongoDB
  • توسعه برنامه با استفاده از مولفه SparkSQL
    1. تحلیل داده‌های دارای ساختار توسط پرس‌وجوهای sql در اسپارک
    2. DataFrame
    3. Dataset
  • توسعه برنامه با استفاده از مولفه MLib در پروژه اسپارک
  • بررسی مولفه Graphframe به منظور پردازش داده‌های گراف در اسپارک
  • بررسی زیرساخت‌های استقرار پروژه اسپارک
    1. Yarn
    2. Mesos
    3. Docker
    4. Kubernetes
    5. Cloud Computing - IaaS

Apache Kafka

Introduction to Stream Data Processing

  • Definition
  • Origin and history of Big Data
  • Webpages in Big Data projects
  • Big Data problems
  • Types of Big Data processing
    • Batch
    • Stream
    • Data processing in (almost) real time
    • Definition
    • Advantages and disadvantages
    • Examples
    • Types of message delivery guarentee
      • at-most-once
      • at-least-once
      • exactly-once
    • Tools:
      • Apache Kafka
      • Apache NiFi
      • ELK Stack
      • Apache Flume
      • Fluentd
    • Introduction to Apache Kafka

    • What Kafka is and why it was created
    • The Kafka Architecture
    • The main components of Kafka
    • Some of the use cases for Kafka
    • Kafka Command Line

    • The contents of Kafka's /bin directory
    • How to start and stop Kafka
    • How to create new topics
    • How to use Kafka command line tools to produce and consume messages
    • Kafka terminologies
      • Broker
      • Topic
      • Partition
      • Producer
      • Consumer
    • Kafka Producer Java API

    • The Kafka producer client
    • Some of the KafkaProducer configuration settings and what they do
    • How to create a Kafka producer using the Java API and send messages both synchronously and asynchronously

Kafka Consumer Java API

  • The Kafka consumer client
  • Some of the KafkaConsumer configuration settings and what they do
  • How to create a Kafka consumer using the Java API

Kafka Connect and Spark Streaming

  • How to use Kafka and Spark Streaming together

Streaming Platform Concept

  • Spark Streaming
  • Apache Storm
  • Apache Flink
  • Apache Kafka Streaming

پیش نیاز

• Big Data و سکوهای پردازش توزیع شده • پایگاه داده‌های غیررابطه‌ای • آشنایی با یک زبان برنامه نویسی

مخاطبان دوره

  • علاقه مندان به مباحث Big Data
  • دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
  • علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده
  • علاقه‌مندان به زبان اسکالا و سکوی آپاچی اسپارک

توانایی پس ازگذراندن دوره

  • توسعه برنامه ها مبتنی بر زبان اسکالا و حل مسئله های کلان داده با استفاده از ابزار آپاچی اسپارک
  • ارائه راه‌حل جهت دریافت و جمع ‌آوری جریان داده‌ها
  • ذخیره‌سازی داده‌های جریانی بصورت لحظه‌ایی
  • توانایی توسعه برنامه پردازش داده‌های جریانی

تمامي دوره ها با رعايت كليه نكات بهداشتي و به صورت حضوري برگزار خواهد شد.

پس با خيال راحت ثبت نام خود را انجام دهيد.

توجه: قبل از واریز وجه دوره، حتما از طریق مسئول آموزش استعلام گرفته شود.

یکی از این صندلیهای کلاس (کلاس شماره 1) منتظر شماست تا قدم در دنیای آموزش حرفه ای بردارید:

 

در زمان استراحت، پذیرای شما در کافی شاپ مجموعه هستیم:

 

و با سرگرمی های تعبیه شده، به کمی استراحت بپردازید و با روحیه مضاعف به کلاس برگردید:

حرفه ای شدن در محیط آموزشی جذاب را با لایتک تجربه کنید

این دوره ترکیب دو دوره Apche Spark  و Apache Kafka می باشد.

  • درباره Apache Spark

این دوره به منظور بررسی مسائل موجود در حوزه Big Data و ارائه راه حل برای آنها با استفاده از ابزار قدرتمند آپاچی اسپارک طراحی گردیده است. بخش هایی نظیر پردازش های جریانی، کار با الگوریتم های یادگیری ماشین و تحلیل داده های رابطه ای با استفاده از ابزار اسپارک، مواردی هستند که در کلاس مورد بررسی قرار می گیرند.

همچنین از اسکالا به عنوان زبان توسعه برنامه ها استفاده می شود. به همین منظور بخشی از کلاس به یادگیری زبان اسکالا و کتابخانه های موجود در این زبان برنامه نویسی که مربوط به تحلیل داده های می باشند، اختصاص دارد.

  • درباره Apache Kafka

این دوره برای علاقه مندان به مباحث کلان داده و پردازش داده های جریانی طراحی شده است. پس از گذراندن دوره، دانش آموختگان درک بهتری از محیط کلان داده، داده‌های جریانی و نحوه مدیریت داده‌ها در نرخ تولید و پردازش‌های بالا را خواهند داشت و می توانند بسیاری از مسائل موجود در دنیای واقعی را با استفاده از ابزارهای موجود در این زمینه مدل کرده و توسعه دهند.

در صورت نیاز به مشاوره و راهنمایی جهت شرکت در دوره، می توانید با شماره های لایتک تماس گرفته و نسبت به تعیین زمان مشاوره توسط کارشناسان لایتک اقدام گردد.

دوره های آموزشی کلان داده را برای حرفه ای شدن به خاطر بسپارید:

  • دوره تخصصی پایگاه داده های غیررابطه ای
  • دوره تخصصی Big Data
  • دوره تخصصی Apache Spark و Apache Kafka

کلیه اساتید لایتک دارای سابقه درخشان در حوزه آموزش می باشند.

لینک اعضای هیئت علمی