יסודות Big Data

בחלקו הראשון של הקורס, נצלול לתוך העולם הנרחב של ביג דאטה, תוך הבנת המאפיינים הייחודיים של הנושא ותפקידה המכריע של האקוסיסטם של Hadoop בתוך עולם זה. נחקור את האתגרים המוצבים על ידי דרכי עיבוד נתונים מסורתיות ואת האופן בו Hadoop מספקת את הפתרון עבורם. המסע שלנו יכלול היכרות יסודות עם קומפוננטות כמו HDFS, MapReduce, Yarn והפנמת עקרונות העבודה איתם. נלמד על distributions שונים של Hadoop על כל הפיצ'רים והיישומים השונים שלהם. בנוסף, נצלול לתוך הארכיטקטורה של HDFS תוך מיקוד ב data replication, fault tolerance ו management. לבסוף, נתרגל מעשית את הפרדיגמה של MapReduce, החל מכתיבת jobs בסיסיים ועל לאופטימיזציה שלהם.

פיצ'רים מתקדמים של Hadoop

בחלק השני של הקורס נתמקד בטכניקות של data ingestion ובשימוש בכלים כמו Sqoop ו Flume, תוך עיבוד נתונים עם Hive ועם Apache Storm. נעשה היכרות עם Apache Kafka עבור streaming ונחקור את Apache Spark ככלי לעיבוד נתונים in-memory. שלב זה של הקורס יכלול גם תובנות מעניינות לתוך planning ו deploying של cluster, תוך ניהול משאבים עם Yarn ואיפשור זמינות ובטיחות ברמה גבוהה. כמו כן נשכלל את יכולות ה NoSQL שלנו דרך למידה על HBase, Cassandra וכמובן MongoDB.

עיבוד מתקדם של Big Data

השלב השלישי של הקורס לוקח אותנו עמוק יותר לתוך האקוסיסטם של Hadoop, תוך היכרות עם Apache Pig ל scripting ואוטומציה של משימות עיבוד נתונים, ועם Hive על מנת לרכוש יכולות של warehousing ו SQL-like querying. נלמד איך לכתוב סקריפטים יעילים של Pig Latin, נרחיב את ההיכרות שלנו עם מודלים של Hive ונערוך אופטימיזציות של Hive queries. בנוסף, נחקור פרויקטים מגוונים של Apache Hadoop כמו Mahout עבור למידת מכונה, ZooKeeper עבור distributed coordination, או כלים אינטיגרטיבים כמו Oozie ל workflow scheduling או Sqoop לדאטהבייסים רלציוניים. בתום שלב זה של הקורס נהיה מוכנים לקחת על עצמנו אתגרי ביג דאטה מורכבים משמעותית יותר ממה שנגענו בו עד עכשיו.

למידת מכונה ו Big Data

בשלב הרביעי של הקורס נחקור את ההצטלבות בין למידת מכונה לבין אנליטיקות של ביג דאטה. נלמד אלגוריתמים פופולריים של למידת מכונה ונכיר את האופן בו הם מיושמים בהקשר של Apache Mahout או Spark MLlib. משתתפי הקורס ירכשו תובנות על model evaluation ועל tuning בהקשר של distributed environemnt. כמו כן נבין את הארכטיקטורה של Apache Spark יותר מבפנים, ונפתח את מכסה המנוע של RDD ושל טכניקות אופטימיזציה שימושיות. בסיכומו של שלב זה, נקדיש מבט מעמיק ל Spark SQL על מנת לדעת איך לעבוד עם DataFrames כדי ליישם חלק מהעקרונות התאורטיים החשובים שלמדנו ולצייד את משתתפי הקורס עם היכולת להפגיש בין למידת מכונה לבין ביג דאטה.

כלים מתקדמים של Big Data ופרויקט מסכם

לקראת סיכום הקורס, נלמד על Spark Streaming עבור real-time data processing ועל אופרציות של DStream. נכיר אלמנטים מתקדמים כמו windowed computations ונשלב בין Spark Streaming לבין Apache Kafka. שלב זה יהיה חיוני על מנת ליישם בזמן אמת את סוגי האנליטיקות שלמדנו. לבסוף, ניקח חלק בפרויקט ביג דאטה מורכב, שנרים ביחד מקצה לקצה, תוך תירגול כל העקרונות שפגשנו לאורך הקורס. לקינוח, נכיר את המגמות העתידיות והחידושים הצפויים בתחום, כך שבוגרי הקורס יוכלו להגיע לכל ריאיון עבודה רלוונטי מוכנים ומזומנים עם ידע נרחב ויכולות מעשיות ראויות.