Phân tích dữ liệu lớn

Enrollment in this course is by invitation only

GIỚI THIỆU KHÓA HỌC CHI TIẾT

Xin chào các bạn!

"Phân tích Dữ liệu lớn" là một trong những từ khoá được nhắc đến gần đây trong thế giới công nghệ thông tin, đặc biệt là khi chúng ta đang bước vào kỷ nguyên công nghiệp 4.0. Như các bạn đã biết, sự ra đời của mạng máy tính toàn cầu (Internet) và sự phát triển của các phương tiện kỹ thuật số đã và đang tạo ra một lượng dữ liệu khổng lồ. Dù vô tình hay hữu ý thì dữ liệu này chứa trong nó rất nhiều giá trị.

Trong môn học này các bạn sẽ được tìm hiểu về hệ thống tính toán và thuật toán xử lý dữ liệu để có đầy đủ kiến thức cho những công việc liên quan đến dữ liệu lớn. Về hệ thống tính toán, chúng ta sẽ tìm hiểu qua về Hadoop và đi sâu vào Apache Spark - hai nền tảng phổ biến nhất hiện nay trong xử lý dữ liệu lớn. Các bạn sẽ nắm được tổng quan về nền tảng xử lý dữ liệu lớn thông qua hệ thống các máy tính kết nối với nhau. Sau đó, các bạn sẽ học cách thiết kế, lập lịch và giám sát các đường ống dẫn dữ liệu (data pipelines) thông qua Apache Airflow.

Chúc các bạn học tốt!

XU HƯỚNG CÔNG NGHỆ

Sự ra đời của mạng máy tính toàn cầu (Internet) và sự phát triển của các phương tiện kỹ thuật số đã và đang tạo ra một lượng dữ liệu khổng lồ. Dù vô tình hay hữu ý thì dữ liệu này chứa trong nó rất nhiều giá trị.

Trong môn học này các bạn sẽ được tìm hiểu về hệ thống tính toán và thuật toán xử lý dữ liệu để có đầy đủ kiến thức cho những công việc liên quan đến dữ liệu lớn, với Hadoop, Apache Spark và Apache Airflow.

NHU CẦU VÀ MỤC TIÊU CHƯƠNG TRÌNH

Môn học trang bị kiến thức và kỹ năng nền tảng về xử lý dữ liệu lớn, từ các khái niệm cơ bản và hệ thống xử lý phân tán đến lập trình với Apache Spark và ứng dụng các thuật toán học máy. Qua đó, người học có thể hiểu cách tổ chức, xử lý và khai thác dữ liệu lớn để giải quyết các bài toán thực tế.

Hiểu đặc điểm, phạm vi ứng dụng của Big Data và các khái niệm nền tảng như mô hình 3Vs.
Nắm được kiến trúc, các thành phần cơ bản và vai trò của Hadoop trong hệ thống xử lý dữ liệu lớn.
Tiếp cận Apache Spark, từ cấu trúc và cách triển khai chương trình đến các phương pháp xử lý dữ liệu bằng RDD và những thư viện cơ bản.
Phát triển kỹ năng xử lý, chuyển đổi, tổng hợp và kết hợp dữ liệu bằng Spark.
Hiểu cách quản lý, giám sát và tối ưu các ứng dụng Spark trong môi trường xử lý dữ liệu lớn.
Nắm được các khái niệm học máy có giám sát và không giám sát, cùng những thuật toán cơ bản được sử dụng trong các bài toán phân tích dữ liệu.
Vận dụng Spark và các phương pháp biểu diễn dữ liệu để xây dựng ứng dụng học máy, bao gồm bài toán phân loại văn bản.

ĐỐI TƯỢNG HỌC VIÊN

Người học muốn tìm hiểu các khái niệm cơ bản trong Big Data.
Người học muốn hiểu cấu trúc, các thành phần cơ bản và vai trò của Hadoop trong Big Data.
Người học muốn tìm hiểu và lập trình ứng dụng với Apache Spark.
Người học muốn tìm hiểu ứng dụng của Spark trong học máy.
Người học muốn lập trình ứng dụng phân loại văn bản với Spark.

PHƯƠNG PHÁP HỌC

Để bắt đầu, các bạn nên dành một vài phút khám phá môn học và cấu trúc chung. Môn học sẽ có 3 phần với 16 bài học. Xuyên suốt các bài học và cuối mỗi học phần, các bài thực hành Lab và bài tập lớn (Assignment) sẽ giúp các bạn tăng cường việc ghi nhớ và vận dung lý thuyết đã học vào các bài toán thực tế. Để việc học tập được hiệu quả, hãy luôn trau dồi kiến thức, không ngừng học hỏi, nghiên cứu và lập cho mình một kế hoạch học tập hợp lý để hoàn thành khóa học một cách xuất sắc. Trong thời gian học (dự kiến là 6 tuần), việc phân bổ tuần học là rất quan trọng. Nếu các bạn có bất cứ câu hỏi nào hãy kết nối với Mentor để được giải đáp.

LÝ DO NÊN HỌC

Big Data hay còn được biết với cái tên "Dữ liệu lớn" là một trong những từ khoá được nhắc đến gần đây trong thế giới công nghệ thông tin, đặc biệt là khi chúng ta đang bước vào kỷ nguyên công nghiệp 4.0. Sự ra đời của mạng máy tính toàn cầu (Internet) và sự phát triển của các phương tiện kỹ thuật số đã và đang tạo ra một lượng dữ liệu khổng lồ. Dù vô tình hay hữu ý thì dữ liệu này chứa trong nó rất nhiều giá trị.

Trong môn học này các bạn sẽ được tìm hiểu về hệ thống tính toán và thuật toán xử lý dữ liệu để có đầy đủ kiến thức cho những công việc liên quan đến dữ liệu lớn. Các bạn sẽ tìm hiểu qua về Hadoop và đi sâu vào Apache Spark, đồng thời học cách thiết kế, lập lịch và giám sát các đường ống dẫn dữ liệu (data pipelines) thông qua Apache Airflow.

NỘI DUNG NỔI BẬT

Module 1: Giới thiệu về Big Data và Hadoop. Phần học giới thiệu các khái niệm về Big Data, Hadoop, quản lý Big Data và Big Data Processing. Người học tìm hiểu cấu trúc, các thành phần cơ bản và vai trò của Hadoop trong xử lý dữ liệu lớn.
Module 2: Big Data với Spark. Phần học giới thiệu Spark, Spark RDD, SparkSQL, Data-frames, Datasets và SparkSQL Table. Người học tìm hiểu Data Transformation, Data Aggregations, Join trên Spark, cũng như giám sát và điều chỉnh. Nội dung thực hành tập trung vào phân tích hành vi và thói quen của người dùng Stack Overflow.
Module 3: Machine Learning với Big Data. Phần học giới thiệu Machine Learning và các phương pháp Linear Regression, Logistic Regression, Decision Trees, Random Forests, K-means Clustering và xử lý ngôn ngữ tự nhiên (NLP). Người học vận dụng kiến thức để xây dựng hệ thống phân loại tội danh.

ĐỘI NGŨ XÂY DỰNG & PHẢN BIỆN CHƯƠNG TRÌNH

TS. Đặng Quang Vinh
THIẾT KẾ MÔN HỌC
- Tiến sĩ Khoa học máy tính Universite de Lorraine, Pháp
- Head of Data Science in Be Group JSC
- Giảng viên Đại học Công nghiệp thành phố Hồ Chí Minh
TS. Trần Ngọc Sơn
THIẾT KẾ MÔN HỌC
- Tiến sĩ, Nghiên cứu viên Postdoc, CSIRO, Úc.
- Hơn 4 năm kinh nghiệm giảng dạy về Big data & Machine Learning.
- Hơn 8 năm kinh nghiệm phát triển phần mềm.
- Thạc sĩ Computer Science, Đại học Reading, Vương quốc Anh.
- Tiến sĩ Computer Science, Đại học Thành phố London, Vương quốc Anh.
Th.S Nguyễn Chi Hoàng
PHẢN BIỆN MÔN HỌC
- Master of Science (MS)Field Of StudyData Science, Université Claude Bernard Lyon 1
- Solution Architect in Artificial Intelligence, FPT Software
Anh Phan Chương
PHẢN BIỆN MÔN HỌC
- BigData Engineer, Seatle, Washington, US.
- Phòng nghiên cứu và phát triển chương trình FUNiX