Data Engineer Projects
Chào mừng các bạn đã đến với khóa học Data Engineer Projects do FUNiX xây dựng!
Xin chào các bạn!
Chương trình này có tên gọi “Kỹ thuật dữ liệu” (Data Engineering). Chương trình cung cấp cho học viên những kiến thức cơ bản về thiết kế và xây dựng hệ quản trị cơ sở dữ liệu quan hệ và phi quan hệ, thu thập dữ liệu trên mạng Internet, tự động hóa các quy trình làm việc với dữ liệu (data pipeline) thông qua kho dữ liệu (data warehouse) và hồ dữ liệu (data lake), làm việc với bộ dữ liệu lớn (big data) và triển khai hệ thống dựa trên nền tảng Cloud sử dụng các dịch vụ của AWS. Ở cuối chương trình, các bạn có thể chọn một trong ba lựa chọn sau: Kết hợp các kỹ năng của mình để hoàn thành một đồ án cuối khóa, thực tập tại doanh nghiệp hoặc thi lấy chứng chỉ của AWS..
MỤC TIÊU MÔN HỌC
Sau khi học xong môn này, học viên sẽ đạt được các chuẩn kiến thức, kỹ năng đầu ra như sau:
- Xây dựng được các mô hình cơ sở dữ liệu quan hệ và sử dụng thành thạo SQL cho truy vấn dữ liệu.
- Xây dựng được các mô hình cơ sở dữ liệu phi quan hệ
- Tạo ra được các kho dữ liệu (data warehouse) hiệu quả và có thể mở rộng.
- Biết cách sử dụng Python (Scrapy, Splash, Selenium) để thu thập dữ liệu web.
- Có đầy đủ các kỹ năng làm việc hiệu quả với Big Data trên Pyspark và Python.
- Thiết lập được các quy trình giám sát và tự động hóa trên các đường ống dữ liệu lớn (data pipelines) với Apache Airflow.
- Thao tác và làm việc tốt với các tác vụ về kỹ thuật dữ liệu trên nền tảng điện toán đám mây AWS.
TRẢI NGHIỆM HỌC TẬP
Để bắt đầu, các bạn nên dành một vài phút khám phá môn học và cấu trúc chung. Môn học sẽ bao gồm 20 dự án. Các bạn sẽ dựa vào link các MOOC trên khoá và phần hướng dẫn hoàn thành dự án để làm các bài tập lớn (Project). Việc làm các dự án lớn sẽ giúp các bạn phát huy được khả năng và có nhiều kinh nghiệm làm việc từ các bài toán thực tế. Để việc học tập được hiệu quả, hãy luôn trau dồi kiến thức, không ngừng học hỏi, nghiên cứu và lập cho mình một kế hoạch học tập hợp lý để hoàn thành khóa học một cách xuất sắc.
Trong thời gian học, việc phân bổ tuần học là rất quan trọng. Nếu các bạn có bất cứ câu hỏi nào hãy kết nối với Mentor để được giải đáp.
CẤU TRÚC MÔN HỌC
- Assignment 1: Bài toán hình tam giác
- Assignment 2: Bài toán phân tích bảng điểm
- Assignment 3: Chương trình quản lý nhân viên
- Assignment 4:Lập trình với Bash Shell
- Assignment 5: Sử dụng các hàm thư viện lập trình để thao tác với tệp tin và thư mục
- Assignment 6: Thao tác tiến trình và luồng
- Assignment 7: Sắp xếp_tìm kiếm cơ bản
- Assignment 8 - Quản lý sản phẩm
- Assignment 9 - Quản lý hồ sơ
- Assignment 10 -Truy vấn dữ liệu nhân sự
- Assignment 11- Thiết kế cơ sở dữ liệu báo điện tử
- Assignment 12 - Thiết kế và chuẩn hóa cơ sở dữ liệu bán hàng
- Assignment 13 - Xây dựng Data Warehouse
- Assignment 14 - Xây dựng cơ sở dữ liệu MongoDB
- Assignment 15 - Xây dựng hệ thống thu thập dữ liệu Covid 19
- Assignment 16 - Phân tích hành vi và thói quen của người dùng Stack Overflow.
- Assignment 17 - Thiết lập DataPipeline cho dữ liệu lớn từ Cloud
- Assignment 18 - Tạo Auto Scaling Group và Application Load Balancer
- Assignment 19 - Xây dựng cơ sở dữ liệu cho Google Play Store
- Assignment 20 - Tích hợp kho dữ liệu phim ảnh lên AWS Redshift'
CHUYÊN GIA THIẾT KẾ VÀ PHẢN BIỆN MÔN HỌC
THIẾT KẾ MÔN HỌC: TS. Nguyễn Văn Vinh
- Tiến sỹ Vinh Đặng, Head of Data Science, Be Group JSC.
- Thạc sỹ Nguyễn Hải Nam, Head of xSeries Deparment, FUNiX.
PHẢN BIỆN MÔN HỌC: Thạc sỹ Nguyễn Chi Hoàng, Solution Architect in Artificial Intelligence, FPT Software
- Anh Phan Chương, BigData Engineer, Seatle, Washington, US.
- Phòng nghiên cứu và phát triển chương trình FUNIX
NGUỒN HỌC LIỆU
Trong thời đại hiện nay, mỗi môn học đều có nhiều nguồn tài liệu liên quan kể cả sách in và online, FUNiX Way không quy định một nguồn học liệu cụ thể mà khuyến cáo để học viên chọn được nguồn phù hợp nhất cho mình. Trong quá trình học từ nhiều nguồn khác nhau theo lựa chọn cá nhân đó, khi sinh viên phát sinh câu hỏi thì sẽ được kết nối nhanh nhất với mentor để được giải đáp. Toàn bộ phần đánh giá bao gồm các câu hỏi trắc nghiệm, bài tập, dự án và thi vấn đáp do FUNiX thiết kế, xây dựng và thực hiện.
Các môn học của FUNiX không quy định bắt buộc tài liệu học tập, sinh viên có thể chủ động tìm và học từ bất kỳ nguồn nào phù hợp, kể cả sách in hay nguồn học liệu online (MOOC) hay các website. Việc sử dụng các nguồn đó do học viên chịu trách nhiệm và đảm bảo tuân thủ các chính sách của chủ sở hữu nguồn, trừ trường hợp họ có sự hợp tác chính thức với FUNiX. Nếu cần hỗ trợ, học viên có thể liên hệ phòng đào tạo FUNiX để được hướng dẫn.
Dưới đây là một số nguồn học liệu của môn học mà học viên có thể tham khảo sử dụng. Việc liệt kê nguồn dưới đây không nhất thiết hàm ý rằng FUNiX có sự hợp tác chính thức với chủ sở hữu của nguồn: Coursera, tutorialspoint, edX Training, or Udemy.
KÊNH PHẢN HỒI
FUNiX sẵn sàng đón nhận và trao đổi về mọi ý kiến góp ý, phản hồi liên quan đến học liệu qua email program@funix.edu.vn