12/02/2024
Chia sẻ từ một anh nào đó người Anh ở bên Úc giấu tên 😆
1. Khó khăn của Data Engineering (DE):
- Thách thức của DE có thể là sự đa dạng của nguồn dữ liệu và đối mặt với vấn đề tích hợp dữ liệu từ nhiều nguồn khác nhau.
- Mỗi loại giữ liệu transform và biến đổi khác nhau, độ phức tạp và đa dạng hoá trong format, dữ liệu chưa được chuẩn hóa cần phải dùng các phương phá clean phức tạp.
- Việc xử lý dữ liệu lớn và thời gian thực cũng có thể là một thách thức, đặc biệt khi xử lý lượng dữ liệu ngày càng tăng, yêu cầu phải tối ưu về cả hiệu năng và chi phí.
Về việc có nhiều công cụ drag & drop, đây có thể giúp giảm thời gian triển khai nhưng cũng đặt ra thách thức về hiệu suất và tối ưu hóa mã nguồn, vì các công cụ này không linh hoạt về customize và các case phức tạp không được chuẩn hóa
2. Cơ hội remote trong Data Engineering:
Data Engineering hay các bạn làm Software Engineer thường có nhiều cơ hội làm việc từ xa. Nhưng hiện tại các cơ hội remote thường open cho các vị trí từ mid đến senior level thôi vì họ có khả năng làm việc độc lập và hiểu quả tốt hơn.
3. DS vs DE ở Việt Nam - Ngành nào phát triển bản thân dễ hơn:
Cả hai ngành đều đang phát triển mạnh mẽ. Sự chọn lựa giữa Data Science (DS) và Data Engineering (DE) phụ thuộc vào sở thích cá nhân và mục tiêu sự nghiệp của bạn.
Nếu bạn thích phân tích dữ liệu và xây dựng mô hình, DS có thể là lựa chọn tốt. Nếu bạn quan tâm đến quy trình dữ liệu, tích hợp và xử lý lớn dữ liệu, DE là một lựa chọn khác.
- Theo quan điểm cá nhân mình thì DE vẫn là ngành có nhu cầu cao hơn và dễ tiếp cận hơn do công việc mang tính thực hành nhiều không nặng nề lý thuyết và đặc biệc DE dễ nhìn thấy output một cách rõ ràng, không mù mờ và phải thử chọn nhiều như DS.
4. Góp ý cho bạn về phương pháp học:
- Xây dựng cơ bản:
Bắt đầu từ những kiến thức cơ bản như SQL, xử lý dữ liệu, và cơ bản về hệ thống cơ sở dữ liệu.
Hiểu rõ về ngôn ngữ lập trình phổ biến như Python hoặc Java, đặc biệt là những thư viện và framework phổ biến như pandas, NumPy, và Apache Spark.
- Thực hành:
Hãy thực hành nhiều bằng cách tham gia vào các dự án thực tế hoặc tạo ra dự án cá nhân để áp dụng kiến thức đã học.
Sử dụng các trang web như GitHub để tìm hiểu và tham gia vào các dự án mã nguồn mở.
- Học từ dự án thực tế:
Tham gia vào các khóa học trực tuyến hoặc sách về xây dựng các hệ thống dữ liệu thực tế.
Tìm hiểu về các kiến trúc hệ thống phổ biến như data lakes, data warehouses, và data pipelines.
- Tiếp xúc với công nghệ mới:
Theo dõi các blog, bài viết trên Medium, và tham gia vào các diễn đàn chuyên ngành để cập nhật thông tin về công nghệ mới và xu hướng.
Phương pháp học:
Xây dựng cơ bản:
Bắt đầu từ những kiến thức cơ bản như SQL, xử lý dữ liệu, và cơ bản về hệ thống cơ sở dữ liệu.
Hiểu rõ về ngôn ngữ lập trình phổ biến như Python hoặc Java, đặc biệt là những thư viện và framework phổ biến như pandas, NumPy, và Apache Spark.
Thực hành:
Hãy thực hành nhiều bằng cách tham gia vào các dự án thực tế hoặc tạo ra dự án cá nhân để áp dụng kiến thức đã học.
Sử dụng các trang web như GitHub để tìm hiểu và tham gia vào các dự án mã nguồn mở.
Học từ dự án thực tế:
Tham gia vào các khóa học trực tuyến hoặc sách về xây dựng các hệ thống dữ liệu thực tế.
Tìm hiểu về các kiến trúc hệ thống phổ biến như data lakes, data warehouses, và data pipelines.
Tiếp xúc với công nghệ mới:
Theo dõi các blog, bài viết trên Medium, và tham gia vào các diễn đàn chuyên ngành để cập nhật thông tin về công nghệ mới và xu hướng.
