Data Engineer [Cask] – TP. Hồ Chí Minh
in Data , in Data Engineer , in IT & Software Email JobJob Detail
-
Job ID 21768
-
Công ty CASK
-
Địa điểm TP. Hồ Chí Minh
Job Description
Đối tác công ty Digisource là công ty Cask chuyên thiết kế giải pháp (chiến lược & thực thi) giúp doanh nghiệp đạt mục tiêu kinh doanh & huấn luyện cá nhân về chuyên môn Brand – Trade – Sales – Business.
Mô tả chung:
Kỹ Sư Dữ Liệu sẽ chịu trách nhiệm xây dựng và duy trì hệ thống dữ liệu của công ty, đảm bảo dữ liệu được thu thập, xử lý và sử dụng một cách hiệu quả để thúc đẩy sự tăng trưởng và tối ưu hóa hiệu quả kinh doanh.
Vai trò nhiệm vụ:
1. Tích Hợp và Quản Lý Dữ Liệu:
- Thiết kế, phát triển và duy trì các pipeline dữ liệu mạnh mẽ:
- Sử dụng công cụ Microsoft Fabric để xây dựng các pipeline dữ liệu đảm bảo tính liên tục và hiệu suất cao.
- Tích hợp dữ liệu từ các hệ thống bán hàng và marketing:
- Kết nối và đồng bộ dữ liệu từ CRM (Quản Lý Quan Hệ Khách Hàng), DMS (Hệ Thống Quản Lý Tài Liệu), và các nguồn dữ liệu marketing khác vào hệ thống dữ liệu tổng hợp.
- Đảm bảo tính chính xác, nhất quán và tin cậy của dữ liệu:
- Đảm bảo rằng dữ liệu được nhập từ các hệ thống khác nhau luôn chính xác, nhất quán và đáng tin cậy qua các quá trình kiểm tra và xác thực dữ liệu định kỳ.
2. Phát Triển ETL:
- Phát triển và quản lý các quy trình ETL:
- Thiết kế và thực hiện các quy trình ETL để trích xuất, chuyển đổi và tải dữ liệu từ nhiều nguồn khác nhau vào hệ thống dữ liệu tổng hợp.
- Tối ưu hóa quy trình ETL:
- Đánh giá và cải tiến các quy trình ETL để đảm bảo chúng hoạt động hiệu quả và nhanh chóng, giảm thiểu thời gian xử lý và tối đa hóa hiệu suất.
- Tự động hóa các workflow dữ liệu:
- Xây dựng các workflow tự động để đảm bảo dữ liệu luôn sẵn sàng kịp thời cho việc phân tích và báo cáo mà không cần sự can thiệp thủ công.
3. Kho Dữ Liệu:
- Thiết kế và triển khai các kho dữ liệu và data marts:
- Xây dựng và quản lý các kho dữ liệu và data marts nhằm hỗ trợ các hoạt động business intelligence và phân tích dữ liệu.
- Tối ưu hóa các mô hình dữ liệu:
- Đảm bảo rằng các mô hình dữ liệu được thiết kế tối ưu để việc truy vấn và báo cáo dữ liệu diễn ra nhanh chóng và hiệu quả.
4. Hợp Tác:
- Làm việc chặt chẽ với các đội bán hàng, marketing và IT:
- Tương tác liên tục với các đội này để hiểu rõ yêu cầu dữ liệu và cung cấp các giải pháp dữ liệu phù hợp với nhu cầu của họ.
- Cung cấp dữ liệu sạch, có cấu trúc tốt và hỗ trợ các nhu cầu phân tích dữ liệu của họ để giúp họ thực hiện các phân tích chính xác và có giá trị.
5. Chất Lượng và Quản Trị Dữ Liệu:
- Triển khai các quy trình kiểm tra chất lượng dữ liệu: Thiết lập các quy trình kiểm tra và xác thực dữ liệu nhằm đảm bảo dữ liệu luôn đạt độ toàn vẹn cao và không có lỗi.
- Thiết lập và thực thi các chính sách quản trị dữ liệu:Xây dựng và áp dụng các chính sách và thực tiễn quản trị dữ liệu để duy trì chất lượng và bảo mật dữ liệu.
6. Giám Sát và Tối Ưu Hóa Hiệu Suất:
- Giám sát hiệu suất của các pipeline và cơ sở dữ liệu: Theo dõi và kiểm tra hiệu suất của các pipeline dữ liệu và hệ thống cơ sở dữ liệu để đảm bảo chúng luôn hoạt động ổn định và hiệu quả.
- Xác định và giải quyết các điểm nghẽn hiệu suất: Nhận diện và xử lý các vấn đề về hiệu suất, tối ưu hóa các quy trình xử lý dữ liệu để cải thiện tốc độ và hiệu quả hoạt động của hệ thống
Job Requirement
1. Kỹ Năng Lập Trình:
- Kỹ năng lập trình tốt với các ngôn ngữ như Python và SQL.
- Kinh nghiệm với các framework và thư viện liên quan đến dữ liệu (như pandas, NumPy, SQLAlchemy).
2. Phát Triển ETL:
- Hiểu biết sâu về quy trình ETL (Extract, Transform, Load).
- Kinh nghiệm với các công cụ ETL và tích hợp dữ liệu như Apache NiFi, Talend, Microsoft SSIS.
3. Thiết Kế và Quản Lý Kho Dữ Liệu:
- Kinh nghiệm thiết kế và triển khai các kho dữ liệu (data warehouse) và data marts.
- Hiểu biết về các kiến trúc kho dữ liệu và phương pháp tối ưu hóa cho truy vấn và báo cáo.
4. Phân Tích và Trực Quan Hóa Dữ Liệu:
- Kinh nghiệm với các công cụ báo cáo và trực quan hóa dữ liệu như Tableau, Power BI.
- Khả năng thiết kế các dashboard và báo cáo trực quan để hỗ trợ quản lý và ra quyết định.
5. Quản Trị Dữ Liệu:
- Kỹ năng quản trị dữ liệu, đảm bảo chất lượng và tính toàn vẹn của dữ liệu.
- Kinh nghiệm triển khai các quy trình kiểm tra chất lượng dữ liệu và xác thực.
6. Giám Sát và Tối Ưu Hóa Hệ Thống:
- Kỹ năng giám sát hiệu suất của các pipeline và cơ sở dữ liệu.
- Khả năng xác định và giải quyết các điểm nghẽn hiệu suất và tối ưu hóa quy trình xử lý dữ liệu.
About Company & Benefit
- Mức lương: thỏa thuận (18 triệu – 20 triệu)
- Được tham gia miễn phí toàn bộ các KHOÁ ĐÀO TẠO TÍN hàng đầu trong lĩnh vực BRAND, TRADE MARKETING, SALES, FINANCE tại CASK – Nơi đã đào tạo nhiều Managers tập đoàn lớn như Pepsi, Coca, Vinamil, Trí Việt Phát,…
- Môi trường làm việc chuyên nghiệp, sáng tạo và thân thiện
- Các gói phúc lợi hấp dẫn bao gồm bảo hiểm, lương tháng 13, thưởng theo hiệu quả công việc và các khoản phúc lợi theo quy định: Lễ, Tết, sinh nhật cá nhân, nghỉ mát, nghỉ
Application ends in 3y 10m 27d 15h 3min
