像素數科技術有限公司
Data Engineer 數據工程師
10/3 Updated
Array
Full-time
Senior Level
Partially Remote
11 ~ 30 applicants

Salary & Location

Annual SalaryNT$ 1,000,000~1,800,000
台北市中正區

Required

Work Experience
3年以上

Job Description

**團隊介紹:
歡迎加入我們數據基礎設施團隊,這是一個充滿熱情和挑戰的領域。在這裡,您將與龐大的數據打交道,結合雲端服務為公司提供可靠的數據支援和基礎設施解決方案。
我們管理公司龐大的數據基礎設施,利用雲端服務處理 PB 級別的大量數據,並建立高度可擴展的數據儲存和處理系統,以確保數據的安全性、可靠性和靈活性。
我們擁有先進的數據管理和分析系統,將數據驅動作為日常決策的核心。我們深知在現今數位化時代,數據是企業成功的關鍵。為了達成這項目標,我們會深度參與公司所推動的各種項目,和業務團隊、分析團隊進行緊密、細緻的資訊分享與知識傳遞,並為專案提供堅實的資料保障。
作為資料基礎設施團隊的一員,我們熟練運用諸如 AWS、GCP、Azure、ElasticSearch 等主流雲端平台,以及 Hadoop、Spark、Kafka 等開源技術,建構靈活、高效的資料基礎架構。
我們會負責處理各種類型的資料。我們的工作從最原始的日誌資料和應用程式埋點資料出發,針對不同的資料使用場景、資料時效性和冷熱資料類別,經過精心的清洗和加工,將其轉化為可以直接驅動業務的數據形態。
在整個過程中,我們會參與設計和實施創新的資料儲存、清洗、開發和遷移解決方案。我們不斷探索新技術和方法,以確保資料的高效儲存、可靠傳輸和安全處理。我們的目標是為公司提供高效、穩定的數據服務,為業務決策提供可靠的數據支援。
我們的工作直接影響公司的資料治理和決策能力。透過優化數據流程和提升數據質量,我們為公司提供了可靠的數據基礎,為公司的發展提供有力支持。
如果您熱愛數據技術,並渴望在一個充滿挑戰和機會的專業環境中工作,我們誠摯邀請您加入我們的團隊。我們承諾,您的每一份努力和創新都將得到充分的認可和回報。
**職務內容:
你的工作將包括基於既有需求和規範,開發高效的資料管道和資料清洗流程,以處理大規模資料。處理的起點是從 GCP、AWS、ES 等數據平台中提取原始數據,採用 Glue、StepFunction、Workflow 等服務逐步進行收集、清洗、轉換和儲存。你需要深入理解業務邏輯,確保清洗前後的資料品質。
此外,你將應對公司各團隊的不同數據需求。這可能涉及資料清洗流程的搭建和後續運維的任務,以確保資料處理流程的穩定運作。你還需要建立和維護規範的文件和資料字典,幫助團隊成員理解和使用資料處理流程。
在這份工作中,你需要對資料處理流程有深入的理解,能夠根據不同需求和情況進行靈活的調整和最佳化。你需要確保數據處理流程的高效運轉,並及時回應和解決各種數據處理中的問題和挑戰。透過不斷優化和改進數據處理流程,你將為公司提供可靠的數據支持,推動業務的發展和成功。
- 建置和維護公司的大數據系統和數據管道,確保數據的可靠性、準確性和及時性;
- 開發和維護 ETL 流程,將不同資料來源的資料整合到統一的大數據系統中;
- 維護 Elasticsearch 資料系統,確保資料及時、完整入庫;
- 監控數據流程和數據質量,及時發現和解決數據品質問題;
- 維護和更新工程處理中的文件與資料字典;
- 編寫清晰的程式碼文件和註釋,以確保團隊成員能夠理解和使用你的程式碼;
- 持續關注數據技術的發展趨勢,不斷學習和探索新的數據技術和工具。
Number of Openings
1~1人
Educational Requirements
專科以上
Work Schedule
日班
Leave Policy
依公司規定
Job Category
Systems Analyst
台北市中正區
電腦軟體服務業
Pixl is a fast growing next-gen communication service agency. We provide cutting-edge network technology, operations support and state-of-the-art BI infrastructure to help our clients grow and manage their businesses. Pixl 是一家快速成長的科技服務公司,致力於提升全球數千萬用戶的網絡體驗。我們提供尖端的網絡技術、運營支援以及最先進的商業智慧基礎設施,幫助客戶成長並管理他們的業務。
11 ~ 30 applicants