Job Description

Description:

 Our client has an immediate need for a Big Data Engineer – Spark & Hadoop, with strong expertise in Spark, Python, and Hadoop ecosystems, to join our data engineering team

 Requirements:

• Bachelor’s degree 
• Master's degree is a plus 
• 4+ years of experience in data engineering and application development
• Expertise in Spark3, Python, and Shell Scripting
• Strong hands-on experience with Hadoop Cloudera platform (HDFS, administration, table management)
• Solid understanding of data architecture and system architecture principles
• Experience with data modeling using tools like Erwin
• Familiarity with Alation or similar data catalog/mining/reporting tool

 Responsibilities: 

• Design and implement new applications to support business requirements
• Maintain and enhance existing applications and data pipelines
• Support functions by troubleshooting and resolving production issues
• Develop efficient Spark3 and Python code for data processing and transformation
• Manage and process data within Hadoop Cloudera environments, including HDFS file handling and Hadoop table management
• Contribute to the system architecture, focusing on scalability, performance, and maintainability
• Create and maintain data models using Erwin and ensure effective data governance
• Utilize tools like Alation or other data mining/reporting platforms to support data discovery and reporting initiatives
• Collaborate with cross-functional teams using Agile methodologies for project delivery
• Document technical solutions, data flows, and system designs

Why Work for ConsultUSA:

• ConsultUSA offers competitive salaries, major medical (PPO or HDHP w/ HSA), dental, and vision insurance plans, and 401k plan with immediate eligibility for both salary and hourly employees
• ConsultUSA hosts several outings and events, holiday and summer parties, and volunteer opportunities throughout the year for employees
• We will work with you to obtain training for in-demand technologies and prepare you for industry-recognized certification exams
• ConsultUSA offers Business Analysis and Project Management training through our Project Management Institute (PMI)® award-winning sister company, PMCentersUSA

 How to Apply:

To submit your application, please click the “Apply Now” button located at the top and bottom of the page.

 ConsultUSA is committed to providing equal employment opportunities (EEO) to all qualified employees and applicants for employment without regard to race, color, religion, gender identity or expression, sexual orientation, national origin, age, disability, genetic information, marital status, pregnancy, ancestry, or status as a covered veteran as well as any other prohibited criteria under any applicable federal, state, and local laws applicable to ConsultUSA.

 For a complete listing of all ConsultUSA jobs please visit www.consultusa.com