Hadoopの案件・求人一覧

検索ワード

Hadoop

該当検索数

9件

• 新着順
• 単価順

• NEW 【Python(Web開発系)】設備事業向け統合データ基盤の構築プロジェクト

  50万 〜 80万 円/月

  勤務地

  東京都港区 / 品川

  スキル

  • Python(Web開発系)
  • Python(データ分析系)
  • Hadoop
  • データ分析系(Python/SQL/R/BI)

  業務内容

  【案件概要】 既存のTableau環境に対し、Databricksを追加採用し、社内外データを一元的かつ効率的に管理する統合データ基盤を構築するプロジェクトです。 現状はTableauのみが導入されており、分析基盤の拡張およびデータ活用高度化が課題となっています。 Databricksを中核としたデータ基盤を新たに構築し、データレイクとDWH（データウェアハウス）を統合します。 あわせて、周辺のデータ準備処理やワークフローを整備し、持続的に運用可能なBI基盤の実現を目指します。 【作業内容】 ・Databricksを活用したデータ基盤環境の設計および構築 ・データレイクおよびDWHの統合設計 ・Pythonを用いたデータパイプラインの設計および構築 ・データ準備処理およびワークフローの整備 ・既存Tableau環境と連携したデータ活用基盤の構築

• 【データ分析系(Python/SQL/R/BI)】設備事業向け BIシステム改修プロジェクト

  60万 〜 80万 円/月

  勤務地

  東京都港区 / お台場海浜公園

  スキル

  • Python(Web開発系)
  • Python(データ分析系)
  • Hadoop
  • データ分析系(Python/SQL/R/BI)

  業務内容

  【案件概要】 既存のTableau環境に対してDatabricksを追加採用し、社内外のデータを一元的かつ効率的に管理・活用できる統合データ基盤の構築を目的としたプロジェクトです。 現行環境ではBIツールとしてTableauのみが導入されており、分析用データの集約や加工に課題を抱えています。 本案件ではDatabricksを中心としたデータ基盤を新たに構築し、データレイクおよびDWH（データウェアハウス）の統合を進めることで 分析基盤全体の高度化と運用効率の向上を図ります。 あわせて、分析に必要なデータ準備処理やワークフローを整備し、将来的なデータ活用拡張にも対応可能な基盤を実現します。 【作業内容】 ・Databricksを用いたデータ基盤環境の設計および構築 ・データレイクおよびDWHの統合設計と実装 ・社内外データの収集、加工、統合処理の設計および実装 ・Python／SQLを用いたデータ準備処理の開発 ・ワークフロー管理およびデータ処理自動化の整備 ・Tableauと連携した分析用データ提供基盤の構築

• 【Java(その他FW)】大規模基幹システム刷新に伴う移行業務

  65万 〜 75万 円/月

  勤務地

  東京都新宿区 / 西新宿

  スキル

  • Java(Spring)
  • Java(Spring Boot)
  • Java(その他FW)
  • Java(FWなし)
  • DBエンジニア（SQL全般）
  • Hadoop
  • Java(Struts)

  業務内容

  【業務内容】 大規模基幹システムの刷新プロジェクトにおいて、システム・業務・データの各領域に関する移行業務をユーザ企業の業務システム部門の立場で支援していただきます。 開発ベンダーが作成する成果物のレビュー、移行計画・設計内容の確認、移行データに関する問い合わせ対応、現行システムからのデータ抽出ツールの作成など、プロジェクト全体の品質と移行精度を確保するための上流・中流工程を中心とした支援業務をご担当いただきます。 実際の設計・開発・移行作業自体はベンダーが対応するため、ユーザ側の立場でプロジェクトを推進する役割となります。 【作業内容】 ・開発ベンダーとの打ち合わせ参加および移行方針の検討 ・打ち合わせ内容の確認、議事内容チェック、課題整理 ・移行計画、移行設計、プログラム、テストなど各種設計レビュー ・開発ベンダーからの移行・データに関する依頼や問い合わせ対応 ・現行システムのデータ抽出ツールの作成（使用言語は自由） ・現行システム保守会社への問い合わせ、情報収集 ・移行関連成果物のチェックおよび品質確認 ・その他、移行に関わる社内メンバーとの調整、支援業務全般

• 【データ分析系(Python/SQL/R/BI)】APM統合プロジェクトのデータ管理・整備支援

  50万 〜 85万 円/月

  勤務地

  東京都港区 / 赤坂見附

  スキル

  • Hadoop
  • データ分析系(Python/SQL/R/BI)

  業務内容

  【案件概要】 ・APM統合に伴うデータ管理基盤の整備を担当いただきます。 ・医療データベース（Ultmarc）や商用データソースを含む複数データの統合・構造化を実施します。 ・データクレンジング、マスターデータ設定、データ統合フローの検証を行います。 ・Salesforce／SQL Server 間のデータマッピングおよび変換作業に携わります。 ・Power BI でのレポート作成経験がある方は尚可。 【作業内容】 ・APM統合プロジェクトにおけるデータ管理・データ整備の実務対応 ・既存データセットのクレンジング、標準化、構造化、品質検証 ・Ultmarcおよび各種商用データソースの運用準備（マスタ設定、データ投入準備） ・ローカライズされたソースデータの統合作業、データマッピング、変換ロジック作成 ・Salesforce、SQL Serverを使用したデータ連携・変換処理対応 ・クロスファンクショナルチーム（業務部門／IT部門）とのデータ仕様調整・品質担保のための連携 ・Power BIによるダッシュボード・レポート作成（尚可）

• 【DBエンジニア（SQL全般）】AWS上データ基盤の保守・改善支援

  70万 〜 80万 円/月

  勤務地

  東京都千代田区 / 東京

  スキル

  • DBエンジニア（SQL全般）
  • Hadoop
  • データ分析系(Python/SQL/R/BI)

  業務内容

  【案件概要】 AWS上のDatalake/DWH基盤におけるデータ処理ロジック実装のリード案件です。 基盤技術としてRedshift、RDS、S3を使用し、PythonおよびSQLを用いたデータ処理ロジックの設計・実装・レビューを担当します。 開発メンバーが作成した設計書や構築内容のレビューを行い、実装品質の担保やデータ基盤の保守・改善支援を実施します。 【作業内容】 ・Redshift、RDS、S3を用いたデータ処理ロジックの設計・実装リード（Python・SQL） ・開発メンバー作成の設計書・構築内容のレビュー ・PythonおよびSQLコードの実装品質チェック ・データ基盤の保守および改善支援 ・チーム内での技術共有および開発方針の調整 ・成果物やレビュー結果のドキュメント作成

• 【Java(その他FW)】携帯会社向けシステムの運用・保守

  60万 〜 90万 円/月

  勤務地

  東京都中央区 / 勝どき

  スキル

  • Java(その他FW)
  • Hadoop

  業務内容

  【案件概要】 携帯会社システムにおける保守運用案件です。 上流から提供される業務用データをLinux環境で取り込み、Hadoop(Hive)で加工処理したデータをSQLServerに転送し、テーブル・ビューとしてユーザに公開します。 一部の業務用データはAzure環境で処理され、外部へのデータ転送も実施します。 ジョブスケジューラ「LoadStar」を用いたバッチ処理の運用保守やインシデント対応を中心に、夜間監視やリリース作業にも対応します。 【作業内容】 ・インシデント対応 ・LoadStarによるバッチ処理運用保守（ジョブ設定変更、実行、異常リカバリ） ・SQLServerやHiveのSQL実行、エラー原因調査・解析 ・Azure環境でのファンクション、トリガー、パイプライン保守（設定変更、実行、異常リカバリ） ・開発者・ユーザから依頼される各種作業対応 ・ジョブ、シェル、SQLなど運用資材のリリース・実行 ・データ抽出、設定変更、調査依頼の対応 ・問い合わせ対応、アカウント管理 ・その他定型・非定型作業対応 ・夜間監視体制対応および月次程度のリリース作業

• オンプレミスHadoop環境のアップグレード

  70万 〜 85万 円/月

  • リモートOK

  勤務地

  東京都千代田区 / 東京

  スキル

  • サーバー（Linux系）
  • DBエンジニア（SQL全般）
  • Hadoop

  業務内容

  ■概要 ・某通信大手様のオンプレミスHadoop環境アップグレードを実施 ・重要なシステム且つ200台以上のサーバーで構成されているクラスタリングを扱う

• 【クラウドエンジニア(AWS)】【業務委託(準委任)】薬局経営を支援する薬局ダッシュボード開発におけるバックエンドエンジニア募集！

  〜 70万 円/月

  • 外国籍OK

  勤務地

  東京都中央区 / 東銀座

  スキル

  • Python(Web開発系)
  • クラウドエンジニア(AWS)
  • Hadoop

  業務内容

  ■ 概要 薬局経営を支援するダッシュボードのデータベース設計、API開発、ETL処理を担当します。AIを活用した自動発注サービスや、業務最適化を目指すプロジェクトで、AWSリソースを活用しながら機能拡充と品質向上に取り組みます。 ■ 具体的な業務内容 ・RDBのデータベース設計およびAPI開発 ・Glue Jobを使用したPythonによるETL処理の設計・開発 ・API GatewayやLambdaを活用したAPIの設計・実装 ・プロダクトオーナーと協力し仕様策定

• 【JavaScript(Vue.js)】スタートアップ企業でのバックエンドエンジニア募集！

  〜 60万 円/月

  • ビジネスカジュアル
  • フレックスタイム制

  勤務地

  東京都渋谷区 / 渋谷

  スキル

  • JavaScript(Vue.js)
  • Hadoop

  業務内容

  ■概要 スタートアップ企業におけるフロントエンドエンジニア業務全般を担当いただきます。特にデータ分析や機械学習に関心があり、DjangoやVue.jsを使用した開発経験をお持ちの方が対象です。プロジェクトにおけるAPIやシステムの開発を担当していただきます。 ■具体的な業務内容 ・Djangoを使用したWEBサービスのバックエンド開発 ・Vue.jsを用いたフロントエンド開発 ・APIやシステムの設計および開発 ・GCPやAWSを利用したインフラ構築および運用