Loading…
Data Analytics
Kumpulan pengalaman nyata di bidang Data Analytics - mengubah data mentah menjadi insight yang dapat langsung diimplementasikan untuk keputusan bisnis.
Diagram di halaman ini adalah rekreasi ilustratif dari sistem yang saya bangun — dashboard produksi dan data klien tidak ditampilkan karena kerahasiaan (NDA).
Architecture overview across all three analytics use cases — Fintech, Telecom, and Mining
Use Cases
Revenue Analytics Dashboard untuk Payment Switching Company
FintechMerancang dashboard revenue terpusat berbasis Tableau untuk payment switching company, mencakup multi-channel revenue logic (HIMBARA & non-HIMBARA), validasi bisnis ketat, dan deployment ke Tableau Server enterprise di RedHat.
Telco Analytics Dashboard Suite
TelcoMembangun serangkaian dashboard analitik end-to-end berbasis Power BI untuk perusahaan telekomunikasi di Indonesia - mencakup Market Share, NPS, LTV, dan Tower Effectiveness - terhubung ke Cloudera on-premise melalui Enterprise Gateway, dengan custom visual Python, dan kolaborasi lintas vendor dari Eropa & Asia.
Mining Operations Analytics dengan Apache Superset
MiningMembangun dashboard operasional end-to-end berbasis Apache Superset untuk industri pertambangan - dari Hadoop ecosystem hingga visualisasi real-time - mencakup conveyor monitoring, overspeed analysis, fuel consumption, dan driver fatigue, dengan implementasi RLS dan training self-service analytics.
Revenue Analytics Dashboard untuk Payment Switching Company
Sebagai Senior Data Visualization (semi Project Lead), saya memimpin pengembangan end-to-end dashboard revenue terpusat untuk payment switching company di industri financial services. Dashboard mengintegrasikan data multi-channel dari sistem core (Oracle → Tibero) melalui pipeline Pentaho, divisualisasikan dengan Tableau, dan di-deploy ke Tableau Server enterprise di lingkungan RedHat.
� Impact
- Dashboard revenue terpusat yang mudah digunakan oleh stakeholder bisnis
- Akurasi revenue terjaga melalui data modeling yang kuat dan proses validasi bisnis
- Performa dashboard optimal - heavy logic di data layer (Pentaho), bukan di presentation layer
- Integrasi sukses dengan environment enterprise (Tableau Server, RedHat)
- Delivery tepat waktu sesuai kebutuhan monitoring bisnis
🧩 Tech Stack
Tableau, Tableau Server, Pentaho (ETL & Data Modeling), Oracle → Tibero (Database Migration), RedHat (Server Environment)
📌 Background
- Revenue berasal dari berbagai channel transaksi: channel umum (non-HIMBARA) dan channel khusus HIMBARA (Himpunan Bank Milik Negara)
- Perhitungan revenue cukup kompleks: multi-channel, multi-rule
- Data bersumber dari sistem core yang sedang dalam proses migrasi Oracle → Tibero
- Belum ada dashboard terpusat untuk monitoring revenue secara real-time / near real-time
⚡ Problem Statement
- Menyajikan dashboard revenue yang akurat dan mudah dipahami oleh stakeholder bisnis
- Memastikan validasi perhitungan revenue sesuai dengan logic bisnis yang berlaku
- Menjaga ketepatan waktu delivery untuk kebutuhan monitoring
- Mengintegrasikan dashboard dengan environment enterprise (Tableau Server internal)
- Potensi mismatch data akibat migrasi Oracle → Tibero
🧠 Solution Overview
- Berperan sebagai Senior Data Visualization (semi Project Lead): mendesain dashboard, memastikan alignment logic bisnis dan visualisasi
- Kolaborasi dengan Data Engineering team untuk pipeline Pentaho: ETL, data modeling (Fact & Dimension tables), dan business rules
- Strategi kalkulasi: heavy computation (revenue logic kompleks, aggregation besar) di Pentaho; lightweight logic (ratio, filtering, calculated fields) di Tableau
- Kolaborasi dengan Infra team untuk setup dan kustomisasi Tableau Server di RedHat
- Mengawal seluruh proses: development → validation → deployment
🏗️ Architecture
- Source Layer: Oracle (legacy system) - sumber data transaksi core
- ETL Layer: Pentaho - transformasi data, revenue calculation logic, aggregation, dan business rules
- Target Layer: Tibero (database baru) - hasil migrasi Oracle → Tibero
- Data Modeling: Fact Table (revenue, jumlah transaksi) + Dimension Table (Channel HIMBARA/non-HIMBARA, Waktu, Kategori Transaksi, Atribut Bisnis)
- Visualization Layer: Tableau - revenue per channel, trend revenue, breakdown kategori transaksi, monitoring performa bisnis
- Deployment Layer: Tableau Server di enterprise RedHat server, dengan kustomisasi login page dan komponen sesuai kebutuhan client
🔥 Key Challenges & Solutions
- Revenue Validation: perhitungan revenue harus 100% akurat - solusi: cross-check antara fact table dan source data, validasi dengan business stakeholder
- Oracle → Tibero Migration: potensi mismatch data - solusi: validasi data di layer Pentaho sebelum masuk ke visualisasi, sinkronisasi logic antar sistem
- Performance Optimization: dashboard lambat jika semua calculation di Tableau - solusi: push heavy computation ke Pentaho, Tableau hanya untuk lightweight logic
- Tight Delivery Timeline: dashboard dibutuhkan cepat - solusi: fokus ke core metrics lebih dulu, iterative delivery
- Enterprise Customization: kebutuhan konfigurasi khusus Tableau Server - solusi: kolaborasi dengan infra team, modifikasi login page & konfigurasi server
Telco Analytics Dashboard Suite
The Story
Perusahaan telekomunikasi besar di Indonesia membutuhkan satu analytics suite yang mencakup empat domain bisnis: Market Share, NPS, Customer LTV, dan Tower Effectiveness. Tantangannya bukan hanya membangun dashboard — tapi datanya. Tiga jalur ingestion yang berbeda harus dikonvergensi: event SDR real-time melalui Kafka dan Spark Streaming, batch export BSS/OSS terjadwal via SCP dan Python ETL, serta data kompetitor dari crawling Selenium. Semua landing di Cloudera on-premise, terorganisir dalam Medallion Architecture (Raw → Silver → Gold). Dari sana, Impala menjadi query layer yang menjembatani Cloudera on-premise ke Power BI Service via Enterprise Gateway — dengan Master Mapping Excel sebagai reference data dimensi langsung ke Power BI Desktop. Hasilnya: empat dashboard produksi yang memberikan leadership visibilitas kompetitif real-time, tren NPS, intelligence retensi, dan prioritisasi infrastruktur jaringan — semua dalam satu suite.
Sebagai Senior Data Visualization Specialist dari sisi vendor, saya berkontribusi membangun end-to-end analytics dashboard suite untuk perusahaan telekomunikasi di Indonesia — mulai dari 3 jalur ingestion data (SDR streaming, CSV batch, web crawling) ke Cloudera Medallion Architecture (Raw → Silver → Gold), hingga konsumsi via Impala + Enterprise Gateway ke Power BI Desktop dan Power BI Service. Dashboard mencakup Market Share, NPS, Customer LTV, dan Tower Effectiveness.
� Impact
- Dashboard Market Share memberikan visibilitas kompetitif real-time untuk leadership
- NPS Dashboard mendukung evaluasi dan perbaikan customer experience secara berkelanjutan
- Customer LTV Dashboard membantu marketing dalam alokasi anggaran retensi
- Tower Effectiveness Dashboard mendukung prioritisasi maintenance dan investasi infrastruktur jaringan
- Arsitektur Medallion memastikan performa dashboard optimal — Gold Layer pre-aggregated, Impala query fast
🧩 Tech Stack
Power BI Desktop, Power BI Service, Apache Impala (Cloudera ODBC), Power BI Enterprise Gateway, Apache Kafka, Spark Streaming, Python ETL, Selenium WebDriver, Cloudera CDH (HDFS + Hive), Medallion Architecture (Raw / Silver / Gold), Python Custom Visuals, Master Mapping Excel
📌 Background
- Perusahaan telekomunikasi membutuhkan analytics end-to-end dari berbagai sumber data: SDR real-time, BSS/OSS batch exports, data kompetitor, dan reference data
- Data platform berbasis Cloudera on-premise dengan arsitektur Medallion (Raw, Silver, Gold) yang dibangun oleh Data Engineering team menggunakan Spark
- Power BI sebagai tool visualisasi standar perusahaan — perlu dihubungkan ke Cloudera via Impala dan Enterprise Gateway
- Terlibat sebagai Senior Data Visualization Specialist dari sisi vendor, berkolaborasi dengan vendor dan principal dari Eropa dan Asia
⚡ Problem Statement
- Mengintegrasikan 3 jalur ingestion berbeda (SDR streaming via Kafka/Spark, CSV batch via SCP/Python, web crawling via Selenium) ke satu platform
- Menghubungkan Power BI ke Cloudera on-premise melalui Impala connector dan Enterprise Gateway
- Memastikan performa dashboard tetap optimal dengan volume data telco yang besar
- Menyajikan 4 domain analitik kritis (Market Share, NPS, LTV, Tower Effectiveness) secara akurat dan real-time/near real-time
- Koordinasi dengan vendor dan principal dari Eropa dan Asia untuk standardisasi requirement
🧠 Solution Overview
- Jalur 1 — SDR Streaming: SDR Data → Kafka → Spark Streaming → Cloudera Raw Layer (near real-time)
- Jalur 2 — CSV Batch: CSV Export (BSS/OSS) → SCP Server → Python ETL → Cloudera Raw Layer (scheduled batch)
- Jalur 3 — Web Crawling: Selenium Crawler → Cloudera Raw Layer (data kompetitor)
- Medallion Architecture: Raw → Silver (cleaned & normalised) → Gold (pre-aggregated, BI-ready)
- Konsumsi: Impala sebagai query engine → Enterprise Gateway → Power BI Desktop (dev, Impala connector) → Power BI Service (prod)
- Master Mapping Excel dihubungkan langsung ke Power BI Desktop sebagai reference data dimensi (bypass Impala)
- Python custom visuals untuk kebutuhan visualisasi kompleks yang tidak tersedia di Power BI default
🏗️ Architecture
- Ingestion Path 1 (Streaming): SDR Data → Apache Kafka → Spark Streaming → Cloudera Raw Layer
- Ingestion Path 2 (Batch): CSV Files (BSS/OSS export) → SCP Server → Python ETL → Cloudera Raw Layer
- Ingestion Path 3 (Crawling): Selenium WebDriver → Cloudera Raw Layer (data kompetitor)
- Medallion — Raw Layer: semua data landing di sini, immutable, append-only, tanpa transformasi bisnis
- Medallion — Silver Layer: data bersih & ternormalisasi, join lintas sumber, kadang dikonsumsi langsung oleh Power BI Desktop
- Medallion — Gold Layer: pre-aggregated, domain-specific, BI-ready — sumber utama untuk 4 dashboard
- Query Engine: Apache Impala — expose Silver & Gold sebagai JDBC/ODBC endpoint ke Power BI Desktop
- Enterprise Gateway: jembatan on-premise Cloudera ↔ Power BI Service untuk scheduled refresh
- Power BI Desktop: environment development, koneksi langsung ke Impala via Cloudera ODBC connector
- Master Mapping Excel: reference data dimensi (mapping code → name, hierarki region, threshold KPI) dihubungkan langsung ke Power BI Desktop — kadang digunakan
- Power BI Service: platform distribusi dashboard ke seluruh stakeholder
🔥 Key Challenges & Solutions
- Hadoop Connectivity: konfigurasi Impala connector + Enterprise Gateway ke Cloudera on-premise — iterasi berulang dengan infra team hingga stabil
- Multi-Source Integration: 3 jalur ingestion berbeda dengan format dan latency berbeda — standardisasi di layer Medallion
- Performance di Gold Layer: volume data telco besar — push heavy aggregation ke Spark (Gold layer), Impala & Power BI hanya query hasil agregat
- Master Mapping Excel: reference data yang dikelola bisnis — dihubungkan langsung ke PBI Desktop, tidak melalui pipeline untuk menghindari overhead
- Cross-Vendor Collaboration: koordinasi dengan vendor dan principal dari Eropa & Asia — standardisasi requirement dan alignment komunikasi
Mining Operations Analytics dengan Apache Superset
Setelah data platform dan cube analytics selesai dibangun, saya berperan sebagai Data Engineer sekaligus Data Analyst untuk menghadirkan dashboard operasional berbasis Apache Superset di industri pertambangan. Mulai dari konektivitas ke Hadoop ecosystem, implementasi Row-Level Security (RLS), hingga training end-user self-service analytics - semua dikerjakan end-to-end.
� Impact
- Dashboard operasional tersedia untuk monitoring real-time konveyor, overspeed, konsumsi BBM, dan fatigue pengemudi
- Performa optimal dengan strategi kombinasi cube (heavy) + Superset (light)
- Data aman melalui implementasi Row-Level Security antar divisi
- Meningkatkan capability user melalui training terstruktur
- Mendorong adopsi self-service analytics secara mandiri oleh tim bisnis
🧩 Tech Stack
Hadoop (HDFS), Analytical Cube, Apache Superset, Row-Level Security (RLS), Data Modeling & Aggregation
📌 Background
- Data platform dan cube analytics telah selesai dibangun di Hadoop ecosystem
- Kebutuhan dashboard operasional real-time dan near real-time untuk monitoring lapangan
- Perlu kontrol akses data antar divisi (data governance)
- Mendorong tim bisnis untuk melakukan self-service analytics secara mandiri
⚡ Problem Statement
- Menyajikan data dari Hadoop ecosystem ke visualization layer secara efisien
- Menjaga performa dashboard dengan strategi heavy vs light calculation
- Mengakomodasi keterbatasan visual tools di Apache Superset
- Mengimplementasikan Row-Level Security (RLS) untuk kontrol akses antar divisi
- Meningkatkan adopsi user melalui training terstruktur
🧠 Solution Overview
- Heavy calculation di cube (data layer): aggregation & business logic utama disimpan di analytical cube
- Light calculation di Apache Superset (presentation layer): query ke data yang sudah di-aggregate
- Mengatur konektivitas Superset ke Hadoop ecosystem dengan konfigurasi iteratif bersama infra team
- Implementasi Row-Level Security (RLS) untuk membatasi akses data per divisi
- Deliver training end-user self-service analytics: 2 batch, masing-masing 3 hari, di luar Pulau Jawa, dengan metode pre-test & post-test
🏗️ Architecture
- Data Layer: Hadoop ecosystem (HDFS + processed layer) - menyimpan data operasional pertambangan
- Cube Layer: Analytical cube - menyimpan aggregation & heavy business logic untuk efisiensi query
- Visualization Layer: Apache Superset - query ke cube, light calculation, dan rendering dashboard operasional
- Security Layer: Row-Level Security (RLS) - membatasi akses data berdasarkan divisi
- Dashboard utama: Conveyor Real-Time Speed Monitoring, Overspeed Analysis, Fuel Consumption Analysis (Mining Trucks), Driver Fatigue Analysis
🔥 Key Challenges & Solutions
- Limited Visualization Capability: Superset tidak memiliki banyak pilihan visual seperti tools enterprise - solusi: kreativitas kombinasi chart dan workaround untuk kebutuhan visual kompleks
- Hadoop Connectivity Issue: kesulitan awal setup connector ke Hadoop - solusi: iterasi konfigurasi dan koordinasi dengan infra team hingga stabil
- Performance Optimization: dashboard lambat jika semua calculation di visual layer - solusi: push heavy logic ke cube, Superset hanya untuk light computation
- Data Access Control: data antar divisi tidak boleh saling terlihat - solusi: implementasi Row-Level Security (RLS)
- User Adoption: user belum familiar dengan tools & data - solusi: training terstruktur 2 batch x 3 hari dengan metode pre-test & post-test
Jelajahi domain lainnya
Untuk kembali ke profil, klik di sini.