Tugas 2 Big Data dan Analitik

IMPLEMENTASI BIG DATA PADA TRANSAKSI TIKET ELEKTRONIK BUS RAPID TRANSIT (BRT)

A. MODEL 

Penelitian ini menggunakan Application Programming Interface (API) dari Apache Spark yaitu Spark Streaming sebagai data streaming process yang dikombinasikan dengan java regular expression untuk ekstraksi log data transaksi BRT secara near-realtime. Penelitian ini bertujuan membangun infrastuktur big data dengan tiga teknologi utama yaitu
Apache Kafka, Apache Spark dan Apache Cassandra.

B. METODE

Dalam jurnal ini, metode yang digunakan untuk mengolah data menggunakan 4 tahapan yaitu; (1) Tahap perancangan dan instalasi. (2) Tahap persiapan (3) Tahap simulasi dan pengujian. (4) Tahap Analisis. Selain mengunakan 4 tahapan, Dalam Penelitian ini menggunakan dua macam skenario serta menggunakan data dummy dari log data BRT. Skenario pertama yaitu menggunakan jaringan
lokal yang dibuat khusus untuk penelitian. Skenario kedua yaitu menggunakan jaringan wireless internal.

C. Measurement (Pengukuran)

Flowchart untuk menentukan Matriks AT

Pada jurnal ini pengujian dilakukan menggunakan 500000 dan 3500000 transaksi dengan empat pengaturan batch yaitu 1, 3, 5, dan 10 detik untuk melihat seberapa besar pengaruh batch pada besarnya data untuk tipe jaringan LAN maupun wireless sehingga didapatkan pengujian sebanyak 16 kali. Setelah melakukan pengujian pada framework streaming data, selanjutnya adalah mengelola data yang telah diekstrak oleh spark dan disimpan di Cassandra
menjadi matriks AT. Data yang digunakan dalam pengujian ini adalah data
log BRT dengan keterangan tap in tanpa tap out.

Algoritma yang digunakan adalah seperti pada gambar. Dari algortima tersebut, akan muncul matriks AT berupa jumlah AT dari setiap haltenya. Visualisasi matriks AT pada penelitian ini menggunakan Tableau. Tipe visualisasi yang digunakan adalah tipe heatmap yang menunjukan tinggi rendahnya jumlah AT berdasarkan perubahan 1 warna. Semakin gelap warna yang ditampilkan, maka semakin banyak jumlah AT pada suatu halte dan sebaliknya.

Hasil Visualisasi Matriks AT pada Tableau

D. Accuracy

Dari hasil analisis matriks AT ini, ditemukan yaitu ada penumpang yang melakukan beberapa transaksi tetapi berasal hanya dari 1 halte yang sama. Hal ini dapat terjadi karena dua alasan yaitu:
a. Adanya kemungkinan penumpang kembali ke halte awal tempat penumpang berasal, menggunakan kendaraan selain BRT. Kemudian sistem mencatat kembali halte asal penumpang tersebut sama dengan halte pada transaksi sebelumnya.
b. Adanya kemungkinan penumpang menggunakan 1 kartu untuk banyak penumpang lain. Hal ini teridentifikasi saat ada transaksi penumpang pada
halte yang sama pada rentan waktu yang sangat dekat.

E. Evaluasi 

Dengan menggunakan regular expression, preprosessing data transaksi tiket elektronik BRT dapat dilakukan pada saat yang hampir bersamaan (near-realtime) dengan proses streaming data yang dilakukan oleh Apache Spark. Algoritma yang digunakan pada penelitian ini dapat digunakan untuk mencari matirks AT. Namun masih terdapat beberapa anomali yaitu ada penumpang yang melakukan beberapa transaksi tetapi berasal hanya dari 1 halte yang sama. Anomali tersebut belum dapat dihilangkan karena algoritma yang digunakan pada penelitian ini bersifat asumsi sehingga masih perlu dikembangkan pada penelitian berikutnya.