Belum selesai Indonesia heboh membahas sistem cloud, sekarang sudah heboh big data. Apalagi itu? Begitu cepat sekali teknologi berkembang. Sepertinya lebih cepat teknologi untuk berkembang daripada telur menetas, ya? Memang, dengan hadirnya sistem cloud ditambah dengan teknologi big data, data dengan jumlah & volume besar yang dulu tidak ekonomis, kini menjadi “aset” bagi perusahaan.

Apakah kamu familiar dengan istilah era informasi? Era dimana informasi kini memiliki “harga” & bersifat ekonomis.

Data yang semula tidak memiliki nilai ekonomi, kini justru banyak dijual oleh orang-orang yang tidak bertanggung jawab. Parahnya, ada oknum yang membeli data ilegal tersebut. Ya, memang ada istilah “hal baru, masalah baru”.

Tetapi, ayo lihat dari sisi positifnya. Setelah itu, kamu baru boleh melakukan justifikasi terhadap teknologi big data, ya?

Untuk benar-benar bisa mengenal big data. Kamu harus paham dulu tentang pengetahuan dasar big data. Tenang saja, tidak akan ada hitung-hitungan di dalam artikel ini. Cukup duduk santai, sambil minum kopi panas diselingi dengan cemilan.

Apa itu Big Data?

Berikut adalah pengertian big data dari beberapa sumber:

Menurut TechTarget, Big Data adalah istilah yang dipakai untuk mendeskripsikan kumpulan data yang terstruktur, semi-terstruktur, hingga tidak terstruktur / abstrak dalam volume besar yang memiliki potensi untuk diolah sebagai informasi yang akan berguna untuk proyek machine learning dan aplikasi analisis canggih lainnya.

Menurut Investopedia, Big Data adalah data yang bervariasi dengan format beragam yang terkumpul dalam jumlah besar dalam waktu singkat.

Menurut perusahaan teknologi raksasa IBM, Big Data adalah istilah yang diberikan pada sekumpulan data yang tidak dapat dianalisis menggunakan metode analisa data tradisional karena tidak dapat menyimpan, mengolah, dan memproses data dalam waktu yang singkat.

Dari ketiga sumber tersebut, Big Data bisa disimpulkan sebagai:

1. Data dengan volume besar (terabyte - exabyte) - Volume
2. Struktr data memiliki variabel yang beragam (terstruktur - abstrak) - Variety
3. Terkumpul dalam waktu yang singkat (low latency) - Velocity

Meskipun begitu, ada persyaratan yang harus terpenuhi untuk bisa menyebut sekumpulan data dengan istilah Big Data.

Jika ada salah satu dari ketiga poin tadi tidak terpenuhi maka kumpulan data tersebut tidak bisa dikategorikan sebagai Big Data. Misalnya, ada sekumpulan data yang memenuhi poin volume & variety tetapi butuh waktu 10 Tahun untuk mengumpulkan data sebanyak 1 terabyte. Kenapa tidak dianalisis sebelum datanya menumpuk?

Atau misalnya, ada data yang terkumpul dalam waktu singkat dengan volume yang besar namun tidak memiliki variable. Bisa jadi itu big-size data saja. Masih jaman?

Atau contoh yang terakhir, sekumpulan data yang memiliki variabel yang beragam dan terkumpul dalam waktu singkat, namun dengan volume yang tidak terlalu besar. Itu Big Data, atau tugas kuliah?

Intinya, tidak semua kumpulan data bisa dikategorikan sebagai Big Data. Jangan kamu anggap tugas kuliah sebagai Big Data kalau data dengan volume besar terkumpul karena kamu males mencicil tugas, ya. 

Sampai sini jelas? Kalau masih bingung, coba ulangi baca 3 poin di atas agar kamu bisa terus mengikuti alur artikel ini

Ada Apa Dengan Big Data?

Seberapa sakti sih Big Data itu? Kenapa sekarang banyak yang mengelu-elukan big data? Jadi gini lo, big data itu merupakan hal yang cukup baru. Baru dalam artian baru bisa dioptimalisasikan penggunaannya. Itu karena, sebelum hadirnya teknologi pendukung pengolahan big data, nilai dari big data sangat tidak ekonomis. Butuh hardware yang cukup mahal. Selain itu, jika data disimpan dalam jangka waktu tertentu, akan butuh biaya tambahan untuk memastikan data tersebut tidak rusak.

Tetapi, dengan hadirnya teknologi yang sudah mumpuni, kini bahkan perusahaan IT raksasa seperti IBM, Google, Amazon dan Microsoft, berlomba-lomba untuk menyediakan platform data processing (tempat untuk menganalisa data) untuk big data agar hasil analisis yang didapat bisa muncul secara near to real time. Dengan begitu, perusahaan / pelaku bisnis tidak perlu menyimpan data yang begitu besar, banyak dan variatif yang memakan akan banyak biaya maintenance. Sehingga, big data menjadi aset yang memiliki nilai ekonomi menjanjikan.

Hasil dari data processing Big Data dapat menghasilkan informasi yang akan berguna untuk membuat keputusan bisnis. Apalagi, dengan hadirnya teknologi Internet of Things, Artificial Intelligence, dan Smart City di Indonesia, menjadikan Big Data sebagai acuan untuk mendapatkan hasil informasi yang presisi dalam waktu singkat (near to real time).

Apa hubungan teknologi IoT, AI, & smart city dengan big data?

Untuk dapat memanfaatkan teknologi IoT, AI, dan smart city, big data diperlukan untuk membaca kebiasaan pengguna / user, kebutuhan pengguna / user, hingga pola “aneh” yang terjadi. Dan tentunya, untuk bisa membaca kebiasaan & kebutuhan pengguna / user, hingga pola “aneh” dari pengguna / user diperlukan data yang sangat banyak. Mulai dari bangun tidur hingga tidur kembali. Tujuannya yaitu untuk dapat menampilkan hasil analisa yang presisi.

Coba kamu ingat-ingat aktivitas apa yang kemarin kamu lakukan? Berapa banyak kamu minum air putih? Berapa lama kamu menggunakan ponsel? Berapa banyak uang yang kamu habiskan selama 1 hari untuk belanja online? Atau mungkin, berapa tensi darah kamu kemarin?

Mungkin kamu hanya akan ingat kejadian yang secara sadar kamu lakukan. Tetapi, tentang berapa banyak kamu minum air putih? Atau mungkin tensi darah kamu kemarin? Well, itulah fungsi dari big data.

Perangkat IoT, AI atau apapun itu yang memiliki fungsi untuk merekam informasi, akan mengumpulkan data dengan jumlah yang sangat banyak dan diolah untuk memastikan tidak ada pola “aneh” pada aktivitas kamu sehari-hari. Itu baru secara individual. Bagaimana jika data 1 RT, 1 RW, Kelurahan, Kecamatan, atau bahkan 1 kota? Berapa banyak data per detik yang direkam?

Bayangkan jika kamu mengolah data tersebut masih menggunakan Microsoft Excel. Jangankan untuk dibayangkan, untuk didengar saja sudah membuat pusing tujuh keliling. Dengan hadirnya teknologi pendukung Big Data, automated data processing bukan suatu hal yang mustahil.

Teknologi Pendukung Big Data

Big data yang sedang naik daun, tidak terlepas dari beberapa teknologi pendukung yang turut serta menstimulasi peningkatan minat pasar terhadap teknologi big data. Yuk simak penjelasan berikut.

The Hadoop Ecosystem

Ketika kamu mencari tentang Big Data di Google, kamu akan selalu melihat kata Hadoop. Termasuk di artikel ini. Hehehe.

Sebenarnya, apa itu hadoop?

Hadoop ecosystem itu bukanlah sebuah aplikasi, tetapi merupakan sebuah solusi untuk masalah Big Data. Hadoop bersifat open source. Itu berarti, sistem hadoop bisa kamu modifikasi untuk bisa memenuhi kebutuhan dari Big Data bisnismu. Atau bahasa gaul anak sekarang, hadoop itu bisa kamu oprek. Menurut Shubham Sinha dari edureka, Hadoop itu sebuah frameworks yang terdiri dari beberapa bagian dengan tugas yang berbeda-beda. Ada yang bertugas untuk mengumpulkan data, hingga bagian yang bertugas untuk menganalisis data.

Yuk simak bagian serta tugas dari anggota ekosistem Hadoop.

HDFS (Storage)

HDFS merupakan singkatan dari Hadoop Distributed File System. HDFS ini memiliki 2 bagian yang memiliki peran yang berbeda. Nah loh, beranak pinak kali ya ini sistem. Ya, HDFS ini terdiri dari Name node dan Data node. 

Name node memiliki peran untuk merekam metadata dari sebuah file. Misalnya, file size, permission, lokasi penyimpanan file dan lainnya. Sedangkan Data node memiliki peran untuk rekam data sesungguhnya. Misalnya, angka binary dan lainnya.

Pusing ya? Sama. Eh loh. Enggak kok bercanda.

Simple nya begini, HDFS itu layaknya telur asin. Ada cangkang nya, ada bagian telurnya. Nah, cangkangnya ini ibarat Name node. Kamu bisa tahu itu telur asin dari warna cangkangnya, cap produksi telur asinnya (kalau ada), cap expired nya juga. Tetapi, cangkangnya itu bukan sesuatu yang bisa kamu makan. 

Ketika kamu beli telur asin, pasti kamu ingin memakan telurnya, bukan cangkangnya. Nah, telur di dalam cangkang itu lah yang diibaratkan Data node. Kamu bisa memakan telur asin nya, merasakan tekstur nya, rasanya, dll. Sama seperti Data node yang merekam file sesungguhnya.

Akan tetapi, Name node dan Data node itu sama-sama penting. Seperti telur asin. Memang kamu pernah beli telur asin tetapi tidak ada cangkangnya? Atau beli telur asin tidak ada telurnya? Seperti mata uang yang tidak bisa dipisahkan pokoknya.

Yarn

Apa pula ini yarn? Simple nya Yarn itu yang mengatur alur data processing di HDFS. Tidak mungkin dong file yang keluar masuk itu gak diatur. Lalu lintas saja ada traffic lights, masa big data enggak? Hehehe.

Sama seperti HDFS, Yarn juga dibagi menjadi 2 bagian. Bagian yang pertama dinamakan Resources Manager. Nah, ini fungsinya mirip traffic light. Kalau ada lampu hijau (request diterima), data / file baru bisa di record (write & read). Begitu pula jika ada lampu merah (request ditolak), maka data / file tidak bisa di record (write & read). 

Jika sudah ada sinyal hijau atau merah perihal request dari system, Node manager lah yang akan bertindak seperti polisi lalu lintas. Memastikan lalu lintas write & read data berjalan sesuai dengan request. Node manager ini sudah pasti terpasang di setiap Data node (lihat bagian HDFS).

Nah, HDFS & Yarn ini dua sistem yang harus ada di dalam Hadoop ecosystem. Karena Hadoop ecosystem ini bersifat open source, kamu bisa menyesuaikan banyak sedikitnya sistem yang dipakai dalam Hadoop ecosystem ini. Ada beberapa list tools pendukung untuk Hadoop Ecosystem.

• Sparks (In-memory, data flow engine)
• Pig (Scripting)
• Hive & Drill (Analytical SQL-on-Hadoop)
• HBase (No SQL Dataabase)
• Dan lain-lain

List diatas sifatnya sangat teknikal, sehingga sulit dijelaskan dan akan memperlebar pembahasan tentang Big Data. So, Lanjut ke teknologi pendukung selanjutnya, ya?

Artificial Intelligence

Ya, disadari atau tidak bahwa hebohnya teknologi Artificial Intelligence beberapa tahun terakhir ini turut memperbanyak permintaan pasar akan Big Data.

Apa korelasi nya?

Ya, artificial intelligence atau bahasa Indonesianya adalah kecerdasan buatan, merupakan teknologi yang memungkinkan untuk melakukan prediksi akan suatu kondisi dan memberikan saran atau insight. Nah, untuk dapat menghasilkan prediksi akan suatu kondisi, teknologi Artificial Intelligence memerlukan Big Data untuk diproses sehingga mendapatkan hasil analisis yang lebih akurat.

Sudah paham kan korelasi Artificial Intelligence dengan Big Data?

Bahkan, tren artificial intelligence sudah mulai disuntikkan bukan hanya kedalam smartphone saja. Tetapi juga ke dalam website e-commerce sehingga bisa memberikan pengalaman pengguna “seperti memiliki asisten belanja”. 

Tentunya, hal tersebut tidak bisa terjadi atas bantuan Big Data. Rekam jejak transaksi pengguna, hal apa yang sering pengguna cari di internet, hingga barang apa yang kali terakhir pengguna lihat. 

Semua jejak terekam ke dalam Big Data yang akan diproses dan dianalisis. Nantinya, website e-commerce dapat memberikan rekomendasi produk yang “kemungkinan” kamu suka dan akan kamu beli.

Karena hadirnya Big Data, data & informasi menjadi sangat sensitif. Perusahaan-perusahaan yang memang merekam jejak pengguna harus benar-benar memiliki integritas tinggi. 

Kenapa? Jangan sampai data pengguna dijual kepada pihak ketiga yang ingin membaca perilaku pengguna di Internet. 

Apakah kamu pernah mendengar istilah “data is new oil”? Kini banyak perusahaan yang menginginkan data kebiasaan pengguna. Gunanya, tentu saja untuk mengembangkan bisnis. Data tersebut untuk keperluan product development, hingga customer experience.

Nah, integritas perusahaan pemilik data pengguna akan banyak diuji dengan tawaran-tawaran menarik untuk menjual data pengguna kepada pihak ketiga. 

Kasus yang pernah menghebohkan dunia yaitu Facebook. Memang, facebook tidak menjual data pengguna ke pihak ketiga. Hanya saja facebook menyalahgunakan wewenang dengan mengizinkan pihak ketiga untuk menggunakan data pengguna Facebook. Lalu, tentu saja Facebook diputuskan bersalah.

Jadi, hati-hati ya dalam menggunakan Big Data atau data apapun. Sebagai perusahaan, tentu data pengguna tentang apapun itu tidak boleh disalahgunakan. 

Selain itu, perusahaan juga harus memastikan bahwa pengguna produk tahu jika data mereka akan ditampung dalam Big Data. Amannya, berikan pilihan kepada pengguna untuk menyetujui atau tidaknya rekam jejak digital pengguna untuk disimpan dan digunakan untuk tujuan pengembangan perusahaan. 

Sebagai pengguna, kamu harus tahu bahwa aktivitas digital kamu akan direkam. Sehingga, gunakanlah produk digital dengan lebih bijak.

Blockchain

Bitcoin. Ketika mendengar istilah blockchain, banyak orang yang mengaitkan dengan bitcoin. Padahal, blockchain memiliki arti yang lebih luas dari sekedar cryptocurrency.

Lalu, apa hubungan blockchain dengan Big Data?

Yuk, simak penjelasan berikut ini.

Blockchain merupakan metode distribusi data yang terbilang baru. Metode distribusi blockchain ini unik. Sekali data terekam (write) maka tidak akan bisa dimodifikasi ataupun dihapus. Sehingga, sangat efektif untuk menekan angka “fraud” pada transaksi. 

Hal tersebut bisa terjadi karena sifat desentralisasi pada metode distribusi data blockchain. Sehingga, setiap transaksi akan terekam pada beberapa channel terkait (bank, perusahaan A, B, C, supplier A, B, C, government). Dengan demikian, seorang senior manager sekalipun memerlukan ijin akses (permission) untuk bisa membuka data dari setiap channel terkait dalam suatu transaksi.

Misalnya begini. Ketika kamu membeli sesuatu di toko online, dan ternyata kamu ditipu, pelacakan terhadap pelaku penipuan akan sangat mudah. Itu karena bank, selaku channel terkait pada saat transaksi, dapat melacak siapa saja yang terkait dalam proses transaksi tersebut. Menariknya, selain menemukan pelaku, bank pun bisa mendata siapa saja orang yang pernah ditipu dengan modus yang sama.

Nah, hubungannya dengan big data adalah ketika terjadi transaksi, big data mampu menampung dan merekam aktivitas tersebut dalam skala yang besar. Data dengan volume dan variasi yang banyak distimulasi oleh banyaknya channel terkait sebuah transaksi. Dengan hadirnya blockchain, permintaan akan big data juga akan semakin besar.

Cuma sebagai tambahan, blockchain digadang-gadang dapat memberikan keamanan data yang jauh lebih baik. Sehingga, perusahaan besar IT di dunia mulai mengembangkan dan membuat simulasi kasus blockchain. Misalnya IBM, AWS, Microsoft dan masih banyak perusahaan perintis (startups), mereka sudah mulai mengembangkan metode ini untuk banyak kasus.

Sebenarnya masih banyak teknologi yang turut mendukung perkembangan Big Data. Meskipun demikian, 3 teknologi di atas (Hadoop ecosystem, Artificial Intelligence, dan Blockchain) merupakan highlight karena dinilai akan / sudah dirasakan secara langsung oleh kamu, yang sedang membaca artikel ini.

Manfaat Big Data

Setelah kamu paham apa itu big data dan bagaimana masa depan big data, sekarang saatnya membahas manfaat dari big data.

Ada 3 Manfaat Big Data bagi bisnis:

Mengoptimalisasi Cost

Big Data mampu menampung berbagai macam bentuk data dari berbagai macam sumber. Selain itu, kemampuan untuk melakukan data processing serta analisis secara mendalam melalui ecosystem seperti Hadoop, dapat membentuk pola baru yang akan sulit ditemui oleh tools analisis tradisional. 

Nah, biasanya, pola baru ini memberikan efisiensi lebih terhadap bisnis proses. Entah melakukan cutting value chain, atau menemukan kelompok target market baru dengan cost yang lebih sedikit. Sehingga, perusahaan dapat menggunakan cost secara optimal.

Misalnya, ketika kamu memiliki perusahaan kosmetik. Seringkali perusahaan kosmetik disangkut pautkan dengan wanita. Namun, setelah bisnismu memiliki website e-commerce. 

Data menunjukan bahwa memang benar, wanita lebih sering berbelanja di website e-commerce kamu. Tetapi, meskipun memiliki persentase yang lebih kecil, kaum adam mampu menghabiskan budget lebih terhadap produk yang mereka beli. Hal ini tentu sinyal hijau bagi pelaku bisnis. Bagaimana jika mereka fokus untuk mengembangkan produk khusus pria? Mereka dapat meraup margin keuntungan yang lebih besar. Contoh sederhananya seperti itu.

Meningkatkan efektifitas & efisiensi bisnis

Efektifitas dapat diartikan dalam 2 hal. Arti yang pertama yaitu berkurangnya waktu produksi akan suatu pekerjaan dengan kualitas hasil yang optimal. Misalnya, ketika teknologi internet belum sanggup untuk melakukan streaming film. Kamu harus mengunduh film dari internet agar bisa menonton film. 

Waktu yang diperlukan untuk menonton film adalah waktu unduh + waktu menonton. Tetapi, ketika teknologi internet sudah mampu untuk melakukan streaming film. Kamu tidak perlu lagi mengunduh. Cukup tonton saja film yang kamu suka langsung dari internet browser di gadget mu. Waktu yang diperlukan untuk menonton akan jauh lebih efektif.

Arti kedua dari efektifitas adalah bertambahnya hasil produksi dengan kualitas yang optimal dalam waktu satu kali kerja. Misalnya, ketika kamu masih sekolah dulu. Ketika teknologi kamera ponsel belum bisa memproduksi gambar yang tajam. 

Kamu tidak bisa mengambil foto papan tulis dimana gurumu menerangkan perjalanan. Alih-alih mengambil foto, kamu harus menulis semua tulisan yang ada di papan tulis. Sehingga, kamu tidak fokus terhadap pelajaran. Tetapi, setelah teknologi kamera ponsel berkembang dan diperbolehkan penggunaannya di sekolah-sekolah, kamu kini tidak perlu lagi memecah konsentrasi antara menyalin & mendengarkan penjelasan oleh guru. 

Kini kamu bisa mendapatkan dua hal dalam satu kali kerja. Yang pertama adalah pemahaman materi karena konsentrasi yang tidak terpecah. Yang kedua adalah dokumentasi.

Dari kedua analogi di atas, menunjukan pada satu benang merah yang sama, yaitu efisiensi.

Lalu, apa hubungannya dengan big data?

Ya, big data memiliki kemampuan untuk mencari jalan tercepat untuk menghasilkan sesuatu. Entah itu flow bisnis yang lebih efektif & efisien, hingga konsumen mana yang memiliki potensi “willingness to purchase” tinggi namun terlewat. Itu semua bisa dideteksi lebih awal dengan big data. 

Big data memungkinkan kamu untuk melakukan analisa secara menyeluruh. Selain itu, informasi yang dihasilkan oleh big data juga bisa dibilang near-to-real-time, sehingga menimbulkan kesan instan. Jika terdapat pola janggal, bisa segera ditangani tanpa meninggalkan snowball efek.

 Product Development

Dengan kemampuan membaca kebiasaan & pola pengguna di internet, informasi yang dihasilkan oleh big data dapat digunakan oleh perusahaan untuk menyesuaikan produk dengan minat pasar. Kemampuan untuk menampilkan trend atau peningkatan demand terhadap suatu barang secara near-to-real-time, akan menguntungkan bagi bisnis. 

Ketika terjadi lonjakan awal terhadap suatu hal, pelaku bisnis bisa memanfaatkan momen tersebut untuk mengembangkan produk yang disesuaikan dengan minat pasar. Sehingga, pelaku bisnis bisa merasakan manfaat dari “hype” konsumen akan sesuatu.

Selain itu, big data juga bisa memberikan informasi perihal jenis produk yang paling banyak digemari konsumen, alasan mengapa produk 1 disukai dan produk 2 kurang disukai, hingga kekosongan pasar. Selain akan menciptakan peluang baru bagi produk perusahaan, kemampuan untuk menyesuaikan produk dengan ekspektasi konsumen maupun calon konsumen juga bisa terpenuhi.

Cara packing, warna package, aroma produk, tekstur produk, semua bisa disesuaikan dengan minat pasar berdasarkan hasil analisis dari big data.

Kesimpulan

Sejak memasuki era informasi. Kini banyak orang yang berlomba-lomba untuk memiliki informasi penting yang berguna dalam pengembangan bisnis atau bahkan bisa dikomersialisasikan. Namun, untuk mendapatkan informasi-informasi penting / pola penting terhadap suatu industri memerlukan data yang jumlahnya tidak sedikit. Bisa memang menggunakan metode sampling, namun untuk menghasilkan informasi yang lebih presisi dibutuhkan data yang memiliki volume tidak sedikit. 

Oleh karena itu, munculah istilah big data. Tidak semua data yang memiliki size besar itu bisa disebut big data. Ada 3 kategori yang harus dipenuhi. Yang pertama adalah volume. Kedua yaitu variasi. Ketiga adalah velocity.

Dengan hadirnya big data, tentu membutuhkan teknologi pendukung untuk memunculkan sifat keekonomian data. Dengan naik daunnya teknologi big data, banyak teknologi pendukung yang bermunculan. Dari banyaknya teknologi pendukung big data, ada beberapa teknologi pendukung big data yang perlu kamu tahu. Pertama yaitu hadoop ecosystem. Selain itu adalah teknologi Artificial Intelligence. Yang terakhir adalah blockchain.

Big Data membawa beberapa manfaat yang akan berguna untuk bisnis. Manfaat yang pertama adalah meningkatkan efektifitas dan efisiensi bisnis. Dengan peningkatan efektifitas dan efisiensi bisnis, big data memberikan manfaat lain yaitu berupa optimalisasi cost. Selain itu, big data juga bisa menghadirkan informasi yang berguna untuk pengembangan produk. Produk dapat semakin disesuaikan dengan minat pasar dan lainnya.

Dari sini juga bisa diambil kesimpulan, bahwa Big Data berperan penting untuk mewujudkan goal dari perusahaan. Big Data juga memudahkan kamu dalam menentukan langkah selanjutnya dari bisnis yang kamu jalankan.

E-Commerce merupakan salah satu “wadah” yang bisa kamu gunakan untuk memperoleh data untuk kebutuhan bisnismu. Oleh karena itu sebelum kamu membangun website E-Commerce untuk bisnismu, kamu perlu tahu bagaimana nantinya sistem kamu dapat mengolah dan mengintegrasikan data dengan baik.

Softwareseni dapat membantu kamu untuk mewujudkan sistem E-Commerce impian kamu. Softwareseni akan membantu mulai dari tahap estimasi, scoping sampai proses adjustment sistem sesuai dengan goal dari bisnis kamu.

Dengan lebih dari 170 Staf profesional, Softwareseni yakin dapat menyediakan segala bentuk kebutuhan sistem E-Commerce kamu, sehingga kamu dapat memperoleh informasi-informasi penting mengenai perilaku pengguna di website E-Commerce kamu.