Cara Scraping Data Kompetitor Legal dengan n8n

Scraping data kompetitor dengan n8n adalah proses mengambil informasi publik dari website kompetitor secara otomatis menggunakan workflow n8n, sehingga data seperti harga produk, review pelanggan, atau konten halaman bisa dikumpulkan secara rutin tanpa perlu dilakukan manual setiap hari.

Bayangkan kamu harus cek harga 20 produk kompetitor setiap Senin pagi sebelum meeting, manual satu per satu, di 5 website berbeda.

Itu bisa habiskan 2-3 jam setiap minggunya hanya untuk mengumpulkan data yang sebenarnya bisa terkumpul otomatis selagi kamu tidur.

Tapi sebelum langsung setup workflow, pertanyaan pertama yang perlu dijawab dulu adalah: apakah scraping data kompetitor itu legal?

Artikel ini menjawab pertanyaan itu terlebih dahulu, lalu kasih kamu blueprint workflow scraping yang bisa langsung diimplementasikan di n8n.

Scraping Data Kompetitor: Legal atau Tidak di Indonesia?

Scraping data yang bersifat publik dan tidak mengandung data pribadi umumnya berada di zona aman secara hukum di Indonesia berdasarkan UU PDP (Undang-Undang Perlindungan Data Pribadi).

Yang dilarang UU PDP adalah mengambil dan memproses data pribadi tanpa izin pemiliknya, bukan data publik bisnis seperti harga, deskripsi produk, atau konten yang memang dipublikasikan untuk umum.

Prinsip sederhananya begini: kalau data itu bisa kamu lihat tanpa login dan tanpa melewati paywall, dalam banyak kasus data itu aman untuk dikumpulkan.

Tapi tetap ada tiga aturan praktis yang wajib dipatuhi meski datanya publik.

Pertama, selalu cek file robots.txt di situs target dengan mengetik namawebsite.com/robots.txt di browser, karena file ini berisi instruksi pemilik situs tentang halaman mana yang tidak boleh diakses oleh bot.

Kedua, baca Terms of Service situs yang ingin kamu scrape, karena beberapa platform secara eksplisit melarang scraping dan melanggarnya bisa menjadi dasar gugatan hukum meski datanya publik.

Ketiga, jangan buat server situs target kewalahan dengan mengirim terlalu banyak request dalam waktu singkat, karena ini bisa dianggap serangan dan berujung masalah yang tidak perlu.

Berikut panduan singkat berdasarkan jenis data:

Selama kamu hanya mengambil data dari dua baris pertama tabel di atas, aktivitasmu berada dalam batas yang bisa dipertanggungjawabkan secara hukum.

Untuk memahami lebih luas bagaimana n8n bisa membantu otomatisasi bisnis kamu secara keseluruhan, bukan hanya untuk scraping kompetitor, panduan otomatisasi bisnis dengan n8n untuk UMKM Indonesia adalah titik awal yang tepat sebelum masuk lebih jauh ke implementasi teknis.

Baca Juga: Panduan Otomatisasi Bisnis dengan n8n untuk UMKM Indonesia

Bagaimana Cara Kerja Scraping Data dengan n8n?

Sistemnya bekerja seperti asisten yang kamu kirim setiap pagi untuk mencatat daftar harga di website kompetitor, lalu langsung memasukkannya ke spreadsheet kamu secara otomatis tanpa kamu perlu tahu detailnya.

Di n8n, proses scraping dasar membutuhkan empat node yang bekerja secara berurutan.

1. Schedule Trigger menentukan kapan workflow dijalankan, misalnya setiap hari pukul 08.00 pagi atau setiap Senin sebelum jam kerja dimulai.
2. HTTP Request node node ini dikirim ke URL website kompetitor yang ingin dipantau dan mengambil seluruh konten HTML halaman tersebut seperti browser yang membuka halaman.
3. HTML Extract node dari seluruh HTML yang sudah diambil, node ini memilah elemen spesifik yang kamu butuhkan berdasarkan CSS selector, misalnya hanya harga produk atau hanya teks review pelanggan.
4. Google Sheets node data yang sudah bersih langsung disimpan ke spreadsheet yang sudah kamu siapkan, siap dianalisis kapanpun kamu mau.

Kamu bisa menambahkan node lain di antaranya, misalnya node IF untuk hanya menyimpan data yang berubah dari hari sebelumnya, atau node kirim notifikasi WhatsApp kalau harga kompetitor turun di bawah harga kamu.

Keterbatasan yang perlu kamu tahu: pipeline empat node di atas bekerja baik untuk website statis yang HTML-nya langsung tersedia saat halaman dimuat, dan butuh pendekatan berbeda untuk situs yang kontennya dimuat via JavaScript.

Data Kompetitor Apa Saja yang Bisa Kamu Ambil?

Pilihan data yang bisa dikumpulkan lebih luas dari yang kebanyakan orang bayangkan, dan masing-masing memberikan insight yang berbeda untuk keputusan bisnis.

Untuk marketplace besar seperti Shopee dan Tokopedia, scraping langsung lebih kompleks karena keduanya menggunakan JavaScript berat dan sistem anti-bot yang ketat, sehingga HTTP Request node biasa akan langsung gagal.

Alternatif yang lebih praktis untuk marketplace adalah manfaatkan fitur riset pasar bawaan di dalam seller dashboard masing-masing platform, atau gunakan tool price tracking yang memang dirancang khusus untuk itu.

Tapi untuk website toko online kompetitor yang berdiri sendiri tanpa proteksi berat, pipeline n8n dasar biasanya sudah lebih dari cukup.

Baca Juga: 5 Workflow n8n untuk Otomatisasi WhatsApp Bisnis Indonesia

Kapan HTTP Request Cukup, Kapan Butuh Tool Tambahan?

Ini adalah pertanyaan yang paling sering muncul setelah seseorang mencoba pipeline dasar dan menemukan bahwa beberapa situs tidak bisa di-scrape dengan cara standar.

HTTP Request node bawaan n8n punya User Agent default yang langsung dikenali sebagai bot oleh sistem proteksi website modern, dan sering menghasilkan error 403 Forbidden atau HTML kosong tanpa isi yang kamu butuhkan.

Trik pertama yang harus dicoba sebelum beralih ke tool berbayar: ubah User Agent di HTTP Request node ke User Agent browser Chrome terbaru, karena ini saja sudah cukup melewati proteksi dasar di banyak situs.

Kalau masih gagal setelah itu, berikut panduan memilih pendekatan yang tepat:

Cara paling cepat untuk cek apakah HTTP Request node akan cukup: buka website target di browser, klik kanan, pilih “View Page Source.”

Kalau harga atau konten yang ingin kamu ambil sudah terlihat di source code, HTTP Request node kemungkinan besar akan berhasil.

Kalau konten tidak terlihat di source code padahal tampil di browser, konten itu dimuat via JavaScript dan kamu butuh tool tambahan.

Kalau kamu tidak mau trial-and-error debugging sendiri atau sering mentok di error yang susah di-diagnosa, tim Mixist Digital bisa setup sistem monitoring kompetitor berbasis n8n yang disesuaikan dengan website target dan kebutuhan bisnismu.

Hubungi via WhatsApp atau cek detail layanan di halaman n8n Automation kami.

Langkah Setup Workflow Scraping Kompetitor di n8n dari Nol

Berikut enam langkah yang bisa langsung kamu ikuti untuk website statis menggunakan HTTP Request node bawaan n8n, tanpa perlu tambahan tool berbayar.

1. Buat workflow baru dan tambahkan Schedule Trigger

Buka n8n, buat workflow kosong, tambahkan node Schedule Trigger, dan atur frekuensi sesuai kebutuhan seperti setiap hari pukul 07.00 pagi agar data sudah tersedia saat kamu mulai kerja.

2. Tambahkan HTTP Request node dan masukkan URL target

Tambahkan node HTTP Request, masukkan URL halaman kompetitor yang ingin dipantau, pastikan method-nya GET, lalu ubah User Agent dari default axios ke User Agent browser Chrome terbaru di bagian Headers.

3. Identifikasi CSS selector untuk data yang ingin diambil

Buka website kompetitor di browser, klik kanan pada elemen yang ingin diambil misalnya harga produk, pilih “Inspect”, lalu di panel developer tools klik kanan pada elemen yang disorot dan pilih “Copy selector.”

4. Tambahkan HTML Extract node dan konfigurasi selector

Hubungkan HTML Extract node ke output HTTP Request, tambahkan extraction rule baru, masukkan CSS selector yang tadi disalin, dan beri nama yang jelas pada field hasilnya agar mudah diidentifikasi di langkah berikutnya.

5. Tambahkan Set node untuk merapikan output

Gunakan Set node untuk memberi label yang lebih deskriptif pada setiap field dan tambahkan field tanggal scraping menggunakan expression {{ $now }} agar setiap baris data di spreadsheet tahu kapan data itu diambil.

6. Hubungkan ke Google Sheets dan lakukan test manual

Tambahkan Google Sheets node, hubungkan ke spreadsheet yang sudah kamu siapkan, jalankan workflow satu kali secara manual, dan verifikasi bahwa data muncul dengan benar sebelum mengaktifkan jadwal otomatis.

Kalau ada kolom yang kosong, cek kembali CSS selector di langkah 3 karena itu adalah sumber masalah paling umum, terutama saat website target baru saja mengubah struktur HTML-nya.

Baca Juga: n8n vs Zapier: Mana yang Lebih Hemat untuk UMKM Indonesia?

Mau Data Kompetitor Mengalir Otomatis Tanpa Harus Setup Sendiri?

Memahami arsitekturnya adalah satu hal, tapi membangun workflow yang stabil dan mampu bertahan saat kompetitor mengubah layout website-nya atau saat situs target tiba-tiba memperbarui sistem proteksinya adalah tantangan lain yang butuh waktu dan pengalaman tersendiri.

Mixist Digital menyediakan layanan setup n8n workflow bisnis, termasuk sistem monitoring data kompetitor otomatis yang disesuaikan dengan sumber data spesifik yang kamu butuhkan.

Yang termasuk dalam layanan: identifikasi sumber data paling relevan untuk bisnismu, setup workflow lengkap dari trigger sampai output ke Google Sheets atau format lain, testing dan debugging, serta panduan maintenance saat ada perubahan di situs target.

Konsultasi langsung via WhatsApp  atau kunjungi halaman layanan n8n Automation Mixist Digital untuk informasi lebih lengkap.

Pertanyaan Seputar Scraping Data Kompetitor dengan n8n

Apakah scraping harga kompetitor itu legal di Indonesia?

Scraping data harga yang ditampilkan secara publik di website kompetitor umumnya berada di zona aman secara hukum di Indonesia, karena data tersebut bukan data pribadi yang dilindungi UU PDP.

Yang perlu selalu dicek sebelum setup workflow adalah file robots.txt dan Terms of Service situs target, karena beberapa platform secara eksplisit melarang scraping di dokumen tersebut.

Apa itu robots.txt dan kenapa penting untuk scraping?

robots.txt adalah file kecil di root domain sebuah website yang berisi instruksi bagi bot dan crawler tentang halaman mana yang boleh dan tidak boleh diakses secara otomatis.

Kamu bisa mengeceknya dengan mengetik namawebsite.com/robots.txt di browser, dan jika ada aturan “Disallow” untuk halaman yang ingin kamu scrape, sebaiknya tidak dilanjutkan meski datanya tampak publik.

Apakah n8n bisa scraping Shopee atau Tokopedia langsung?

Marketplace besar seperti Shopee dan Tokopedia sangat sulit di-scrape langsung karena menggunakan JavaScript berat dan sistem anti-bot yang canggih, sehingga HTTP Request node bawaan n8n hampir pasti akan gagal.

Pendekatan yang lebih realistis adalah menggunakan tool scraping berbayar dengan kemampuan JavaScript rendering dan proxy rotation, atau memanfaatkan fitur analitik bawaan yang sudah tersedia di seller dashboard masing-masing platform.

Apa yang terjadi kalau kompetitor mengubah desain websitenya?

Ketika kompetitor mengubah struktur HTML atau layout halaman, CSS selector yang sudah dikonfigurasi di HTML Extract node bisa tidak valid lagi dan workflow akan berhenti menghasilkan data yang benar.

Solusinya adalah cek output workflow secara berkala minimal sebulan sekali, atau pasang node monitor yang kirim notifikasi WhatsApp otomatis kalau output tiba-tiba kosong lebih dari satu hari.

Berapa estimasi biaya total untuk setup monitoring kompetitor dengan n8n?

Untuk website statis tanpa proteksi ketat, kamu hanya perlu biaya akun n8n sekitar $20/bulan untuk versi Cloud, atau gratis jika kamu self-host di VPS yang sudah kamu punya.

Jika target website butuh tool tambahan seperti Firecrawl atau ScrapingBee, tambahkan biaya mulai dari $0 hingga $49/bulan tergantung volume scraping dan kompleksitas situs yang menjadi targetmu.