Implementasi Web Scraping Untuk Ekstraksi Data Penjual dan Produk Panel Surya Di E-Commerce

Indonesia

Abstract

Perkembangan e-commerce di indonesia telah mendorong peningkatan penjualan produk berbasis energi terbarukan, seperti panel surya. Namun, keterbatasan akses terhadap data produk dan penjual di marketplace seperti tokopedia menimbulkan tantangan dalam analisis pasar. Penelitian ini menerapkan metode web scraping untuk mengotomatisasikan ekstraksi data penjual dan produk panel surya di tokopedia. studi ini mengunakan BeautifulSoap dan Selenium sebagai pustaka utama untuk scraping, serta pandas untuk pembersihan data dan analisis awal dalam Jupyter Notebook. BeautifulSoap digunakan untuk parsing HTML statis, sedangkan Selenium menangani pemuatan konten dinamis dan interaksi dengan elemen berbasis Javascript. Hasil penelitian ini menunjukan bahwa metode ini efektif dalam pengumpulan informasi terkait harga, lokasi penjual, dan spesifikasi produk. Namun, tantangan seperti konten dinamis, perlindungan anti-bot dari tokopedia, serta verifikasi captcha menjadi hambatan yang perlu diatasi dengan teknik khusus. Penelitian ini berkontribusi dalam menyediakan dataset yang dapat digunakan untuk analisis tren pasar dan pengambilan keputusan bisnis di sektor energi terbarukan.