Tutorial Membuat Web Scraper dengan Python dan BeautifulSoup

Daftar Isi

• Pengantar
• Persiapan
• Instalasi
• Membuat Web Scraper
• Mengambil Data
• Menyimpan Data
• Kesimpulan

Pengantar

Web scraping adalah teknik untuk mengambil informasi dari situs web. Dalam tutorial ini, kita akan belajar cara membuat web scraper menggunakan Python dan BeautifulSoup. Dengan alat ini, Anda dapat mengumpulkan data dari berbagai sumber di internet dengan mudah.

Persiapan

Sebelum memulai, pastikan Anda memiliki Python terinstal di komputer Anda. Anda juga perlu memahami dasar-dasar pemrograman Python untuk mengikuti tutorial ini.

Instalasi

Untuk menggunakan BeautifulSoup, Anda perlu menginstalnya terlebih dahulu. Anda juga memerlukan library requests untuk melakukan permintaan HTTP. Berikut adalah cara menginstalnya:

pip install beautifulsoup4 requests

Membuat Web Scraper

Kode Scraper

Setelah instalasi, kita dapat mulai membuat web scraper. Berikut adalah contoh kode sederhana untuk mengambil data dari sebuah halaman web:

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

Menjalankan Scraper

Setelah Anda menulis kode, jalankan program Anda. Pastikan Anda terhubung ke internet dan situs web yang ingin Anda ambil datanya dapat diakses.

Mengambil Data

Setelah mendapatkan objek BeautifulSoup, Anda dapat mulai mengambil data. Misalnya, jika Anda ingin mengambil semua judul artikel dari halaman:

titles = soup.find_all('h2')
for title in titles:
    print(title.text)

Menyimpan Data

Setelah berhasil mengambil data, Anda mungkin ingin menyimpannya ke dalam file. Anda dapat menggunakan format CSV untuk menyimpan data dengan mudah:

import csv

with open('data.csv', mode='w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['Title'])
    for title in titles:
        writer.writerow([title.text])

Kesimpulan

Dalam tutorial ini, kita telah belajar cara membuat web scraper sederhana menggunakan Python dan BeautifulSoup. Anda sekarang dapat mengumpulkan data dari situs web dengan mudah. Pastikan untuk mematuhi kebijakan penggunaan situs web dan tidak melakukan scraping secara berlebihan.