Langkah-Langkah dalam Kegiatan Scraping
Scraping adalah proses pengumpulan data dari berbagai sumber, terutama situs web. Dalam kegiatan ini, siswa diminta untuk menjelaskan langkah-langkah yang dilakukan dalam mengumpulkan data atau scraping. Berikut penjelasannya:
- Tentukan sumber data yang akan di-scrape, misalnya sebuah situs web lowongan pekerjaan.
- Analisis struktur HTML dari halaman web tersebut untuk memahami elemen-elemen yang akan diambil.
- Gunakan library atau framework web scraping, seperti BeautifulSoup atau Scrapy, untuk mengambil data dari HTML.
- Identifikasi elemen HTML yang mengandung informasi yang ingin diambil, seperti judul lowongan, instansi, gaji, dan lokasi.
- Tulis kode scraping untuk mengekstrak informasi dari elemen-elemen tersebut.
- Jalankan skrip scraping untuk mendapatkan data dari situs web.
- Simpan hasil scraping ke dalam format yang sesuai, misalnya CSV atau database.
Mengubah Sumber Data dalam Proyek Web Scraping
Dalam proyek web scraping sebelumnya, contoh yang diberikan adalah lowongan pekerjaan “part-time”. Jika ingin mengganti jenis pekerjaan menjadi “programmer”, maka bagian yang perlu diubah adalah alamat web yang digunakan sebagai sumber data.
Misalnya, pada baris 5 Gambar 6.14 Buku Siswa, alamat web jobs.id diberi kata kunci “part time”. Untuk mengganti menjadi “programmer”, alamat web dapat diubah menjadi:
https://www.jobs.id/lowongan-kerja?kata-kunci programmer.
Menambahkan Informasi Lokasi dalam Tabel Lowongan Pekerjaan
Untuk menambahkan informasi lokasi dalam tabel lowongan pekerjaan, kita perlu melihat struktur HTML dari website tersebut. Dari proses parsing yang dilakukan, kita bisa menemukan bahwa data lokasi berada satu hierarki dengan informasi institusi.
Pada informasi ini, diberikan penanda atribut kelas “location” sehingga memudahkan identifikasi. Sebelumnya, kita perlu mempersiapkan array untuk menampung data lokasi di tempat deklarasi yang sama dengan array lainnya. Setelah itu, data lokasi bisa diambil dari variabel lowongan pekerjaan yang telah diiterasi dalam for, yaitu variabel p. Dari variabel ini, kita ambil data yang mengandung “location”.
Setelah itu, data ini disisipkan ke dalam array lokasi. Contoh kode yang digunakan adalah:
fig = px.scatter(lowker, x='posisi', y='Gaji'). Array lokasi ini kemudian dapat ditampilkan saat membuka datanya ke dalam tabel, seperti menambahkan Baris 39 ke dalam Gambar 6.16 pada Buku Siswa.
Mencari Lowongan Pekerjaan Secara Manual atau Otomatis
Kegiatan mencari lowongan pekerjaan dapat dilakukan secara manual atau otomatis. Berikut beberapa cara yang bisa dilakukan:
- Manual/Unplugged: Tulis tangan informasi lowongan pekerjaan dalam format tabel dengan kolom seperti posisi, instansi, gaji, dan lokasi.
- Plugged: Gunakan Aplikasi Pengolah Angka untuk membuat tabel yang sama dengan mencatat informasi yang relevan.
- Proses manual melibatkan membaca dan mencatat data dengan tangan atau menggunakan aplikasi pengolah angka, bukan otomatis seperti pada web scraping.
Menjalankan Web Scraping pada Situs JobsDB
JobsDB adalah salah satu situs web yang memiliki struktur HTML yang sederhana dan mudah dianalisis. Dengan menggunakan situs ini, kita dapat melakukan scraping untuk mendapatkan rangkuman lowongan pekerjaan yang tersedia dalam sebuah tabel.
Untuk melakukan ini, kita perlu mengidentifikasi elemen-elemen HTML yang mengandung informasi penting, seperti posisi, instansi, gaji, dan lokasi. Setelah itu, kita dapat menulis kode scraping yang sesuai untuk mengekstrak data dari situs tersebut. Tabel yang digunakan dapat dibuat dengan bantuan aplikasi pengolah angka atau ditulis tangan dalam selembar kertas.
