Bagaimana proses web scraping ekstrak data dari halaman web

Proses web scraping melibatkan pengambilan dan ekstraksi data dari halaman web. Di bawah ini adalah langkah-langkah umum yang terlibat dalam proses web scraping:

1. **Identifikasi Tujuan:**

   Tentukan tujuan web scraping Anda. Apakah Anda ingin mengumpulkan berita terbaru, informasi harga produk, ulasan pelanggan, atau data lainnya? Memahami tujuan Anda akan membantu Anda merencanakan dan mengekstrak data yang relevan.

2. **Pilih Teknologi yang Tepat:**

   Pilih bahasa pemrograman dan pustaka web scraping yang sesuai dengan proyek Anda. Beberapa pilihan umum meliputi Python (Beautiful Soup, Scrapy), JavaScript (Puppeteer), atau bahasa pemrograman lainnya yang memiliki pustaka web scraping.

3. **Analisis Struktur Halaman Web:**

   Pahami struktur HTML atau XML halaman web yang akan Anda scrape. Identifikasi elemen-elemen yang mengandung data yang ingin Anda ambil, termasuk tag HTML, atribut, dan struktur hierarki.

4. **Pertimbangkan Kebijakan Situs Web:**

   Periksa file robots.txt situs web target untuk memahami kebijakan web scraping yang diterapkan oleh situs tersebut. Beberapa situs web mungkin melarang atau membatasi aktivitas web scraping.

5. **Dapatkan Izin Jika Diperlukan:**

   Jika situs web memiliki ketentuan penggunaan yang melarang web scraping atau memerlukan izin, pastikan untuk mendapatkan izin sebelum memulai proses scraping.

6. **Gunakan Pustaka Web Scraping:**

   Implementasikan kode web scraping menggunakan pustaka atau framework yang dipilih. Ini melibatkan mengakses halaman web menggunakan permintaan HTTP, mengekstrak HTML, dan kemudian menavigasi dan mengekstrak data menggunakan teknik scraping.

7. **Penanganan Dinamika JavaScript (Opsional):**

   Jika halaman web menggunakan banyak kode JavaScript untuk merender konten, Anda mungkin perlu menggunakan alat seperti Puppeteer untuk menangani rendering dinamis dan mengakses data setelah proses rendering selesai.

8. **Coba-Coba dan Uji Coba:**

   Uji kode scraping Anda pada beberapa halaman untuk memastikan keakuratannya dan untuk memahami apakah perlu penyesuaian. Jangan melakukan scraping yang terlalu cepat atau sering agar tidak membebani server situs web.

9. **Penanganan Error dan Kembali:**

   Tambahkan penanganan kesalahan untuk mengatasi situasi di mana halaman web tidak dapat diakses atau strukturnya berubah. Pastikan kode scraping Anda memiliki mekanisme mundur atau berhenti jika ditemui masalah.

10. **Simpan dan Analisis Data:**

    Simpan data yang telah Anda scrape ke dalam format yang sesuai, seperti CSV, Excel, atau basis data. Selanjutnya, lakukan analisis data sesuai kebutuhan Anda.

11. **Pemantauan dan Pemeliharaan:**

    Pemantauan secara rutin terhadap proses scraping untuk memastikan kontinuitas dan penanganan perubahan struktur halaman web. Jika struktur halaman web berubah, Anda perlu memperbarui kode scraping Anda.

12. **Patuhi Etika Web Scraping:**

    Patuhi etika web scraping dengan menghindari overloading server situs web, mematuhi aturan situs, dan hanya mengambil data yang Anda butuhkan.

Perlu diingat bahwa web scraping harus dilakukan dengan bijaksana dan sesuai dengan etika, hukum, dan kebijakan privasi. Pahami dan patuhi ketentuan dan kebijakan situs web yang Anda scrape.

Read More

Membuat Event dan Mempersiapkannya Workshop di SMKN 5 Surakarta

Hai teman-teman pembaca setia! Saya, Galih Setiawan, ingin berbagi pengalaman yang sangat berkesan dalam menjadi narasumber dalam kegiatan Latihan Dasar Kepemimpinan di SMK NEGERI 5 Surakarta pada Jumat, 24 November 2023. Sebagai dosen di Universitas BSI, momen ini menjadi kesempatan emas bagi saya untuk berkontribusi dalam membentuk generasi pemimpin masa depan.

Acara ini memfokuskan diri pada para siswa dari organisasi OSIS yang tengah mengembangkan keterampilan kepemimpinan mereka. Saya bersama rekan narasumber, Ahmad Fauzi, memiliki kesempatan untuk membimbing mereka dalam merencanakan dan melaksanakan event yang sukses. Sebuah tanggung jawab yang saya anggap sangat berharga.

**Mengajarkan Esensi Perencanaan Event**

Sebagai awal, kami membahas langkah-langkah kritis dalam perencanaan event, yang merupakan fondasi dari keberhasilan suatu acara. Saya merinci hal-hal seperti menentukan tujuan yang jelas, menyusun anggaran dengan bijak, membangun tim yang solid, pemilihan lokasi dan tanggal yang tepat, hingga mencari dukungan sponsor dan pembicara yang sesuai. Kesemua ini adalah pondasi penting yang perlu dipahami setiap calon pemimpin.

**Interaksi dan Inspirasi**

Workshop tidak hanya sebatas menyampaikan materi, tetapi juga menciptakan ruang untuk interaksi dan inspirasi. Sesi tanya jawab dan diskusi memungkinkan para peserta untuk mendapatkan pemahaman yang lebih mendalam tentang aspek-aspek tertentu, sambil berbagi pengalaman dan pandangan mereka.

Melihat antusiasme peserta, sorot mata penuh semangat, membuat saya tersenyum. Mereka bukan hanya mengejar keberhasilan event semata, tetapi juga berusaha untuk berkembang sebagai pemimpin yang dapat memberikan dampak positif bagi lingkungan sekitarnya.

**Dukungan Universitas BSI untuk Pendidikan**

Sebagai representatif dari Universitas BSI, saya merasa bangga dapat menjadi bagian dari kegiatan ini. Workshop ini adalah salah satu bentuk dukungan kami untuk pendidikan dan pengembangan kepemimpinan di kalangan siswa. Kami percaya bahwa memberikan ilmu dan keterampilan kepada generasi muda adalah investasi terbaik untuk masa depan yang lebih baik.

**Harapan untuk Masa Depan**

Semoga, ilmu dan inspirasi yang diterima oleh para peserta dapat menjadi bekal berharga dalam perjalanan mereka sebagai pemimpin. Kepemimpinan bukan hanya tentang kemampuan mengatur sebuah acara, tetapi juga bagaimana membawa perubahan positif dan inspirasi kepada orang lain.

Terima kasih kepada SMK NEGERI 5 Surakarta atas kesempatan ini, dan kepada para peserta yang telah memberikan semangat dan antusiasme luar biasa. Mari bersama-sama kita terus berkembang, terus inspiratif, dan menjadi pemimpin yang dapat membawa perubahan positif bagi dunia kita! 🌟🌈 #LatihanDasarKepemimpinan #Pendidikan #BSIUntukGenerasiPemimpin"

Read More

Mengenal Django Framework python untuk bikin web

Django adalah kerangka kerja (framework) yang dibangun menggunakan bahasa pemrograman Python, dirancang untuk mempermudah pengembangan aplikasi web dengan menyediakan struktur yang kokoh dan berfungsi. Berikut adalah beberapa aspek penting tentang Django dalam konteks framework Python:

Kemudahan Pengembangan Aplikasi Web:

Django memberikan alat dan struktur yang dibutuhkan untuk membangun aplikasi web dengan cepat dan efisien. Ini termasuk sistem manajemen basis data terintegrasi, modul otentikasi pengguna, dan alat bantu pengembangan lainnya.

Model-View-Controller (MVC) Architecture:

Django mengikuti pola arsitektur Model-View-Controller (MVC) atau Model-View-Template (MVT). Ini memisahkan logika aplikasi menjadi tiga komponen utama: Model (pengelolaan data dan basis data), View (presentasi dan tampilan), dan Template (tata letak HTML dan logika presentasi).

ORM (Object-Relational Mapping):

Django menyediakan ORM yang kuat, memungkinkan pengembang berinteraksi dengan basis data menggunakan objek-objek Python daripada SQL tradisional. Ini menyederhanakan pengelolaan data dan membuatnya lebih mudah untuk beradaptasi dengan perubahan dalam struktur basis data.

Django Admin:

Django Admin adalah fitur bawaan yang memungkinkan pengembang membuat antarmuka admin untuk aplikasi mereka dengan mudah. Dengan hanya mengonfigurasi model, pengguna dapat mengelola data aplikasi melalui antarmuka administrasi yang elegan dan ramah pengguna.

Keamanan Terintegrasi:

Django dilengkapi dengan banyak fitur keamanan bawaan untuk melindungi aplikasi dari berbagai jenis serangan, termasuk perlindungan terhadap serangan CSRF (Cross-Site Request Forgery) dan SQL injection.

Sistem Template:

Django menggunakan sistem template yang kuat untuk memisahkan logika aplikasi dari presentasi. Ini memudahkan pengembangan frontend dan memungkinkan desainer dan pengembang bekerja bersama-sama lebih efisien.

Reusable Apps:

Django mendukung pembuatan aplikasi yang dapat digunakan kembali. Pengembang dapat membangun aplikasi-aplikasi kecil dan mengintegrasikannya ke dalam proyek Django tanpa harus membuat ulang fungsionalitas yang serupa.

Komunitas Besar dan Dokumentasi yang Kuat:

Django memiliki komunitas pengembang yang besar dan aktif. Dokumentasi resmi Django sangat lengkap, memberikan panduan langkah demi langkah untuk pengembangan aplikasi dengan menggunakan framework ini.

Dengan kombinasi fitur-fitur ini, Django memberikan pendekatan terstruktur dan produktif untuk pengembangan aplikasi web menggunakan Python. Ini sangat cocok untuk proyek-proyek dari skala kecil hingga besar, memungkinkan pengembang untuk fokus pada logika bisnis aplikasi tanpa harus mengulang-ulang tugas umum pengembangan web

Read More

Workshop Pelatihan Canva di Kelurahan Banjarsari

"Hari Sabtu lalu, saya merasa sangat berbahagia dapat berpartisipasi dalam kegiatan pengabdian masyarakat yang dilaksanakan oleh dosen-dosen Universitas BSI Kampus Surakarta. Kegiatan kali ini, bertema "Pelatihan Membuat Poster dengan Aplikasi Canva," berlangsung di Kelurahan Banjarsari. 

Sambutan hangat dari Ibu Lurah Endang Wahyuni, S.E, MM, membuka acara dengan harapan bahwa kegiatan ini akan membawa pengetahuan dan keterampilan baru bagi staf dan linmas kelurahan Banjarsari. Terima kasih disampaikan kepada Universitas BSI atas kontribusinya, dan harapannya adalah agar kerjasama ini dapat terus berlanjut.

Peserta kegiatan, terdiri dari linmas dan staf kantor kelurahan Banjarsari, tampak sangat antusias dalam belajar dan mengasah keterampilan membuat poster menggunakan aplikasi Canva. Saya, Galih Setiawan Nurohim, M.Kom, sebagai narasumber dari Universitas BSI, berusaha memberikan panduan yang informatif dan bermanfaat bagi para peserta.

Kegiatan pengabdian ini merupakan bagian dari tridarma perguruan tinggi, yang melibatkan pendidikan, penelitian, dan pengabdian masyarakat. Sebagai Ketua Panitia Pengabdian Masyarakat UBSI, saya merasa bangga dapat memberikan kontribusi positif kepada masyarakat Banjarsari melalui kegiatan ini.

Acara berakhir dengan foto bersama dan penyerahan souvenir kepada pihak kelurahan, disambut oleh senyuman tulus Ibu Lurah Endang. Saya yakin kegiatan ini tidak hanya memberikan manfaat besar kepada masyarakat setempat, tetapi juga menjadi contoh nyata kerjasama yang baik antara perguruan tinggi dan masyarakat. Semoga ke depannya, kolaborasi seperti ini dapat terus berkembang dan memberikan dampak positif yang lebih besar lagi."

Read More

Yang bisa dilakukan dengan python

Dengan Python, dunia pemrograman membuka pintu sejumlah tak terbatas kreativitas dan inovasi. Pertama-tama, Anda dapat memanfaatkan kekuatan Python untuk membuat aplikasi web yang tangguh menggunakan kerangka kerja seperti Django atau Flask. Ini membuka peluang untuk mengembangkan situs web yang dinamis dan responsif dengan mudah.

Selanjutnya, dalam dunia hiburan, Python menawarkan peluang menciptakan permainan yang seru dan interaktif. Library Pygame memberikan fondasi yang kuat untuk mengembangkan berbagai jenis game dengan berbagai tingkat kesulitan. Mulai dari permainan sederhana hingga yang lebih kompleks, Python memberikan fleksibilitas yang diperlukan untuk mewujudkannya.

Selain itu, Python dapat digunakan untuk menciptakan aplikasi desktop atau mobile, memungkinkan Anda mengeksplorasi berbagai platform. Dengan kepopuleran Python, tersedia berbagai library dan alat yang dapat memfasilitasi pengembangan aplikasi yang sesuai dengan kebutuhan dan preferensi Anda.

Dalam dunia analisis data, Python menjadi bahasa yang sangat relevan. Dengan library seperti Pandas dan NumPy, Anda dapat melakukan pemrosesan data besar, analisis statistik, dan visualisasi data dengan mudah. Ini memberi Anda alat yang kuat untuk menggali wawasan dari kumpulan data yang kompleks.

Kemudian, Python menjadi pilihan ideal untuk membuat script otomatisasi atau bot. Ini dapat menghemat waktu dan usaha dengan mengotomatiskan tugas-tugas berulang atau rutin, memungkinkan Anda untuk fokus pada pekerjaan yang lebih kreatif dan strategis.

Selain itu, Python membuka pintu untuk menciptakan model machine learning atau kecerdasan buatan. Dengan dukungan library seperti TensorFlow atau Scikit-Learn, Anda dapat membangun model yang dapat belajar dan beradaptasi dari data, membuka peluang baru di bidang pengembangan teknologi canggih.

Semua ini hanya sebagian kecil dari potensi Python. Terlepas dari apa yang Anda impikan, Python memberikan landasan yang kokoh untuk mengembangkan berbagai jenis proyek pemrograman. Penting untuk diingat bahwa kunci utama kesuksesan terletak pada kreativitas dan niat Anda untuk terus belajar dan mengembangkan kemampuan pemrograman Python. Dengan semangat ini, dunia Python menawarkan tanah yang luas untuk dijelajahi dan ditemukan.

Read More

Workshop Mengenal Fitur Baru & Motion Grafis Canva bersama Keluarga Mahasiswa Sragen Regional Solo Raya

Saya senang bisa berbagi pengalaman menarik dari suatu kegiatan yang baru saja saya hadiri. Sebagai narasumber pada acara pelatihan "Mengenal Fitur Baru & Motion Grafis Canva" yang diselenggarakan oleh Keluarga Mahasiswa Sragen Regional Solo Raya di SMK Muhammadiyah 2 Sragen pada Minggu (26/11/2023), saya merasa terhormat dan antusias untuk berbagi cerita dengan kalian.

Sebelum kita masuk ke dalam cerita, izinkan saya memperkenalkan diri. Saya adalah Galih Setiawan , seorang dosen dengan latar belakang Magister Komputer, yang memiliki passion besar dalam dunia teknologi informasi dan desain grafis. Ketika saya mendapat undangan untuk menjadi narasumber dalam acara ini, saya merasa senang bisa berkontribusi dalam membekali mahasiswa dengan pengetahuan dan keterampilan terkini dalam menggunakan Canva, terutama fitur-fitur baru dan teknik motion grafis.

Acara dimulai dengan semangat yang luar biasa dari peserta, yang terdiri dari anggota Keluarga Mahasiswa Sragen Regional Solo Raya dan masyarakat umum. Sebagai seorang dosen, melihat semangat belajar seperti ini benar-benar memotivasi saya. Kami tidak hanya bertukar pengetahuan, tetapi juga menggali ide-ide kreatif baru bersama.

Ketua Penyelenggara, mahasiswa saya yang bernama Rifky, memberikan sambutan pembukaan yang penuh semangat. Dia menjelaskan betapa pentingnya Canva dalam kegiatan organisasi mahasiswa dan kebutuhan pembelajaran di kampus. Saya melihat antusiasme dalam matanya, dan itu membuat saya semakin yakin bahwa acara ini akan memberikan dampak positif yang besar.

Saya pun memulai sesi presentasi, berbagi pengetahuan tentang fitur-fitur baru Canva dan teknik motion grafis. Interaksi dengan peserta sangat menyenangkan, mereka aktif bertanya dan berbagi pengalaman mereka sendiri. Saya sangat senang melihat semangat mereka dalam menghadapi tantangan baru.

Seiring berjalannya acara, saya melihat bagaimana peserta semakin paham dan percaya diri dalam menggunakan Canva untuk keperluan organisasi mereka. Mereka mulai menggagas ide-ide kreatif untuk meningkatkan layanan masyarakat melalui desain grafis.

Kesimpulannya, acara ini bukan hanya tentang pelatihan teknis, tetapi juga tentang membangun komunitas yang kreatif dan inovatif. Saya percaya bahwa mahasiswa adalah agen perubahan yang kuat, dan acara ini merupakan langkah positif dalam mendukung kemajuan teknologi informasi di kalangan mereka.

Terima kasih kepada Keluarga Mahasiswa Sragen Regional Solo Raya atas undangan ini. Saya berharap bahwa pengetahuan yang kami bagikan dapat menjadi bekal berharga bagi peserta untuk terus berkembang dalam era teknologi informasi yang semakin dinamis. Mari bersama-sama menjelajahi dunia inovasi dan kreativitas!

Read More

Harus lebih rajin membaca Jurnal

Banyak mahasiswa kurang semangat mencari referensi artikel ilmiah karena merasa sulit memahaminya. Mereka cenderung malas mencari artikel jurnal dan hanya mengandalkan sumber yang mudah diakses. Padahal artikel ilmiah sangat penting untuk menunjang kualitas tugas akhir maupun skripsi.

Sebenarnya salah satu solusi untuk menumbuhkan semangat membaca artikel ilmiah adalah dengan mengetahui cara membacanya dengan benar dan mudah. Dengan memahami bagian-bagian penting seperti abstrak, metode, kontribusi, ringkasan dan kesimpulan, maka mahasiswa akan lebih mudah menemukan informasi yang dibutuhkan.

Oleh karena itu saya memberikan tips singkat seperti fokus pada abstrak untuk mengetahui tujuan penelitian, ikuti alur metode untuk memahami cara peneliti melakukan eksperimen atau survei, cari kontribusi baru hasil penelitian, dan gunakan ringkasan serta kesimpulan untuk memahami poin-poin pentingnya.

Saya berharap tips sederhana ini dapat membantu mahasiswa terdorong untuk lebih giat membaca artikel ilmiah. Sebab dengan mengerti cara membacanya, maka rasa sulit dan membosankan akan berkurang. Motivasi utama saya menulis artikel tersebut adalah membantu mahasiswa tergerak untuk mencari referensi ilmiah secara benar dan bijak. Dengan begitu, kualitas karya mereka akan semakin baik.

Read More