PERTEMUAN 6 QUIZ

 LINK G.COLAB

 import pandas as pd

# Membuat DataFrame contoh

data = pd.DataFrame({

    'nama': ['Mahasiswa A', 'Mahasiswa B', 'Mahasiswa C', 'Mahasiswa D', 'Mahasiswa E'],

    'waktu_lulus': [2019, 2020, None, 2018, 2022]  # Ubah None dengan nilai yang sesuai dengan data Anda

})

# Mendefinisikan batas atas dan batas bawah untuk outlier

# Misalnya, jika kita menganggap lulus dalam waktu kurang dari 3 tahun sebagai outlier

lower_bound = data['waktu_lulus'].min()

upper_bound = data['waktu_lulus'].mean() - 3 * data['waktu_lulus'].std()

# Mencari outlier

outliers = data[(data['waktu_lulus'].isnull()) | (data['waktu_lulus'] < lower_bound) | (data['waktu_lulus'] > upper_bound)]

# Menentukan apakah "waktu lulus" yang kosong atau sangat cepat adalah noise atau outlier

if len(outliers) > 0:

    print("Ada outlier dalam data.")

    print(outliers)

else:

    print("Tidak ada outlier dalam data. Mungkin ada beberapa noise.")

Berdasarkan data yang telah di analisa, ini merupkan noise karena terlihat banyaknya lulusan yang menyelesaikan studi lebih cepat daripada mahasiswa pindahan. Namun, setelah di analisa lebih dalam ternyata ada masalah dengan data, yaitu dikarenakan beberapa mahasiswa baru memiliki data lahiran yang lebih lama dari mahasiswa baru lainnya, yang mungkin disebabkan oleh kesalahan pengukuran atau pencatatan. Selain itu, terdapat juga data semester mahasiswa dengan nilai 0, yang kemungkinan merupakan hasil dari kesalahan atau faktor acak.

PERTEMUAN 5 QUIZ DATA MINING

LINK DOKUMEN :  https://drive.google.com/file/d/1u0nxCqeRa7uv61MRyxlu1lQGUyVQQ-rD/view?usp=sharing

LINK GOOGLE COLAB : https://colab.research.google.com/drive/18-0RxMBjDZRg44_T5Z6D4O4OwJSr5-Gb?usp=drive_link

PERTEMUAN 4 (KELOMPOK)

G.COLAB

link youtobe : https://www.youtube.com/watch?v=ohq5fuBdVSc&feature=youtu.be

PREPROCESSING DATA

     Preprocessing data (prapemrosesan data) adalah serangkaian langkah yang dilakukan sebelum analisis data untuk membersihkan, mengubah, dan menyederhanakan data sehingga lebih mudah dipahami dan digunakan dalam analisis. Ini termasuk beberapa tahapan, seperti data cleaning (pembersihan data), data collection (pengumpulan data), data transformation (transformasi data), dan data reduction (pengurangan data). Berikut adalah pengertian dan contoh kode untuk setiap tahap:

1. Data Cleaning (Pembersihan Data): Data cleaning adalah proses mengidentifikasi, memperbaiki, dan menghapus kesalahan atau anomali dalam data mentah.

G.COLAB

KODE

HASIL

2.  Data Collection (Pengumpulan Data): Pengertian: Data collection adalah proses mengumpulkan data dari berbagai sumber, baik itu sumber internal maupun eksternal.

G.COLAB

3. Data Transformation (Transformasi Data): Pengertian: Data transformation adalah proses mengubah struktur atau format data untuk memenuhi kebutuhan analisis atau aplikasi tertentu. 

G.COLAB

4. Data Reduction (Pengurangan Data): Pengertian: Data reduction adalah proses mengurangi jumlah data yang tidak perlu atau redundan tanpa mengurangi informasi yang penting. 

G.COLAB

DATA VISUALIZATION

 

            Data visualization (visualisasi data) adalah proses menggambarkan data secara visual menggunakan grafik, plot, dan diagram untuk memudahkan pemahaman, analisis, dan komunikasi informasi yang terkandung dalam data. Tujuan utama dari data visualization adalah untuk menyajikan data dengan cara yang jelas, jelas, dan mudah dimengerti, sehingga memungkinkan pengguna untuk mengeksplorasi pola, tren, dan hubungan dalam data dengan lebih efektif.

 

Beberapa keuntungan dari data visualization adalah:

1. Memudahkan Pemahaman: Visualisasi data membuat informasi lebih mudah dipahami daripada presentasi data dalam bentuk tabel atau daftar angka.

2. Mendeteksi Pola dan Tren: Grafik dan plot dapat membantu pengguna mengidentifikasi pola, tren, dan anomali dalam data dengan lebih cepat.

3. Mengomunikasikan Temuan: Visualisasi data memungkinkan komunikasi yang lebih efektif tentang temuan atau insight dari analisis data kepada pemangku kepentingan atau rekan kerja.

4. Meningkatkan Pengambilan Keputusan: Dengan memvisualisasikan data, pengambilan keputusan dapat dibantu dengan melihat gambaran besar dari informasi yang relevan.

5. Menyediakan Pandangan Holistik: Visualisasi data memungkinkan pengguna untuk mendapatkan pemahaman holistik tentang data dengan melihatnya dari berbagai sudut pandang.

 

Beberapa jenis visualisasi data yang umum meliputi:

- Grafik Garis (Line Charts): Untuk menunjukkan tren atau perubahan seiring waktu.

- Diagram Batang (Bar Charts): Untuk membandingkan kategori atau kuantitas.

- Diagram Lingkaran (Pie Charts): Untuk menunjukkan proporsi relatif dari kategori.

- Diagram Pencar (Scatter Plots): Untuk menunjukkan hubungan antara dua variabel.

- Heatmaps: Untuk memvisualisasikan data berdasarkan intensitas atau nilai numerik.

- Diagram Kotak (Box Plots): Untuk menunjukkan distribusi statistik data.

 

    Data visualization adalah alat yang kuat dalam analisis data dan pengambilan keputusan, dan pemahaman yang baik tentang bagaimana membuat visualisasi data yang efektif dapat membantu dalam menjelajahi dan memahami data dengan lebih baik.

https://colab.research.google.com/drive/1I9H58rF7Ruo3NkfV7m5rcdZjAI3FekbI

Penjelasan kode:

1. import pandas as pd: Mengimpor pustaka pandas untuk manipulasi dan analisis data.
2. import matplotlib.pyplot as plt: Mengimpor pustaka matplotlib untuk membuat visualisasi data.
3. Data disediakan dalam bentuk kamus Python.
4. DataFrame dibuat dari data menggunakan pandas.
5. df.plot(x='Tahun', y='Penjualan', marker='o', color='b', linestyle='-'): Membuat plot garis dengan tahun sebagai sumbu x dan penjualan sebagai sumbu y. Argumen tambahan seperti marker, warna, dan gaya garis juga diberikan.
6. plt.title('Trend Penjualan Tahunan'), plt.xlabel('Tahun'), dan plt.ylabel('Penjualan'): Menambahkan judul dan label sumbu x dan y.
7. plt.grid(True): Menambahkan grid pada plot.
8. plt.show(): Menampilkan plot.

DATA PREPARATION

            Data preparation (persiapan data) adalah proses pengelolaan dan penyempurnaan data mentah agar siap untuk digunakan dalam analisis atau aplikasi lainnya. Ini adalah langkah kritis dalam siklus analisis data yang melibatkan serangkaian tugas, termasuk:

1. Pembersihan Data (Data Cleaning): Mengidentifikasi dan memperbaiki masalah dalam data mentah, seperti nilai yang hilang, outlier, atau kesalahan entri.

2. Integrasi Data (Data Integration): Menggabungkan data dari berbagai sumber ke dalam satu set data yang konsisten.

3. Transformasi Data (Data Transformation): Mengubah format atau struktur data agar sesuai dengan kebutuhan analisis, seperti normalisasi atau pengkodean ulang.

4. Pemilihan Fitur (Feature Selection): Memilih variabel atau fitur yang paling relevan dan penting untuk tujuan analisis.

5. Pemformatan Data (Data Formatting): Menyesuaikan struktur data agar sesuai dengan format yang diinginkan atau diperlukan untuk aplikasi tertentu.

6. Validasi Data (Data Validation): Memverifikasi kebenaran dan kualitas data serta mengidentifikasi potensi masalah atau anomali.

7. Pelabelan Data (Data Labeling): Memberi label pada data jika diperlukan untuk tujuan klasifikasi atau pembelajaran mesin.

8. Sampling Data (Data Sampling): Mengambil sampel data jika ukuran data terlalu besar untuk dianalisis secara efisien.

9. Dokumentasi Data (Data Documentation): Mendokumentasikan proses persiapan data untuk referensi masa depan dan replikasi analisis.

10. Pengamanan Data (Data Security): Memastikan bahwa data terlindungi dan keamanan privasi dipertahankan selama proses persiapan data.

            Proses persiapan data yang efektif penting untuk memastikan bahwa hasil analisis yang dihasilkan akurat, andal, dan dapat diandalkan. Hal ini juga membantu mengurangi risiko kesalahan interpretasi atau kesimpulan yang salah karena data yang tidak bersih atau tidak disiapkan dengan baik.

 

https://colab.research.google.com/drive/17igHEL_8Hlb3xY2BUSBnpJ9oqobMIcIe?ouid=107961559539748447969&usp=drive_link

CCC (COMPUTATIONAL, COGNITIVE, AND COMMUNICATION)

 

CCC (Computational, Cognitive, and Communication) adalah pendekatan yang menekankan integrasi antara bidang komputasi, kognitif, dan komunikasi. Ini merujuk pada konvergensi dari tiga aspek utama dalam teknologi dan ilmu pengetahuan yang semakin terkait erat satu sama lain.

1. Computational (Komputasional): Merujuk pada penggunaan komputer dan teknik pemrosesan data untuk memecahkan masalah, melakukan analisis, atau membangun model. Ini mencakup pengembangan algoritma, pemrograman komputer, dan pengolahan data besar (big data).

2. Cognitive (Kognitif): Berfokus pada pemahaman tentang proses kognitif manusia dan pengembangan sistem atau teknologi yang dapat meniru atau memperbaiki kemampuan kognitif manusia. Ini meliputi bidang seperti kecerdasan buatan (artificial intelligence), robotika, pemodelan perilaku manusia, dan interaksi manusia-komputer.

3. Communication (Komunikasi): Menyoroti penggunaan teknologi informasi dan komunikasi (TIK) untuk menyediakan akses dan pertukaran informasi antara individu, kelompok, atau sistem. Ini mencakup jaringan komputer, komunikasi nirkabel, media sosial, e-commerce, dan teknologi berbasis web.

Integrasi dari ketiga aspek ini, yaitu komputasi, kognisi, dan komunikasi, membentuk fondasi untuk pengembangan berbagai teknologi baru dan solusi inovatif dalam berbagai bidang, seperti teknologi informasi, ilmu komputer, ilmu kognitif, ilmu psikologi, dan bidang lainnya. Pendekatan CCC memungkinkan pengembangan solusi yang lebih holistik dan menyeluruh dalam menangani tantangan kompleks dalam masyarakat modern yang semakin terhubung dan tergantung pada teknologi.

Berikut adalah contoh penerapan pendekatan CCC (Computational, Cognitive, and Communication) dalam berbagai bidang:

1. Pendidikan: Pengembangan platform pembelajaran berbasis komputer yang memanfaatkan kecerdasan buatan untuk memberikan penyesuaian yang lebih baik terhadap gaya belajar siswa. Sistem ini dapat memahami preferensi belajar siswa (aspek kognitif), menyajikan materi pembelajaran secara interaktif (aspek komunikasi), dan memberikan umpan balik yang personal (aspek komputasional).

2. Kesehatan: Pengembangan sistem diagnosa medis berbasis komputer yang menggunakan data pasien untuk memprediksi penyakit atau kondisi medis tertentu. Sistem ini memanfaatkan algoritma pembelajaran mesin (aspek komputasional), memodelkan pola-pola kesehatan dari data pasien (aspek kognitif), dan dapat berkomunikasi hasil diagnosa secara efektif kepada pasien atau dokter (aspek komunikasi).

3. Pembangunan Kota: Implementasi teknologi Smart City yang memanfaatkan sensor dan teknologi IoT (Internet of Things) untuk mengumpulkan dan menganalisis data lalu lintas, polusi udara, dan kebutuhan infrastruktur. Hal ini memungkinkan pengambilan keputusan yang lebih efektif dalam mengelola sumber daya kota (aspek komputasional), memahami pola perilaku penduduk dan mobilitas (aspek kognitif), dan berkomunikasi informasi yang relevan kepada masyarakat (aspek komunikasi).

4. Pemasaran: Penggunaan analisis data besar (big data) dan teknik kecerdasan buatan untuk mengidentifikasi preferensi konsumen dan merancang strategi pemasaran yang tepat sasaran. Ini mencakup analisis pola pembelian (aspek komputasional), pemodelan perilaku konsumen (aspek kognitif), dan mengkomunikasikan pesan pemasaran melalui berbagai saluran media (aspek komunikasi).

Dalam setiap contoh di atas, pendekatan CCC digunakan untuk mengintegrasikan teknologi komputasi, pemahaman kognitif, dan komunikasi yang efektif untuk mencapai tujuan yang beragam dalam berbagai bidang. Ini menghasilkan solusi yang lebih holistik dan adaptif terhadap tantangan yang dihadapi dalam masyarakat modern.