From b488de8a09636a7754bc6a24cd6b64ed183ff01e Mon Sep 17 00:00:00 2001 From: hb_alim Date: Tue, 31 Mar 2026 10:58:25 +0700 Subject: [PATCH] feat: rewrite all 16 worksheets with full learning material Each worksheet now includes Ringkasan Materi, Template A.x, 3 exercises with example answers, and reflection prompts. Synced from rti-20252 student repo. --- worksheets/ws-01-distorsi-paradigma.md | 128 ++++++++----- worksheets/ws-02-problem-statement.md | 172 +++++++++++++---- worksheets/ws-03-literature-gap.md | 158 +++++++++++---- worksheets/ws-04-rq-hypothesis.md | 184 ++++++++++++++---- worksheets/ws-05-variabel-metrik.md | 151 +++++++++++---- worksheets/ws-06-system-experiment.md | 163 ++++++++++++---- worksheets/ws-07-experiment-design.md | 194 ++++++++++++++----- worksheets/ws-08-proposal-integration.md | 172 ++++++++++++----- worksheets/ws-09-implementation.md | 194 ++++++++++++++----- worksheets/ws-10-execution-data.md | 176 +++++++++++++---- worksheets/ws-11-data-validation.md | 176 +++++++++++++---- worksheets/ws-12-result-presentation.md | 162 ++++++++++++---- worksheets/ws-13-preprocessing.md | 176 +++++++++++++---- worksheets/ws-14-analysis-interpretation.md | 188 ++++++++++++++---- worksheets/ws-15-scientific-writing.md | 202 ++++++++++++++------ worksheets/ws-16-presentation-defense.md | 193 ++++++++++++++----- 16 files changed, 2111 insertions(+), 678 deletions(-) diff --git a/worksheets/ws-01-distorsi-paradigma.md b/worksheets/ws-01-distorsi-paradigma.md index a61f7df..9f80fa0 100644 --- a/worksheets/ws-01-distorsi-paradigma.md +++ b/worksheets/ws-01-distorsi-paradigma.md @@ -1,7 +1,78 @@ # WS-01: Distorsi & Paradigma -> **Bab Terkait:** Bab 1 — Research Mindset in IT -> **Tujuan:** Mengidentifikasi potensi distorsi dalam rantai riset dan menentukan posisi paradigma -> **Referensi:** Lampiran B.1 | Template A.1 + +> **Bab 1 — Research Mindset in IT** + +--- + +## Ringkasan Materi + +### Research Trust Model + +Pengetahuan ilmiah tidak muncul langsung dari kenyataan. Ia melewati **6 tahap transformasi** yang masing-masing rawan distorsi: + +``` +Reality → Data → Processing → Analysis → Inference → Knowledge +``` + +Etika mencegah distorsi yang disengaja (fabrikasi, cherry-picking). Validitas mendeteksi distorsi yang tidak disengaja (confounding variable, sampling bias). + +### Tiga Jenis Validitas + +| Jenis | Pertanyaan | Contoh Ancaman | +|-------|-----------|----------------| +| **Internal Validity** | Apakah hubungan kausal benar ada? | Confounding variable | +| **External Validity** | Apakah bisa digeneralisasi? | Dataset terlalu homogen | +| **Construct Validity** | Apakah mengukur hal yang benar? | Metrik tidak sesuai klaim | + +### Paradigma Riset + +Mata kuliah ini menggunakan pendekatan **Positivist** (fenomena TI bisa diukur objektif melalui eksperimen terkontrol) diperkuat **Design Science Research** (artefak dibuat sebagai instrumen pengujian hipotesis, bukan tujuan akhir). + +### Mode Berpikir Peneliti + +**Curious** (mempertanyakan fenomena) → **Critical** (mengevaluasi klaim berdasarkan bukti) → **Systematic** (merancang investigasi terstruktur dan reproducible). + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan | Membuat sistem yang bekerja | Menghasilkan pengetahuan yang valid | +| Pertanyaan khas | "Bagaimana membuatnya jalan?" | "Apakah klaim ini benar?" | +| Ukuran sukses | Sistem berfungsi, client puas | Hipotesis terjawab, temuan tervalidasi | +| Kegagalan | Harus dihindari | Harus dilaporkan (negative result = kontribusi) | + +### Istilah Penting + +- **Research Mindset** — Pola pikir yang menuntut bukti dan mempertanyakan asumsi +- **Research Ethics** — Prinsip perilaku: kejujuran, objektivitas, keterbukaan, akuntabilitas +- **HARKing** — Hypothesizing After Results are Known — merumuskan hipotesis setelah melihat data +- **Falsifiability** — Hipotesis harus bisa dibuktikan salah + +--- + +## Template A.1 — Research Mindset Self-Assessment + +``` +Nama Peneliti : ____________________ +Tanggal : ____________________ + +1. Ketika membaca klaim "metode X 95% akurat": + - Pertanyaan pertama saya: ____________________ + - Data yang dibutuhkan untuk verifikasi: ____________________ + +2. Posisi paradigma: + - Pendekatan: [ ] Positivis [ ] Interpretivis [ ] Design Science [ ] Mixed + - Alasan: ____________________ + +3. Identifikasi distorsi: + - Asumsi tersembunyi: ____________________ + - Sumber bias potensial: ____________________ + - Langkah mitigasi: ____________________ + +4. Komitmen etika: + - Data yang tidak akan dimanipulasi: ____________________ + - Batasan yang diakui sejak awal: ____________________ +``` --- @@ -15,7 +86,7 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor | Tahap | Apa yang Dilakukan | Potensi Distorsi | |-------|-------------------|-----------------| -| Reality → Data | | | +| Reality → Data | *Contoh: Kumpulkan log server 30 hari* | *Contoh: Hanya ambil jam sibuk* | | Data → Processing | | | | Processing → Analysis | | | | Analysis → Inference | | | @@ -33,11 +104,9 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, hasil eksperimennya menjadi signifikan. Dengan outlier, hasilnya tidak signifikan. -**Apa yang seharusnya dilakukan?** - | Perspektif | Analisis | |------------|---------| -| Kejujuran ilmiah | | +| Kejujuran ilmiah | *Contoh: Laporkan kedua versi (dengan dan tanpa outlier)* | | Transparansi | | | Peer review | | @@ -52,7 +121,7 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha | Kriteria | Positivis | Interpretivis | Design Science | |----------|-----------|---------------|----------------| -| Kesesuaian dengan topik (1–5) | | | | +| Kesesuaian dengan topik (1–5) | *Contoh: 4* | *Contoh: 2* | *Contoh: 5* | | Jenis data yang dikumpulkan | | | | | Limitasi paradigma | | | | @@ -63,47 +132,8 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha ## Refleksi -> *"Sebelum membaca bab ini, apakah saya pernah mempertanyakan klaim '95% akurat'? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan saya ajukan?"* +> Sebelum membaca materi ini, apakah pernah mempertanyakan klaim "95% akurat"? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan diajukan saat membaca paper? -**Jawaban refleksi:** +**Jawaban:** > ___________________________________________________ > ___________________________________________________ - ---- - - ---- - -## Bagian 2 — Masalah - -**Apa masalahnya?** -> [Tulis masalah spesifik, bukan keluhan umum] - -**Siapa yang terdampak?** -> [Stakeholder] - -**Apa akibatnya jika tidak diselesaikan?** -> [Impact] - ---- - -## Bagian 3 — Problem Statement - -**Versi 1 (draft):** -> [Tulis problem statement pertama] - -**Versi 2 (refined):** -> [Perbaiki setelah review] - ---- - -## Checklist Validasi -- [ ] Spesifik (bukan terlalu luas) -- [ ] Measureable (bisa diukur) -- [ ] Relevan dengan bidang TI/SE -- [ ] Feasible (bisa diselesaikan dalam scope riset) -- [ ] Bukan sekedar "implementasi sistem" - ---- - - diff --git a/worksheets/ws-02-problem-statement.md b/worksheets/ws-02-problem-statement.md index 82ce4bd..baabc1e 100644 --- a/worksheets/ws-02-problem-statement.md +++ b/worksheets/ws-02-problem-statement.md @@ -1,71 +1,163 @@ -# WS-02: Problem Statement -> **Bab Terkait:** Bab 2 — Problem Formulation & System Context -> **Tujuan:** Merumuskan problem statement yang tajam dan terukur -> **Referensi:** Lampiran B.2 | Template A.2 +# WS-02: Problem Statement + +> **Bab 2 — Problem Formulation & System Context** --- -## Refleksi 1 — Masalah atau Solusi? +## Ringkasan Materi -**Topik riset dalam satu kalimat:** -> ___________________________________________________ +### Problem Formation Model -**Apakah ini masalah riset atau solusi yang disamarkan sebagai masalah?** -- [ ] Masalah riset -- [ ] Solusi yang disamarkan +Masalah riset melewati 5 tahap transformasi. Melompat langsung dari Reality ke Variable adalah kesalahan paling umum. -**Jika solusi — mundur satu langkah. Masalah yang mendasari:** -> ___________________________________________________ +``` +Reality → Observed Issue (Symptom) → Diagnosed Problem (Root Cause) +→ Researchable Problem (Scoped) → Measurable Variable (Operationalized) +``` + +### Topic ≠ Problem ≠ Research Problem + +| Level | Contoh | Status | +|-------|--------|--------| +| **Topik** | Keamanan IoT | Terlalu luas, tidak bisa diuji | +| **Problem** | MQTT tidak terenkripsi | Spesifik tapi belum riset | +| **Research Problem** | Belum ada studi membandingkan overhead TLS 1.3 vs DTLS pada MQTT di IoT RAM < 64KB | Bisa dirancang eksperimennya | + +### Symptom vs Root Cause + +Apa yang diamati (gejala) ≠ mengapa terjadi (akar masalah). Gunakan **5 Whys** atau **Fishbone Diagram** untuk menggali. + +Contoh: "User meninggalkan checkout" (symptom) → "Waktu loading > 8 detik karena API call sequential" (root cause). + +### System Thinking + +Setiap masalah riset TI harus terikat pada komponen sistem: **Input → Process → Output → Outcome → Constraints → Stakeholders**. + +### Problem Quality Check + +Masalah riset yang layak harus memenuhi 5 kriteria: +- **Clarity** — Satu orang membaca akan paham +- **Measurability** — Ada metrik kuantitatif +- **Relevance** — Penting untuk domain +- **Testability** — Bisa gagal (falsifiable) +- **Impact** — Ada kontribusi jika terjawab + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan | Menyelesaikan masalah (*solve*) | Memahami dan membuktikan (*understand & prove*) | +| Masalah | Bug, error, fitur belum ada | Gap dalam pengetahuan | +| Scope | Selesaikan semua yang perlu | Batasi agar bisa dibuktikan | +| Output | Working system | Evidence, paper, replicable findings | + +### Istilah Penting + +- **Problem Statement** — Formulasi tertulis: konteks sistem + gap + dampak + justifikasi +- **System Context** — Deskripsi lengkap: input, proses, output, outcome, constraints, stakeholders +- **Problem Drift** — Masalah "bermutasi" dari pendahuluan ke metodologi karena statement awal tidak presisi +- **Solution-First Thinking** — Memulai dari solusi tanpa masalah yang jelas — berbahaya dalam riset +- **Operational Definition** — Definisi variabel yang cukup jelas agar peneliti lain bisa mengukur hal yang sama --- -## Refleksi 2 — System Context +## Template A.2 — Problem Statement Builder + +``` +PROBLEM STATEMENT BUILDER + +Domain & Konteks + Domain : ____________________ + Konteks : ____________________ + +System Context + Input : ____________________ + Process : ____________________ + Output : ____________________ + Outcome : ____________________ + Constraints : ____________________ + Stakeholders: ____________________ + +Fenomena → Problem + Fenomena yang diamati : ____________________ + Gejala (symptom) yang terukur : ____________________ + Masalah yang didiagnosis : ____________________ + Masalah riset (researchable) : ____________________ + Variabel yang terukur : ____________________ + +Problem Quality Check + [ ] Clarity — Apakah satu orang membaca akan paham? + [ ] Measurability — Apakah ada metrik kuantitatif? + [ ] Relevance — Apakah penting untuk domain? + [ ] Testability — Apakah bisa gagal? + [ ] Impact — Apakah ada kontribusi jika terjawab? + +Problem Statement (1 paragraf): + ____________________ +``` + +--- + +## Latihan 1 — Dari Topik ke Masalah Riset + +Pilih satu topik di bidang TI yang diminati. Transformasikan melalui 5 tahap Problem Formation Model. + +**Topik awal:** ________________________________________ + +| Tahap | Hasil | +|-------|-------| +| Reality | *Contoh: Aplikasi e-commerce sering ditinggalkan saat checkout* | +| Observed Issue (Symptom) | *Contoh: Bounce rate checkout 68%* | +| Diagnosed Problem (Root Cause) | | +| Researchable Problem | | +| Measurable Variable | | + +**Apakah terjebak solution-first thinking?** [ ] Ya / [ ] Tidak +> Jika ya, kembali ke tahap mana? ________________________ + +--- + +## Latihan 2 — System Context Decomposition + +Gambarkan konteks sistem dari masalah riset di Latihan 1. | Komponen | Deskripsi | |----------|----------| -| Input | | +| Input | *Contoh: Request HTTP dari browser pengguna* | | Process | | | Output | | | Outcome | | | Constraints | | | Stakeholders | | -**Komponen yang paling sulit diisi:** ______________________ -**Mengapa:** ___________________________________________ +**Komponen mana yang paling relevan dengan masalah riset?** _______________ --- -## Praktis 1 — Problem Formation Model +## Latihan 3 — Problem Quality Check -| Tahap | Isian | -|-------|-------| -| Reality | | -| Symptom | | -| Diagnosed Problem | | -| Researchable Problem | | -| Measurable Variable | | +Evaluasi problem statement yang sudah dibuat menggunakan 5 kriteria. ---- - -## Praktis 2 — Problem Quality Evaluation - -| Kriteria | Skor (1–5) | Catatan | -|----------|-----------|--------| -| Clarity | | | +| Kriteria | Skor (1-5) | Justifikasi | +|----------|-----------|-------------| +| Clarity | *Contoh: 4 — cukup jelas tapi perlu spesifikasi dataset* | | | Measurability | | | | Relevance | | | | Testability | | | | Impact | | | -**Skor rekan (independen):** +**Skor total:** _____ / 25 -| Kriteria | Skor Sendiri | Skor Rekan | Selisih | -|----------|-------------|-----------|---------| -| Clarity | | | | -| Measurability | | | | -| Relevance | | | | -| Testability | | | | -| Impact | | | | +**Problem statement versi final (1 paragraf):** +> ___________________________________________________ +> ___________________________________________________ --- - + +## Refleksi + +> Bandingkan "masalah" yang biasa ditemui saat coding (bug, error) dengan masalah riset. Apa perbedaan fundamental dalam cara mendefinisikan dan mendekati keduanya? + +**Jawaban:** +> ___________________________________________________ +> ___________________________________________________ diff --git a/worksheets/ws-03-literature-gap.md b/worksheets/ws-03-literature-gap.md index 0b798ea..c7646ca 100644 --- a/worksheets/ws-03-literature-gap.md +++ b/worksheets/ws-03-literature-gap.md @@ -1,26 +1,118 @@ -# WS-03: Literature Mapping & Gap -> **Bab Terkait:** Bab 3 — Literature Review, Research Gap & Baseline -> **Tujuan:** Memetakan literatur secara sistematis dan mengidentifikasi gap -> **Referensi:** Lampiran B.3 | Template A.3 +# WS-03: Literature Mapping & Gap + +> **Bab 3 — Literature Review, Research Gap & Baseline** + +--- + +## Ringkasan Materi + +### Literature Review = Positioning, Bukan Ringkasan + +Literature review bukan merangkum paper satu per satu. Pendekatan yang benar adalah **concept-centric** — organisasi berdasarkan tema, metode, atau variabel. Tujuan: menemukan **pola, kontradiksi, dan gap**. + +### Empat Jenis Research Gap + +| Jenis Gap | Deskripsi | Contoh | +|-----------|----------|--------| +| **Performance Gap** | Performa belum memadai | Akurasi deteksi hanya 78% pada kasus tertentu | +| **Method Gap** | Pendekatan belum diterapkan | Belum ada yang pakai transformer untuk task ini | +| **Data Gap** | Dataset terbatas/tidak representatif | Semua studi pakai dataset sintetis | +| **Context Gap** | Belum diuji pada konteks berbeda | Belum ada evaluasi di negara berkembang | + +Gap terkuat = kombinasi 2+ jenis. + +### Systematic Search Strategy + +1. **Database**: IEEE Xplore, ACM DL, Scopus, Google Scholar +2. **Boolean query** yang terdokumentasi eksplisit +3. **Snowballing**: backward (telusuri referensi) + forward (cari yang mengutip) +4. Klaim "belum ada penelitian" harus didukung **bukti pencarian** + +### Baseline Selection — 3 Kriteria + +| Kriteria | Pertanyaan | +|----------|-----------| +| **Relevan** | Apakah menyelesaikan masalah yang sama? | +| **Representatif** | Apakah mewakili common practice? | +| **State-of-the-Art** | Apakah terbaru/terbaik? | + +Membandingkan deep learning 2024 dengan decision tree sederhana tanpa justifikasi = **straw man comparison** (perbandingan tidak jujur). + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan baca literatur | Mencari solusi yang sudah ada | Memahami apa yang belum terjawab | +| Cara membaca paper | Tutorial, how-to | Metode, limitasi, gap | +| Baseline | Framework terpopuler | State-of-the-art yang rigorous | +| Dokumentasi pencarian | Tidak diperlukan | Wajib (reproducible) | + +### Istilah Penting + +- **Concept-centric** — Organisasi literatur berdasarkan konsep/metode, bukan per penulis +- **Snowballing** — Backward (telusuri referensi) + Forward (cari yang mengutip paper kunci) +- **Research Position** — Pernyataan eksplisit posisi riset terhadap studi sebelumnya +- **Straw man comparison** — Memilih baseline lemah agar metode sendiri terlihat lebih baik + +--- + +## Template A.3 — Literature Mapping & Gap Identification + +``` +LITERATURE MAPPING + +Topik : ____________________ +Database : ____________________ +Query : ____________________ +Tahun : ____________________ +Hasil awal : ____ paper → Screening → ____ paper final + +Literature Matrix (concept-centric): + +| Study | Tahun | Method | Data | Result | Limitation | +|-------|-------|--------|------|--------|------------| +| | | | | | | + +Pola yang ditemukan: + Metode dominan : ____________________ + Dataset umum : ____________________ + Limitasi berulang : ____________________ + +GAP IDENTIFICATION + +Gap 1: [Jenis: performance / method / data / context] + Deskripsi : ____________________ + Bukti : ____________________ + Signifikansi : ____________________ + +Gap 2: [Jenis: ____] + Deskripsi : ____________________ + Bukti : ____________________ + Signifikansi : ____________________ + +Baseline Selection: +| Baseline | Relevansi | Representatif | Source | +|----------|-----------|---------------|--------| +| | | | | +``` --- ## Latihan 1 — Concept-Centric Literature Table -**Topik riset:** ________________________________________ +Gunakan topik riset dari WS-02. Cari minimal 5 paper relevan menggunakan Google Scholar atau database lain. -| # | Study | Method | Dataset | Result | Limitasi | -|---|-------|--------|---------|--------|----------| -| 1 | | | | | | -| 2 | | | | | | -| 3 | | | | | | -| 4 | | | | | | -| 5 | | | | | | -| 6 | | | | | | -| 7 | | | | | | -| 8 | | | | | | -| 9 | | | | | | -| 10 | | | | | | +**Topik riset:** ________________________________________ +**Query pencarian:** ____________________________________ +**Database:** ___________________________________________ + +| # | Study | Tahun | Method | Dataset | Result | Limitasi | +|---|-------|-------|--------|---------|--------|----------| +| 1 | *Contoh: Rahman et al.* | *2023* | *CNN* | *ImageNet subset* | *Acc 91%* | *Hanya 3 kelas* | +| 2 | | | | | | | +| 3 | | | | | | | +| 4 | | | | | | | +| 5 | | | | | | | **Pola yang terlihat — Metode dominan:** ___________________ **Limitasi yang berulang:** ______________________________ @@ -29,39 +121,39 @@ ## Latihan 2 — Gap Identification +Berdasarkan tabel di Latihan 1, identifikasi gap. + | Jenis Gap | Ditemukan? | Gap Statement | |-----------|-----------|---------------| -| Performance Gap | [ ] Ya / [ ] Tidak | | +| Performance Gap | [ ] Ya / [ ] Tidak | *Contoh: Akurasi turun di bawah 80% untuk kelas minoritas* | | Method Gap | [ ] Ya / [ ] Tidak | | | Data Gap | [ ] Ya / [ ] Tidak | | | Context Gap | [ ] Ya / [ ] Tidak | | **Gap utama yang dipilih:** _____________________________ -**Justifikasi mengapa gap ini penting:** +**Mengapa gap ini penting (bukan sekadar "belum ada yang meneliti")?** > ___________________________________________________ --- -## Latihan 3 — Baseline Selection Challenge +## Latihan 3 — Baseline Selection -| # | Baseline | Mengapa Relevan | Mengapa Representatif | Sumber Paper | -|---|----------|----------------|----------------------|-------------| -| 1 | | | | | -| 2 | | | | | -| 3 | | | | | +Pilih 2 baseline dari literatur yang sudah dibaca. -**Evaluasi fairness — Apakah ini straw man comparison?** -- [ ] Tidak — baseline cukup kuat -- [ ] Ya — perlu baseline yang lebih kompetitif +| # | Baseline | Mengapa Relevan | Mengapa Representatif | Apakah SOTA? | Sumber | +|---|----------|----------------|----------------------|-------------|--------| +| 1 | *Contoh: RF + TF-IDF* | *Task sama: klasifikasi teks* | *Dipakai 6 dari 10 paper* | *Bukan, tapi common practice* | *Lee et al., 2022* | +| 2 | | | | | | + +**Apakah pemilihan baseline ini bisa dianggap straw man?** [ ] Ya / [ ] Tidak +> Justifikasi: ________________________________________ --- ## Refleksi -> *"Sebelum membaca bab ini, bagaimana cara saya membaca paper? Apakah saya merangkum atau menganalisis? Apa yang akan saya ubah?"* +> Apa perbedaan antara "belum ada yang meneliti ini" (klaim tanpa bukti) dengan research gap yang valid? Bagaimana cara membuktikan bahwa sebuah gap benar-benar ada? -**Jawaban refleksi:** +**Jawaban:** +> ___________________________________________________ > ___________________________________________________ - ---- - diff --git a/worksheets/ws-04-rq-hypothesis.md b/worksheets/ws-04-rq-hypothesis.md index f1a8759..520bba8 100644 --- a/worksheets/ws-04-rq-hypothesis.md +++ b/worksheets/ws-04-rq-hypothesis.md @@ -1,60 +1,168 @@ -# WS-04: RQ & Hypothesis -> **Bab Terkait:** Bab 4 — Research Question, Contribution & Hypothesis -> **Tujuan:** Mentransformasi gap menjadi RQ dan merumuskan hipotesis -> **Referensi:** Lampiran B.4 | Template A.4 +# WS-04: Research Question & Hypothesis + +> **Bab 4 — Research Question, Contribution & Hypothesis** + +--- + +## Ringkasan Materi + +### RQ Bukan Pertanyaan Biasa + +Research Question yang baik secara implisit mengandung cetak biru eksperimen: subjek, baseline, metrik, domain, dataset. + +| Kualitas | Contoh | +|----------|--------| +| **Buruk** | "Bagaimana pengaruh deep learning terhadap deteksi malware?" | +| **Baik** | "Apakah CNN menghasilkan F1-Score lebih tinggi dari RF pada CIC-MalMem-2022?" | + +Perbedaan: RQ yang baik menyebutkan **metode spesifik**, **metrik terukur**, **baseline**, dan **dataset**. + +### Tiga Jenis RQ + +| Jenis | Pola | Kebutuhan | +|-------|------|-----------| +| **Comparison** | A vs B → mana lebih baik? | ≥ 2 metode, metrik sama | +| **Improvement** | A' vs A → modifikasi lebih baik? | Pre/post, bukti perbaikan | +| **Exploratory** | Faktor X₁...Xₙ → pengaruh terhadap Y? | Multi-variabel, korelasi/regresi | + +### Contribution Statement + +Tiga jenis kontribusi: **Improvement** (metode terbukti lebih baik), **Comparison** (perbandingan sistematis yang belum ada), **Novel Approach** (pendekatan baru). Kontribusi harus terhubung langsung dengan gap — kontribusi tanpa gap = klaim tanpa justifikasi. + +### Hypothesis H₀ / H₁ + +- **H₀** (Null) = Tidak ada perbedaan signifikan — asumsi default, harus dibuktikan salah +- **H₁** (Alternative) = Ada perbedaan signifikan — diterima hanya jika H₀ ditolak +- Harus **falsifiable**, mengandung **metrik terukur**, dirumuskan **SEBELUM eksperimen** + +### Rantai Operasionalisasi + +``` +RQ → Variable → Metric → Data → Analysis +``` + +Jika rantai ini tidak lengkap, RQ belum mature. Bi-directional: RQ yang tidak bisa jadi hipotesis testable harus direvisi mundur. + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan pertanyaan | Apa yang harus dibangun? | Apa yang harus dibuktikan? | +| Bentuk jawaban | Sistem yang berfungsi | Bukti empiris terukur | +| Sukses diukur oleh | User satisfaction, uptime | Signifikansi statistik, effect size | +| Jika gagal | Debug dan perbaiki | Laporkan, analisis mengapa | + +### Istilah Penting + +- **Research Question (RQ)** — Pertanyaan spesifik: variabel terukur + metrik + konteks +- **Contribution Statement** — Apa yang diketahui setelah riset selesai yang sebelumnya belum ada +- **H₀ / H₁** — Null vs Alternative Hypothesis +- **Falsifiability** — Kondisi hipotesis ditolak harus bisa didefinisikan sebelum eksperimen +- **Operationalization** — Proses mewujudkan konsep abstrak menjadi variabel terukur + +--- + +## Template A.4 — RQ-Contribution-Hypothesis + +``` +RQ-CONTRIBUTION-HYPOTHESIS + +Gap Statement : ____________________ + +Research Question: + Tipe : [ ] Comparison [ ] Improvement [ ] Exploratory + Formulasi : ____________________ + Variabel IV : ____________________ + Variabel DV : ____________________ + Metrik : ____________________ + Dataset : ____________________ + Baseline : ____________________ + +Quality Check RQ: + [ ] Variabel spesifik + [ ] Metrik jelas + [ ] Baseline ada + [ ] Konteks disebutkan + [ ] Memerlukan eksperimen (bukan hanya survei literatur) + +Contribution Statement: + Apa yang baru diketahui : ____________________ + Jenis kontribusi : [ ] Improvement [ ] Comparison [ ] Novel approach + Gap yang diisi : ____________________ + +Hypothesis Pair: + H₀ : ____________________ + H₁ : ____________________ + Threshold : ____________________ + Justifikasi threshold : ____________________ +``` --- ## Latihan 1 — Dari Gap ke RQ -**Gap statement (dari WS-03 Latihan 2):** +Gunakan gap yang ditemukan di WS-03. Transformasikan menjadi Research Question. + +**Gap dari WS-03:** ____________________________________ + +**RQ versi pertama (tulis bebas):** > ___________________________________________________ -**RQ Draft:** +**Evaluasi RQ:** + +| Komponen | Ada? | Isi | +|----------|------|-----| +| Metode spesifik | *Contoh: Ya — CNN vs RF* | | +| Metrik terukur | | | +| Baseline | | | +| Dataset/konteks | | | + +**Tipe RQ:** [ ] Comparison / [ ] Improvement / [ ] Exploratory + +**RQ versi revisi (setelah evaluasi):** > ___________________________________________________ -**Checklist RQ:** -- [ ] Variabel spesifik disebutkan -- [ ] Metrik jelas -- [ ] Baseline ada -- [ ] Konteks disebutkan -- [ ] Memerlukan eksperimen untuk menjawab - -**Jenis RQ:** [ ] Descriptive / [ ] Comparative / [ ] Relational - --- -## Latihan 2 — Contribution Statement +## Latihan 2 — Hypothesis Pair -| Komponen | Isian | -|----------|-------| -| Apa yang akan diketahui setelah riset | | -| Jenis contribution | | -| Gap spesifik yang diisi | | +Rumuskan pasangan hipotesis dari RQ di Latihan 1. ---- - -## Latihan 3 — Hypothesis Pair - -| Komponen | Isian | -|----------|-------| -| H$_0$ (Null Hypothesis) | | -| H$_1$ (Alternative Hypothesis) | | +| Komponen | Isi | +|----------|-----| +| H₀ | *Contoh: Tidak ada perbedaan signifikan F1-Score antara CNN dan RF pada dataset CIC-MalMem-2022* | +| H₁ | | +| Metrik | | | Threshold | | | Justifikasi threshold | | -**Apakah hipotesis bisa gagal?** -- [ ] Ya — jika hasil menunjukkan ________________________________ -- [ ] Tidak → reformulasi diperlukan +**Apakah hipotesis ini falsifiable?** [ ] Ya / [ ] Tidak +> Bagaimana cara membuktikannya salah? ___________________ + +--- + +## Latihan 3 — Rantai Operasionalisasi + +Lengkapi rantai dari RQ hingga metode analisis. + +| Tahap | Isi | +|-------|-----| +| RQ | *Contoh: Apakah CNN menghasilkan F1-Score lebih tinggi dari RF...* | +| Variable (IV) | *Contoh: Jenis algoritma (CNN vs RF)* | +| Variable (DV) | | +| Metric | | +| Data source | | +| Analysis method | | + +**Apakah rantai lengkap?** [ ] Ya / [ ] Tidak +> Jika tidak, tahap mana yang perlu direvisi? ______________ --- ## Refleksi -> *"Apakah research question saya bisa dijawab dengan 'tergantung'? Jika ya, bagaimana saya membuatnya lebih spesifik?"* +> Ambil satu judul skripsi/paper yang pernah dibaca. Coba ekstrak RQ-nya. Apakah RQ tersebut memenuhi semua komponen (metode, metrik, baseline, konteks)? Jika tidak, apa yang hilang? -**Jawaban refleksi:** -> ___________________________________________________ - ---- - +**Judul:** _____________________________________________ +**RQ yang diekstrak:** __________________________________ +**Komponen yang hilang:** _______________________________ diff --git a/worksheets/ws-05-variabel-metrik.md b/worksheets/ws-05-variabel-metrik.md index ea50b70..725d747 100644 --- a/worksheets/ws-05-variabel-metrik.md +++ b/worksheets/ws-05-variabel-metrik.md @@ -1,63 +1,140 @@ -# WS-05: Variabel & Metrik -> **Bab Terkait:** Bab 5 — Metric, Measurement & Data -> **Tujuan:** Operasionalisasi variabel dan mendefinisikan metrik pengukuran -> **Referensi:** Lampiran B.5 | Template A.5 +# WS-05: Variabel & Metrik + +> **Bab 5 — Metric, Measurement & Data** --- -## Latihan 1 — Operasionalisasi Lengkap +## Ringkasan Materi -**RQ (dari WS-04):** ___________________________________ +### Measurement Alignment Model -### Variabel Independen (IV) +Setiap pengukuran yang valid harus bisa ditelusuri melalui rantai ini tanpa lompatan logis: -| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur | -|--------|----------|--------|-------|--------|--------------| -| | | | | | | -| | | | | | | +``` +Problem → Concept → Variable → Metric → Data → Result +``` -### Variabel Dependen (DV) +### Operationalization = Keputusan Desain -| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur | -|--------|----------|--------|-------|--------|--------------| -| | | | | | | -| | | | | | | +Menerjemahkan konsep abstrak menjadi variabel terukur bukan proses mekanis. "Code quality" yang diukur via SonarQube code smells membawa asumsi implisit. Setiap operasionalisasi harus didokumentasikan dan dijustifikasi. -### Control Variable (CV) +### Empat Tipe Data (NOIR) -| Variabel | Nilai yang Dikontrol | Alasan | -|----------|---------------------|--------| -| | | | -| | | | +| Tipe | Ciri | Contoh | Operasi Valid | +|------|------|--------|---------------| +| **Nominal** | Kategori, tanpa urutan | Jenis algoritma (RF, SVM, CNN) | Modus, chi-square | +| **Ordinal** | Urutan, interval tidak sama | Skala Likert (1-5) | Median, Spearman | +| **Interval** | Jarak bermakna, tanpa nol absolut | Suhu Celsius | Mean, Pearson, t-test | +| **Ratio** | Jarak bermakna + nol absolut | Waktu eksekusi (ms) | Semua operasi | + +Tipe data menentukan uji statistik yang valid. Kebanyakan metrik performa TI = ratio; persepsi pengguna = ordinal. + +### Kriteria Pemilihan Metrik + +- **Representative** — Mewakili konsep yang diteliti +- **Sensitive** — Cukup peka menangkap perbedaan bermakna (hindari ceiling effect) +- **Feasible** — Bisa dikumpulkan dalam batasan waktu dan biaya + +### Pre-registration + +Metrik harus ditentukan **sebelum** eksperimen. Memilih metrik setelah melihat data = **p-hacking**. Metrik tambahan yang ditemukan kemudian dilaporkan sebagai *exploratory*, bukan *confirmatory*. + +### Primary vs Secondary Metric + +- **Primary Metric** — Langsung terikat ke hipotesis, menentukan kesimpulan +- **Secondary Metric** — Pendukung, dilaporkan di samping primary; statusnya suplementer + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Pemilihan metrik | Berdasarkan kebiasaan/tool yang ada | Berdasarkan construct validity | +| Anomali | Dihapus untuk laporan bersih | Diinvestigasi — bisa jadi temuan | +| Kapan dipilih | Setelah sistem jadi (monitoring) | Sebelum eksperimen (by design) | + +### Istilah Penting + +- **Operationalization** — Transformasi konsep abstrak menjadi variabel terukur +- **Construct Validity** — Sejauh mana pengukuran benar-benar mengukur konsep yang dimaksud +- **Measurement Scale** — Klasifikasi data (NOIR) yang menentukan analisis valid +- **Multi-metric Evaluation** — Menggunakan beberapa metrik untuk menangkap konsep kompleks --- -## Latihan 2 — Construct Validity Check +## Template A.5 — Definisi Variabel, Metrik & Justifikasi -| Metrik | Apakah Mengukur Konsep yang Dimaksud? | Threat | Mitigasi | -|--------|--------------------------------------|--------|---------| -| | | | | -| | | | | -| | | | | +``` +VARIABLE & METRIC DEFINITION + +Research Question: ____________________ + +| Variabel | Tipe | Konsep | Metrik | Skala | Satuan | Cara Mengukur | Justifikasi | +|----------|------|--------|--------|-------|--------|---------------|-------------| +| | IV | | | | | | | +| | DV | | | | | | | +| | CV | | | | | | | + +Alignment Check: + RQ → Concept → Variable → Metric → Data → Result + [ ] Setiap langkah terdokumentasi + [ ] Tidak ada "lompatan logis" + [ ] Metrik mengukur apa yang dimaksud (construct validity) +``` --- -## Latihan 3 — Metric Conflict +## Latihan 1 — Operationalization Chain -**Apakah ada DV yang trade-off?** [ ] Ya / [ ] Tidak +Gunakan RQ dari WS-04. Definisikan variabel dan metriknya. -| DV Primer | DV Sekunder | Skenario Konflik | Keputusan | -|-----------|-------------|-----------------|-----------| -| | | | | +**RQ:** __________________________________________________ + +| Variabel | Tipe | Konsep Abstrak | Metrik Konkret | Skala (NOIR) | Satuan | +|----------|------|---------------|----------------|-------------|--------| +| *Contoh: Jenis model* | *IV* | *Pendekatan klasifikasi* | *Categorical: CNN vs RF* | *Nominal* | *—* | +| | DV | | | | | +| | CV | | | | | + +**Apakah ada lompatan logis dalam rantai?** [ ] Ya / [ ] Tidak +> Jika ya, di mana? ____________________________________ + +--- + +## Latihan 2 — Evaluasi Metrik + +Evaluasi metrik DV yang dipilih di Latihan 1 menggunakan 3 kriteria. + +| Kriteria | Skor (1-5) | Justifikasi | +|----------|-----------|-------------| +| Representative | *Contoh: 4 — F1-Score mewakili keseimbangan precision-recall* | | +| Sensitive | | | +| Feasible | | | + +**Apakah perlu secondary metric?** [ ] Ya / [ ] Tidak +> Jika ya, apa dan mengapa? _____________________________ + +**Contoh kasus ceiling effect untuk metrik ini:** +> ___________________________________________________ + +--- + +## Latihan 3 — Data Quality Check + +Bayangkan data yang akan dikumpulkan dari eksperimen. Evaluasi 4 dimensi kualitas data. + +| Dimensi | Pertanyaan | Jawaban | Strategi Mitigasi | +|---------|-----------|---------|------------------| +| Completeness | *Apakah semua data point terkumpul?* | | | +| Consistency | *Apakah ada kontradiksi internal?* | | | +| Validity | *Apakah benar-benar mengukur yang dimaksud?* | | | +| Representativeness | *Apakah sampel mewakili populasi target?* | | | --- ## Refleksi -> *"Jika seseorang mempertanyakan 'apa buktinya bahwa metrik Anda mengukur apa yang Anda klaim?' — bisakah saya menjawab?"* +> Mengapa memilih metrik setelah melihat data dianggap p-hacking? Apa bedanya dengan eksplorasi data yang sah? -**Jawaban refleksi:** +**Jawaban:** +> ___________________________________________________ > ___________________________________________________ - ---- - diff --git a/worksheets/ws-06-system-experiment.md b/worksheets/ws-06-system-experiment.md index 1e76d1b..ce10576 100644 --- a/worksheets/ws-06-system-experiment.md +++ b/worksheets/ws-06-system-experiment.md @@ -1,61 +1,150 @@ -# WS-06: System-Experiment Mapping -> **Bab Terkait:** Bab 6 — System Design sebagai Experimental Artifact -> **Tujuan:** Memetakan RQ dan variabel ke arsitektur sistem -> **Referensi:** Lampiran B.6 | Template A.6 +# WS-06: System-Experiment Mapping + +> **Bab 6 — System Design sebagai Experimental Artifact** --- -## Latihan 1 — Mapping RQ ke Arsitektur +## Ringkasan Materi -**RQ (dari WS-04):** ___________________________________ +### Sistem = Instrumen Pengujian, Bukan Produk -| Variabel | Tipe (IV/DV/CV) | Komponen Sistem | Cara Pengukuran di Sistem | -|----------|----------------|----------------|--------------------------| -| | | | | -| | | | | -| | | | | -| | | | | +Seorang engineer bertanya "apakah sistem bekerja?" — seorang peneliti bertanya "apa yang bisa dibuktikan sistem ini?" Sistem dalam riset adalah **artifact** — objek yang sengaja dibuat untuk menguji klaim spesifik. -**Diagram arsitektur (gambar atau tempel di bawah):** +### System as Experiment Model -> [Ruang untuk diagram arsitektur] +``` +RQ → Variable → System Component → Experimental Setup → Output +``` + +Setiap komponen sistem harus bisa ditelusuri ke variabel riset (top-down), dan setiap pengukuran harus menjawab RQ (bottom-up). + +### Mapping Variabel ke Komponen + +| Tipe Variabel | Peran di Sistem | Contoh | +|---------------|----------------|--------| +| **IV** (Independent) | Modul yang bisa di-toggle/swap | Algoritma A vs B | +| **DV** (Dependent) | Modul pengukuran | Logger, metrics collector | +| **CV** (Control) | Config yang dikunci | Dataset, parameter tetap | + +Jika variabel tidak bisa di-map ke komponen apapun → arsitektur perlu didesain ulang. + +### 4 Prinsip Desain Eksperimental + +| Prinsip | Pertanyaan Kunci | +|---------|-----------------| +| **Traceability** | Komponen ini melayani variabel yang mana? | +| **Modularity** | Bisakah IV diubah tanpa memengaruhi yang lain? | +| **Controllability** | Apakah CV dieksternalisasi ke config file? | +| **Measurability** | Apakah sistem otomatis menghasilkan data yang dibutuhkan? | + +### Variable Isolation melalui Arsitektur + +- **Modular architecture** — Pisahkan berdasarkan variabel +- **Configuration-driven** — Ubah config (YAML/JSON), bukan code +- **Feature toggles** — On/off flag untuk ablation study + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan sistem | Memenuhi kebutuhan user | Menguji hipotesis, menghasilkan bukti | +| Arsitektur | Optimasi performa & skalabilitas | Optimasi isolasi variabel & reprodusibilitas | +| Konfigurasi | Sering hardcoded | Dieksternalisasi ke config file | +| Fitur tambahan | Menambah nilai user | Menambah noise jika tidak terkait RQ | + +### Istilah Penting + +- **Artifact** — Objek yang sengaja dibuat untuk memecahkan masalah atau menguji proposisi +- **Traceability** — Kemampuan menelusuri hubungan RQ → variabel → komponen → output +- **Variable Isolation** — Mengubah hanya satu variabel sambil menahan yang lain konstan +- **Ablation Study** — Menguji kontribusi tiap komponen dengan melepasnya satu per satu +- **Configuration-driven Execution** — Semua parameter di config file, bukan hardcoded --- -## Latihan 2 — Evaluasi 4 Prinsip +## Template A.6 — Mapping RQ ke Arsitektur Sistem -| Prinsip | Skor (1–3) | Evaluasi | Perlu Diperbaiki? | -|---------|-----------|---------|-------------------| -| Traceability | | | | -| Variable Isolation | | | | -| Measurement Integration | | | | -| Reproducibility | | | | +``` +SYSTEM-EXPERIMENT MAPPING -**Prinsip dengan skor terendah:** __________________________ -**Rencana perbaikan:** __________________________________ +Research Question: ____________________ + +Variable → Component Mapping: +| Variabel | Tipe | Komponen Sistem | Cara Manipulasi/Pengukuran | +|----------|------|-----------------|---------------------------| +| | IV | | | +| | DV | | | +| | CV | | | + +4 Prinsip Desain: + [ ] Traceability — Setiap komponen bisa ditelusuri ke variabel + [ ] Variable Isolation — IV bisa diubah tanpa mengubah CV + [ ] Measurement Integration — Pengukuran DV built-in + [ ] Reproducibility — Setup bisa direkonstruksi + +Experimental Setup: + Input data : ____________________ + Parameter : ____________________ + Output format : ____________________ +``` --- -## Latihan 3 — Skenario "Bagaimana Jika" +## Latihan 1 — Variable-to-Component Mapping -| Skenario | Komponen yang Berubah | Dampak | -|----------|----------------------|--------| -| Dataset berubah | | | -| Metrik ditambah satu | | | -| Baseline baru ditambahkan | | | +Gunakan RQ dan variabel dari WS-05. Petakan ke komponen sistem. -**Apakah arsitektur mendukung perubahan tanpa redesign?** -- [ ] Ya -- [ ] Tidak → perlu redesign bagian: ______________________ +**RQ:** __________________________________________________ + +| Variabel | Tipe | Komponen Sistem | Cara Manipulasi / Pengukuran | +|----------|------|-----------------|---------------------------| +| *Contoh: Jenis model* | *IV* | *Modul classifier (swap RF ↔ CNN)* | *Ganti config `model_type`* | +| | DV | | | +| | CV | | | + +**Apakah semua variabel bisa di-map?** [ ] Ya / [ ] Tidak +> Jika tidak, komponen apa yang perlu ditambahkan? _________ + +--- + +## Latihan 2 — 4 Prinsip Desain + +Evaluasi desain sistem terhadap 4 prinsip. + +| Prinsip | Status | Bukti / Penjelasan | +|---------|--------|-------------------| +| Traceability | *Contoh: ✅ — setiap modul punya label variabel* | | +| Modularity | | | +| Controllability | | | +| Measurability | | | + +**Prinsip mana yang paling sulit dipenuhi?** _______________ +**Strategi untuk mengatasinya:** +> ___________________________________________________ + +--- + +## Latihan 3 — Ablation Study Planning + +Jika sistem memiliki 3 komponen utama, rencanakan ablation study. + +| Kondisi | Komponen A | Komponen B | Komponen C | Hasil yang Diharapkan | +|---------|-----------|-----------|-----------|----------------------| +| Full | *Contoh: ✅ CNN* | *Contoh: ✅ Temporal features* | *Contoh: ✅ Z-score norm* | *Baseline penuh* | +| – A | ❌ (ganti RF) | ✅ | ✅ | | +| – B | ✅ | ❌ (tanpa temporal) | ✅ | | +| – C | ✅ | ✅ | ❌ (tanpa normalisasi) | | + +**Komponen mana yang diprediksi paling berkontribusi?** _____ +**Mengapa?** +> ___________________________________________________ --- ## Refleksi -> *"Apakah sistem yang saya bangun adalah produk yang kebetulan diujikan, atau instrumen yang sengaja dirancang untuk menguji hipotesis?"* +> Apa risiko jika sistem dibangun seperti produk (monolitik, fitur lengkap) lalu baru dilakukan eksperimen? Mengapa arsitektur modular penting untuk riset? -**Jawaban refleksi:** +**Jawaban:** +> ___________________________________________________ > ___________________________________________________ - ---- - diff --git a/worksheets/ws-07-experiment-design.md b/worksheets/ws-07-experiment-design.md index 9973cad..649da2a 100644 --- a/worksheets/ws-07-experiment-design.md +++ b/worksheets/ws-07-experiment-design.md @@ -1,66 +1,160 @@ -# WS-07: Experimental Design & Validity -> **Bab Terkait:** Bab 7 — Experimental Design & Validity -> **Tujuan:** Merancang eksperimen terkontrol dan mengidentifikasi ancaman validitas -> **Referensi:** Lampiran B.7 | Template A.7 +# WS-07: Experimental Design & Validity + +> **Bab 7 — Experimental Design & Validity** --- -## Latihan 1 — Identifikasi Ancaman Validitas +## Ringkasan Materi -**Paper yang dipilih:** _________________________________ +### Correlation ≠ Causality -| Jenis Validitas | Ancaman yang Teridentifikasi | Mitigasi yang Diusulkan | -|----------------|------------------------------|------------------------| -| Internal | | | +Kausalitas membutuhkan 3 syarat: +1. **Covariance** — X dan Y bergerak bersama +2. **Temporal precedence** — X berubah sebelum Y +3. **Elimination of alternatives** — Tidak ada faktor lain yang menjelaskan Y + +Controlled experiment adalah satu-satunya metode yang bisa membuktikan kausalitas. + +### Empat Jenis Validitas + +| Jenis | Pertanyaan | Ancaman Umum | +|-------|-----------|-------------| +| **Internal** | Apakah hubungan IV→DV nyata? | Confounding variable, selection bias | +| **External** | Apakah bisa digeneralisasi? | Dataset terlalu spesifik | +| **Construct** | Apakah mengukur konsep yang benar? | Metrik tidak sesuai | +| **Conclusion** | Apakah kesimpulan statistik valid? | Sample size kecil, uji salah | + +Internal dan external validity sering berkonflik: semakin terkontrol (internal kuat) → semakin artificial (external lemah). + +### Tiga Tipe Eksperimen dalam Riset TI + +| Tipe | Deskripsi | Kapan Digunakan | +|------|----------|----------------| +| **Comparison Study** | Metode A vs B pada kondisi identik | Membandingkan pendekatan berbeda | +| **Ablation Study** | Full system → lepas komponen satu per satu | Mengukur kontribusi tiap komponen | +| **Parameter Study** | Variasikan satu parameter, amati dampak | Uji sensitifitas/robustness | + +### Fairness dalam Perbandingan + +Perbandingan yang adil = **kondisi identik** untuk semua metode: dataset sama, preprocessing sama, tuning effort sebanding, environment sama, metrik sama. + +Contoh tidak adil: Transformer (30 fitur tambahan + Bayesian optimization) vs RF (default params) → hasilnya misleading. + +### Threats to Validity = Diidentifikasi Sebelum Eksperimen + +Ancaman validitas harus diidentifikasi **sebelum** eksperimen dan mitigasinya dirancang sebagai bagian dari desain — bukan ditulis sebagai boilerplate setelah selesai. + +### Research vs Engineering + +| Aspek | Engineering | Research | +|-------|------------|----------| +| Tujuan testing | Memastikan sistem memenuhi requirement | Membuktikan hubungan kausal antar variabel | +| Baseline | Versi sebelumnya (last release) | Metode tervalidasi dari literatur | +| Kegagalan | Bug → fix → release | H₀ tidak ditolak → tetap kontribusi ilmiah | +| Sukses | 100% test pass | Evidence valid — mendukung atau menolak hipotesis | + +### Istilah Penting + +- **Causality** — Hubungan sebab-akibat (covariance + temporal + elimination) +- **Controlled Experiment** — Ubah satu variabel, kontrol sisanya, amati efek +- **Fairness** — Semua metode diuji pada kondisi yang benar-benar identik +- **Threats to Validity** — Faktor yang bisa melemahkan kesimpulan jika tidak dimitigasi +- **Conclusion Validity** — Validitas statistik: power, sample size, uji yang tepat + +--- + +## Template A.7 — Desain Eksperimen Lengkap + +``` +EXPERIMENT DESIGN + +Research Question : ____________________ +Hypothesis : ____________________ +Tipe Eksperimen : [ ] Comparison [ ] Ablation [ ] Parameter + +Kondisi Eksperimen: +| Kondisi | Deskripsi | IV Value | CV Settings | +|---------|-----------|----------|-------------| +| Control | | | | +| Treatment | | | | + +Fairness Checklist: + [ ] Dataset identik untuk semua kondisi + [ ] Preprocessing setara + [ ] Tuning effort setara + [ ] Environment identik + [ ] Metrik evaluasi sama + +Threat Analysis: +| Threat Type | Ancaman Spesifik | Mitigasi | +|-------------|-----------------|----------| +| Internal | | | +| External | | | +| Construct | | | +| Conclusion | | | + +Statistical Plan: + Uji statistik : ____________________ + Justifikasi : ____________________ + Alpha : ____________________ + Effect size min : ____________________ +``` + +--- + +## Latihan 1 — Desain Eksperimen + +Susun desain eksperimen berdasarkan RQ, variabel, dan sistem dari WS-04 sampai WS-06. + +**RQ:** __________________________________________________ +**Tipe eksperimen:** [ ] Comparison / [ ] Ablation / [ ] Parameter + +| Kondisi | Deskripsi | IV Value | CV Settings | +|---------|-----------|----------|-------------| +| Control | *Contoh: RF baseline dari literatur* | *RF* | *Dataset X, 80:20 split, seed 42* | +| Treatment | | | | + +--- + +## Latihan 2 — Fairness Checklist + +Evaluasi apakah desain eksperimen di Latihan 1 sudah fair. + +| Kriteria | Status | Detail | +|----------|--------|--------| +| Dataset identik | *Contoh: ✅ — sama-sama pakai CIC-MalMem-2022* | | +| Preprocessing setara | | | +| Tuning effort setara | | | +| Environment identik | | | +| Metrik evaluasi sama | | | + +**Ada yang tidak fair?** [ ] Ya / [ ] Tidak +> Jika ya, bagaimana cara memperbaikinya? ________________ + +--- + +## Latihan 3 — Threat Analysis + +Identifikasi ancaman validitas untuk desain eksperimen ini. + +| Threat Type | Ancaman Spesifik | Mitigasi | +|-------------|-----------------|----------| +| Internal | *Contoh: Data leakage antara train-test* | *Contoh: Gunakan stratified split, validasi tidak ada overlap* | | External | | | | Construct | | | | Conclusion | | | ---- - -## Latihan 2 — Desain Perbandingan yang Fair - -**RQ (dari WS-04):** ___________________________________ - -| Komponen | Isian | -|----------|-------| -| Kondisi 1 (treatment) | | -| Kondisi 2 (baseline/control) | | -| IV yang dimanipulasi | | -| DV yang diukur | | -| CV yang dikontrol | | -| Jumlah run per kondisi | | -| Seed/randomization strategy | | - -**Fairness Checklist:** -- [ ] Kedua kondisi menggunakan dataset yang sama -- [ ] Hanya satu variabel yang berbeda antar-kondisi -- [ ] Metrik evaluasi sama untuk kedua kondisi -- [ ] Jumlah run cukup untuk variabilitas -- [ ] Threshold ditentukan sebelum eksperimen - ---- - -## Latihan 3 — Kausalitas vs Korelasi - -| Syarat Kausalitas | Terpenuhi? | Bukti | -|-------------------|-----------|-------| -| Kovariansi | [ ] Ya / [ ] Tidak | | -| Temporal precedence | [ ] Ya / [ ] Tidak | | -| Eliminasi alternatif | [ ] Ya / [ ] Tidak | | - -**Apakah desain mendukung klaim kausal?** [ ] Ya / [ ] Tidak -**Jika tidak — perbaikan yang diperlukan:** +**Ancaman mana yang paling sulit dimitigasi?** _____________ +**Mengapa?** > ___________________________________________________ --- ## Refleksi -> *"Jika reviewer bertanya 'bagaimana Anda tahu ini bukan kebetulan?' — apakah desain eksperimen saya memberikan jawaban yang meyakinkan?"* +> Sebuah paper melaporkan "metode kami mengalahkan semua baseline." Apa 3 pertanyaan pertama yang harus diajukan untuk mengevaluasi klaim ini? -**Jawaban refleksi:** -> ___________________________________________________ - ---- - +**Jawaban:** +1. ___________________________________________________ +2. ___________________________________________________ +3. ___________________________________________________ diff --git a/worksheets/ws-08-proposal-integration.md b/worksheets/ws-08-proposal-integration.md index 43208d8..00ff641 100644 --- a/worksheets/ws-08-proposal-integration.md +++ b/worksheets/ws-08-proposal-integration.md @@ -1,65 +1,151 @@ -# WS-08: Proposal Integration -> **Bab Terkait:** Bab 8 — Proposal & Checkpoint -> **Tujuan:** Merakit proposal dari output WS-02 hingga WS-07 dan mengevaluasi koherensi -> **Referensi:** Lampiran B.8 | Template A.8 +# WS-08: Proposal Integration (UTS) + +> **Bab 8 — Proposal & Checkpoint** --- -## Latihan 1 — Integration Map +## Ringkasan Materi -Ambil output dari WS-02 (problem statement), WS-03 (gap), WS-04 (RQ & hipotesis), WS-05 (metrik), WS-06 (arsitektur), WS-07 (desain eksperimen). Susun ke dalam satu dokumen proposal. +### Proposal = Satu Argumen Utuh -| Bagian Proposal | Sumber Worksheet | Status | -|----------------|------------------|--------| -| Problem Statement | WS-02 | [ ] Lengkap | -| Literature Gap | WS-03 | [ ] Lengkap | -| Research Question | WS-04 | [ ] Lengkap | -| Hipotesis | WS-04 | [ ] Lengkap | -| Variabel & Metrik | WS-05 | [ ] Lengkap | -| Arsitektur Sistem | WS-06 | [ ] Lengkap | -| Desain Eksperimen | WS-07 | [ ] Lengkap | +Proposal riset bukan kumpulan bab yang independen. Ia adalah **satu argumen** yang mengalir dari masalah ke rencana solusi. Jika satu koneksi putus, seluruh proposal kehilangan koherensi. -**Koneksi yang terputus (jika ada):** +### Integration Map — 6 Koneksi Kritis + +``` +Problem (Bab 2) → Gap (Bab 3) → RQ & H (Bab 4) → Metrik (Bab 5) → Sistem (Bab 6) → Eksperimen (Bab 7) +``` + +| Koneksi | Pertanyaan Verifikasi | +|---------|----------------------| +| Problem → Gap | Apakah gap muncul dari analisis literatur terhadap masalah? | +| Gap → RQ | Apakah RQ langsung menjawab gap yang teridentifikasi? | +| RQ → Metrik | Apakah setiap variabel di RQ punya metrik terdefinisi? | +| Metrik → Sistem | Apakah setiap metrik bisa diukur oleh komponen sistem? | +| Sistem → Eksperimen | Apakah desain eksperimen menggunakan sistem sebagai instrumen? | + +### Koherensi Vertikal + Horizontal + +- **Vertikal** — Alur logis atas-ke-bawah (problem → experiment) +- **Horizontal** — Konsistensi terminologi (nama variabel di RQ = di hipotesis = di metrik = di desain) + +### Jebakan Kognitif + +| Jebakan | Deskripsi | +|---------|----------| +| "Selling" Introduction | Menulis promosi, bukan menyajikan data dan gap | +| Copy-paste Methodology | Menyalin deskripsi tekstbook tanpa menyesuaikan ke RQ | +| Optimistic Timeline | Meremehkan waktu implementasi; selalu tambah buffer 30-50% | +| No Possibility of Failure | Mengimplikasikan hasil pasti sukses — proposal jujur mengakui H₀ mungkin tidak ditolak | + +### Struktur Proposal + +1. **Pendahuluan** — Latar belakang + problem statement (Bab 1-2) +2. **Tinjauan Pustaka** — Literature review + gap + baseline (Bab 3) +3. **RQ / Kontribusi / Hipotesis** — (Bab 4) +4. **Metodologi** — Metrik + sistem + desain eksperimen (Bab 5-7) +5. **Timeline & Output** + +### Istilah Penting + +- **Integration Map** — Diagram 6 koneksi kritis antar komponen proposal +- **Vertical Coherence** — Alur logis atas-ke-bawah +- **Horizontal Coherence** — Konsistensi terminologi di semua bagian +- **Checkpoint** — Titik self-assessment sebelum transisi dari desain ke eksekusi + +--- + +## Template A.8 — Integration Checklist + +``` +PROPOSAL INTEGRATION CHECKLIST + +Koneksi Vertikal (Flow Atas-Bawah): + [ ] Problem → Gap: masalah terdokumentasi di literatur + [ ] Gap → RQ: pertanyaan menjawab gap spesifik + [ ] RQ → Hypothesis: hipotesis memprediksi jawaban + [ ] Hypothesis → Metric: metrik mengukur variabel dalam hipotesis + [ ] Metric → System: komponen sistem menghasilkan/mengukur metrik + [ ] System → Experiment: desain eksperimen menggunakan sistem + +Koneksi Horizontal (Konsistensi): + [ ] Istilah sama di semua bagian + [ ] Variabel di RQ = variabel di hipotesis = metrik di desain + [ ] Scope tidak berubah dari masalah ke eksperimen + +Rubrik Self-Assessment: +| Kriteria | 1 (Lemah) | 2 (Cukup) | 3 (Baik) | Skor | +|----------|-----------|-----------|----------|------| +| Koherensi | | | | | +| Specificity | | | | | +| Feasibility | | | | | +| Rigor | | | | | +``` + +--- + +## Latihan 1 — Kompilasi Proposal Mini + +Kumpulkan hasil dari WS-02 sampai WS-07 menjadi satu ringkasan proposal. + +| Komponen | Sumber | Isi (1-2 kalimat) | +|----------|--------|-------------------| +| Problem Statement | WS-02 | *Contoh: Sistem rekomendasi memiliki akurasi tinggi (RMSE 0.87) tetapi satisfaction score rendah (45/100). Gap antara metrik teknis dan kepuasan pengguna belum diteliti.* | +| Gap | WS-03 | *Contoh: Tidak ada studi yang mengintegrasikan collaborative filtering dengan user-context signals untuk meningkatkan satisfaction.* | +| RQ | WS-04 | *Contoh: Apakah penambahan context-aware signals pada collaborative filtering meningkatkan satisfaction score tanpa menurunkan RMSE?* | +| Hipotesis | WS-04 | *Contoh: H₁: Sistem CF+context menghasilkan satisfaction ≥ 70/100 dengan RMSE ≤ 0.90 dibanding baseline CF murni.* | +| Variabel & Metrik | WS-05 | *Contoh: IV = jenis sistem (CF vs CF+context); DV = satisfaction score (skala 0-100) + RMSE (regresi).* | +| Sistem | WS-06 | | +| Desain Eksperimen | WS-07 | | + +--- + +## Latihan 2 — Integration Checklist + +Verifikasi 6 koneksi kritis. Isi dengan merujuk tabel di Latihan 1. + +| Koneksi | Status | Bukti | +|---------|--------|-------| +| Problem → Gap | *Contoh: ✅ — gap muncul dari 15 paper Bab 3 yang tidak ada yang mengkombinasikan CF + context untuk satisfaction* | | +| Gap → RQ | *Contoh: ✅ — RQ langsung menanyakan apakah CF+context meningkatkan satisfaction* | | +| RQ → Hypothesis | *Contoh: ✅ — H₁ memprediksi satisfaction ≥ 70 dengan threshold RMSE ≤ 0.90* | | +| Hypothesis → Metric | | | +| Metric → System | | | +| System → Experiment | | | + +**Koneksi mana yang paling lemah?** _______________________ +**Bagaimana cara memperkuatnya?** > ___________________________________________________ +**Konsistensi horizontal — apakah istilah dan scope konsisten?** [ ] Ya / [ ] Tidak +> Jika tidak, di bagian mana terjadi inkonsistensi? _________ + --- -## Latihan 2 — Self-Assessment +## Latihan 3 — Rubrik Self-Assessment -| Kriteria | Skor (1–5) | Catatan | -|----------|-----------|--------| -| Koherensi | | | -| Specificity | | | +Evaluasi proposal mini menggunakan rubrik. + +| Kriteria | Skor (1-3) | Justifikasi | +|----------|-----------|-------------| +| Koherensi | *Contoh: 2 — koneksi gap→RQ masih lemah karena gap belum cukup narrow* | | +| Specificity | *Contoh: 3 — metrik (satisfaction 0-100, RMSE) sudah terdefinisi numerik* | | | Feasibility | | | | Rigor | | | -**Dua kriteria dengan skor terendah:** -1. __________________ → Rencana perbaikan: ________________ -2. __________________ → Rencana perbaikan: ________________ +**Skor total:** _____ / 12 ---- - -## Latihan 3 — Peer Review - -**Nama reviewer:** ______________________________________ - -| Item Checklist | Terpenuhi? | Rekomendasi | -|---------------|-----------|-------------| -| Problem → Gap terhubung | [ ] Ya / [ ] Tidak | | -| Gap → RQ terhubung | [ ] Ya / [ ] Tidak | | -| RQ → Hipotesis terhubung | [ ] Ya / [ ] Tidak | | -| Hipotesis → Metrik terhubung | [ ] Ya / [ ] Tidak | | -| Metrik → Arsitektur terhubung | [ ] Ya / [ ] Tidak | | -| Arsitektur → Eksperimen terhubung | [ ] Ya / [ ] Tidak | | +**Apakah proposal siap untuk fase eksekusi?** [ ] Ya / [ ] Belum +> Jika belum, apa yang perlu diperbaiki? __________________ --- ## Refleksi -> *"Jika proposal saya dievaluasi bukan dari panjangnya, melainkan dari koherensi koneksi antar-bagian — apakah ia akan lulus?"* +> Dari seluruh proses WS-01 sampai WS-08, bagian mana yang paling mudah dan paling sulit? Mengapa? Apa yang akan dilakukan berbeda jika mengulang dari awal? -**Jawaban refleksi:** +**Bagian termudah:** ____________________________________ +**Bagian tersulit:** ____________________________________ +**Yang akan dilakukan berbeda:** +> ___________________________________________________ > ___________________________________________________ - ---- - diff --git a/worksheets/ws-09-implementation.md b/worksheets/ws-09-implementation.md index 25bf845..5f463a5 100644 --- a/worksheets/ws-09-implementation.md +++ b/worksheets/ws-09-implementation.md @@ -1,79 +1,177 @@ -# WS-09: Implementation & Reproducibility -> **Bab Terkait:** Bab 9 — Implementation & Environment -> **Tujuan:** Mendokumentasikan setup implementasi untuk reprodusibilitas -> **Referensi:** Lampiran B.9 | Template A.9 +# WS-09: Implementation & Environment + +> **Bab 9 — Implementasi Riset & Kontrol Lingkungan** --- -## Latihan 1 — Environment Audit +## Ringkasan Materi -### Hardware +### Implementasi Riset ≠ Coding Biasa + +Tujuan implementasi riset bukan membuat software yang berfungsi, melainkan membangun **instrumen pengukuran yang konsisten**. Setiap modul harus di-mapping ke variabel (dari Bab 6), parameter harus config-driven, dan logging aktif dari hari pertama. + +### Reproducible Implementation Model + +``` +Design → Implementation → Environment Setup → Execution Consistency → Reproducibility → Trustworthy Result +``` + +Setiap transisi memiliki syarat: +- Design → Implementation: kode sesuai mapping variabel-ke-komponen +- Implementation → Environment: versi, dependency, seed, path, OS eksplisit +- Environment → Consistency: seed terkunci, urutan deterministik +- Consistency → Reproducibility: dokumentasi lengkap +- Reproducibility → Trust: siapa pun ikuti dokumentasi → hasil sama/serupa + +### Repeatability vs Reproducibility + +| Level | Peneliti | Environment | Hasil | +|-------|---------|-------------|-------| +| **Repeatability** | Sama | Sama | Sama persis | +| **Reproducibility** | Berbeda | Berbeda (ikuti docs) | Sama/serupa | + +Capai **repeatability** dulu, baru **reproducibility**. + +### Engineering vs Research Perspective + +| Aspek | Engineering | Research | +|-------|-----------|---------| +| Tujuan | Sistem berfungsi untuk user | Instrumen pengukuran konsisten | +| Dependency | Update ke terbaru | Lock di versi spesifik | +| Testing | Unit, integration, E2E | Repeatability test (run ulang → sama?) | +| Dokumentasi | User guide, API docs | Environment spec, execution steps, expected output | +| Config | Default masuk akal | Setiap parameter eksplisit & adjustable | + +### Jebakan Kognitif + +1. Menunda environment setup → bug sulit dilacak +2. Tidak pakai version control → hasil tidak bisa direkonstruksi +3. Menolak Docker/container → "di laptop saya bisa" saat review +4. 3× hasil sama ≠ repeatable (bisa cache/state tersimpan) + +### Istilah Penting + +- **Environment Specification** — Deskripsi lengkap: hardware, OS, runtime, library + versi, config, seed +- **Dependency** — Komponen eksternal yang harus di-lock versinya +- **Config-driven** — Parameter dieksternalisasi ke file konfigurasi, bukan hardcode + +--- + +## Template A.9 — Dokumentasi Setup Eksperimen + +``` +EXPERIMENT SETUP DOCUMENTATION + +Hardware: + CPU : ____________________ + RAM : ____________________ + GPU : ____________________ + Storage : ____________________ + +Software: + OS : ____________________ + Runtime : ____________________ + Framework : ____________________ + +Dependencies: +| Library | Version | Sumber | Hash/Checksum | +|---------|---------|--------|---------------| +| | | | | +| | | | | + +Konfigurasi: + Config file : ____________________ + Random seed : ____________________ + Hyperparameters : ____________________ + +Reproducibility Check: + [ ] Dependency terdokumentasi (requirements.txt / lock file) + [ ] Seed ditetapkan di semua level (Python, NumPy, framework) + [ ] Config di version control + [ ] README instruksi reproduksi lengkap +``` + +--- + +## Latihan 1 — Environment Specification + +Dokumentasikan environment untuk eksperimen Anda (boleh environment saat ini atau yang direncanakan). | Komponen | Spesifikasi | |----------|------------| -| CPU | | -| RAM | | -| GPU (jika relevan) | | -| Storage | | +| CPU | *Contoh: Intel Core i7-12700H, 14 Core* | +| RAM | *Contoh: 32 GB DDR5* | +| GPU | *Contoh: NVIDIA RTX 3060 6GB / CPU-only jika tidak ada GPU* | +| OS | *Contoh: Ubuntu 22.04 LTS / Windows 11* | +| Runtime | | +| Framework | | +| Random Seed | | -### Software & Dependencies +**Dependencies (minimal 5):** -| Software/Library | Versi Spesifik | Sumber | Keterangan | -|-----------------|---------------|--------|-----------| -| OS | | | | -| Runtime/Compiler | | | | -| Framework | | | | -| Library 1 | | | | -| Library 2 | | | | -| Library 3 | | | | -| Database | | | | - -### Configuration - -| Parameter | Nilai | Justifikasi | -|-----------|-------|------------| +| Library | Version | Alasan Dibutuhkan | +|---------|---------|-------------------| +| *Contoh: scikit-learn* | *1.3.2* | *Klasifikasi + evaluasi metrik* | +| | | | | | | | | | | | | | | | --- -## Latihan 2 — Reproducibility Test +## Latihan 2 — Repeatability Test Plan -**Nama rekan yang mereproduksi:** __________________________ +Rancang tes repeatability sederhana: jalankan kode yang sama 3× di environment yang sama. -| Aspek | Berhasil? | Waktu | Catatan | -|-------|----------|-------|--------| -| Clone repository | [ ] Ya / [ ] Tidak | | | -| Install dependencies | [ ] Ya / [ ] Tidak | | | -| Jalankan kode | [ ] Ya / [ ] Tidak | | | -| Hasil sesuai | [ ] Ya / [ ] Tidak | | | +| Run | Seed | Metrik Utama | Hasil Sama? | +|-----|------|-------------|-------------| +| 1 | *Contoh: 42* | *Contoh: Accuracy* | — | +| 2 | | | [ ] Ya / [ ] Tidak | +| 3 | | | [ ] Ya / [ ] Tidak | -**Total waktu setup:** ___________________________________ -**Perbaikan dokumentasi berdasarkan feedback:** +**Jika hasil berbeda, kemungkinan penyebab:** > ___________________________________________________ +**Checklist kontrol yang sudah diterapkan:** +- [ ] Random seed di-set di semua level +- [ ] Tidak ada background process yang mengganggu +- [ ] Cache dibersihkan antar-run +- [ ] Config file yang sama untuk semua run + --- -## Latihan 3 — Configuration Versioning +## Latihan 3 — README Eksperimen -**Repository URL:** _____________________________________ +Tulis README minimum untuk eksperimen Anda (6 komponen wajib). -**Checklist:** -- [ ] Konfigurasi terpisah dari kode (config file) -- [ ] Setiap eksperimen bisa dijalankan ulang dari commit tertentu -- [ ] README berisi instruksi reproduksi minimal -- [ ] requirements.txt / go.mod / package.json tersedia -- [ ] .gitignore dikonfigurasi (tidak ada data besar di repo) +``` +# Judul Eksperimen: ____________________ + +## 1. Environment +> (Salin spesifikasi dari Latihan 1) + +## 2. Installation +> (Langkah instalasi, misal: "pip install -r requirements.txt") + +## 3. Data +> (Deskripsi data: sumber, format, ukuran) + +## 4. Execution +> (Command untuk menjalankan eksperimen) + +## 5. Configuration +> (File config yang digunakan + parameter kunci) + +## 6. Expected Output +> (Contoh output yang diharapkan + format) +``` --- ## Refleksi -> *"Jika laptop saya hilang besok, bisakah saya merekonstruksi seluruh eksperimen dari dokumentasi yang ada?"* +> Apakah eksperimen Anda saat ini bisa direproduksi oleh orang lain tanpa bantuan Anda? Komponen apa yang masih hilang? -**Jawaban refleksi:** +**Level saat ini:** [ ] Repeatability / [ ] Reproducibility / [ ] Belum keduanya +**Komponen yang belum terdokumentasi:** > ___________________________________________________ - ---- - diff --git a/worksheets/ws-10-execution-data.md b/worksheets/ws-10-execution-data.md index 58e1b06..d13694a 100644 --- a/worksheets/ws-10-execution-data.md +++ b/worksheets/ws-10-execution-data.md @@ -1,64 +1,162 @@ -# WS-10: Execution & Data Collection -> **Bab Terkait:** Bab 10 — Experiment Execution & Data Collection -> **Tujuan:** Menyusun execution plan dan menjalankan pilot run -> **Referensi:** Lampiran B.10 | Template A.10 +# WS-10: Experiment Execution & Data Collection + +> **Bab 10 — Eksekusi Eksperimen & Pengumpulan Data** --- -## Latihan 1 — Execution Plan Lengkap +## Ringkasan Materi -| Skenario | Deskripsi | Jumlah Run | Seeds | Parameter | Format Output | -|----------|----------|-----------|-------|-----------|--------------| -| S1 | | min. 5 | | | | -| S2 | | min. 5 | | | | -| S3 | | min. 5 | | | | +### Experiment Execution Pipeline -**Total run yang direncanakan:** __________________________ +``` +Design → Execution Plan → Controlled Execution → Data Collection → Data Logging → Dataset for Analysis +``` + +### Multiple Run = Non-Negotiable + +Single run **tidak pernah cukup** untuk klaim ilmiah. Minimum 5-10 run per skenario dengan seed berbeda. Multiple run menghasilkan: +- Mean, std, confidence interval +- Distribusi hasil → uji statistik +- Variabilitas → error bar di grafik + +### Execution Plan + +Setiap eksperimen harus memiliki plan sebelum eksekusi: +- Daftar skenario +- Jumlah run per skenario +- Random seed per run (pre-determined!) +- Urutan eksekusi (randomisasi/counterbalancing) +- Pre-execution checklist + +### Data Logging Komprehensif + +Setiap run menghasilkan log terstruktur: +1. **Identitas** — Run ID, timestamp, skenario +2. **Konfigurasi** — Semua parameter, seed, code version +3. **Hasil** — Semua metrik, output detail +4. **Metadata** — Waktu eksekusi, resource usage, warning/error + +Format: CSV/JSON/database — **bukan stdout yang di-copy-paste**. + +### Engineering vs Research Execution + +| Aspek | Engineering | Research | +|-------|-----------|---------| +| Run | Sekali (deploy) | Multiple (min 5-10, seed berbeda) | +| Logging | Error log, access log | Semua parameter, metrik, metadata | +| Anomali | Bug → fix → redeploy | Investigasi → dokumentasi → analisis | +| Urutan | Tidak penting | Bisa bias — perlu randomisasi | + +### Anomali = Dokumentasi, Bukan Hapus + +Run gagal/anomali tidak boleh dihapus tanpa dokumentasi. Bisa jadi: +- **Bug** → fix & re-run (dokumentasikan!) +- **Batas kemampuan metode** → DNF = temuan +- **Data yang bias** jika hanya simpan run "berhasil" + +### Jebakan Kognitif + +1. "Satu angka cukup" → tanpa distribusi, tidak bisa diuji +2. "Seed tidak penting" → bahkan algoritma deterministik bisa dipengaruhi library stokastik +3. "Run gagal langsung hapus" → kehilangan temuan potensial +4. "Semua run harus hari ini" → thermal throttling, fatigue --- -## Latihan 2 — Pilot Run & Anomaly +## Template A.10 — Execution Plan & Data Log -**Skenario pilot:** _____________________________________ +``` +EXECUTION PLAN -| Check | Hasil | Status | -|-------|-------|--------| -| Output sesuai format? | | [ ] OK / [ ] Fix | -| Data point lengkap? | | [ ] OK / [ ] Fix | -| Waktu eksekusi masuk akal? | | [ ] OK / [ ] Fix | +| Run # | Skenario | Seed | Parameter | Status | Waktu | Output File | +|-------|----------|------|-----------|--------|-------|-------------| +| 1 | | | | | | | +| 2 | | | | | | | +| 3 | | | | | | | +| ... | | | | | | | -**Anomali yang ditemukan:** -1. ___________________________________________________ -2. ___________________________________________________ +Jumlah runs per skenario : ____ +Total runs : ____ -**Tindakan koreksi:** -> ___________________________________________________ +DATA LOG (per run): + Run ID : ____________________ + Timestamp : ____________________ + Skenario : ____________________ + Input : ____________________ + Output : ____________________ + Anomali : ____________________ + Catatan : ____________________ +``` --- -## Latihan 3 — Data Integrity Check +## Latihan 1 — Execution Plan -| Data Point | Run ID | File Output | Traceable? | -|-----------|--------|------------|-----------| -| | | | [ ] Ya / [ ] Tidak | -| | | | [ ] Ya / [ ] Tidak | -| | | | [ ] Ya / [ ] Tidak | +Susun execution plan untuk eksperimen Anda. Tentukan skenario, jumlah run, dan seed sebelum eksekusi. -**Apakah semua data point bisa ditelusuri ke run spesifik?** -- [ ] Ya, semua traceable -- [ ] Tidak — data point yang hilang: ______________________ +| Run # | Skenario | Seed | Parameter Kunci | Status | +|-------|----------|------|----------------|--------| +| *1* | *Contoh: BERT-base, DS-1* | *42* | *lr=2e-5, epoch=10* | *Planned* | +| *2* | *BERT-base, DS-1* | *123* | *lr=2e-5, epoch=10* | *Planned* | +| 3 | | | | | +| 4 | | | | | +| 5 | | | | | -**Laporan integritas:** -> ___________________________________________________ +**Total skenario:** ____ +**Run per skenario:** ____ +**Total run keseluruhan:** ____ + +--- + +## Latihan 2 — Data Log Terstruktur + +Desain format data log untuk eksperimen Anda. Tentukan field apa saja yang akan dicatat. + +**Identitas:** +| Field | Contoh | +|-------|--------| +| Run ID | *run-001* | +| Timestamp | *2025-03-15T10:30:00* | +| | | + +**Konfigurasi:** +| Field | Contoh | +|-------|--------| +| Seed | *42* | +| Code version | *commit abc1234* | +| | | + +**Hasil:** +| Metrik | Tipe Data | Range Valid | +|--------|----------|-------------| +| *Contoh: Accuracy* | *float* | *0.0 – 1.0* | +| | | | +| | | | + +**Format output:** [ ] CSV / [ ] JSON / [ ] Database / [ ] Lainnya: ____ + +--- + +## Latihan 3 — Anomaly Protocol + +Rencanakan bagaimana menangani anomali. Untuk setiap jenis, tentukan langkah yang diambil. + +| Jenis Anomali | Contoh | Tindakan | +|---------------|--------|----------| +| Run gagal (crash) | *Contoh: OOM pada batch_size=64* | *Contoh: Dokumentasi, re-run batch_size=32, catat perubahan* | +| Hasil ekstrem | | | +| Waktu eksekusi anomali | | | +| Inkonsistensi dengan run lain | | | + +**Prinsip:** Detect → Investigate → Document → Decide --- ## Refleksi -> *"Jika saya mengklaim '30 run per skenario' — bisakah saya menunjukkan 30 file output yang masing-masing bisa ditelusuri ke run spesifik?"* +> Pernahkah Anda melaporkan hasil riset/tugas dari single run? Apa risikonya? Bagaimana multiple run mengubah kepercayaan terhadap hasil? -**Jawaban refleksi:** +**Pengalaman sebelumnya:** +> ___________________________________________________ +**Yang akan dilakukan berbeda:** > ___________________________________________________ - ---- - diff --git a/worksheets/ws-11-data-validation.md b/worksheets/ws-11-data-validation.md index 6068c45..59b6137 100644 --- a/worksheets/ws-11-data-validation.md +++ b/worksheets/ws-11-data-validation.md @@ -1,67 +1,161 @@ -# WS-11: Data Validation -> **Bab Terkait:** Bab 11 — Data Validation & Integrity -> **Tujuan:** Memvalidasi kelengkapan, konsistensi, dan keandalan data eksperimen -> **Referensi:** Lampiran B.11 | Template A.11 +# WS-11: Data Validation & Integrity + +> **Bab 11 — Validasi Data & Integritas** + +--- + +## Ringkasan Materi + +### Data Trust Model + +``` +Raw Data → Data Cleaning → Consistency Check → Validation Process → Trusted Data +``` + +Data mentah belum bisa dipercaya. Harus melewati pipeline validasi sebelum siap untuk analisis statistik. + +### Empat Pilar Data Quality + +| Pilar | Deskripsi | Contoh Pelanggaran | +|-------|----------|-------------------| +| **Accuracy** | Nilai dalam range masuk akal | Akurasi = 1.5 (di luar [0,1]) | +| **Consistency** | Format seragam di semua run | Run 1: CSV, Run 2: JSON | +| **Completeness** | Tidak ada data hilang dari plan | 97 dari 100 run tercatat | +| **Validity** | Data sesuai desain eksperimen | Parameter baseline tercampur treatment | + +### Proses Validasi Progresif + +1. **Format validation** — Tipe file, header, kolom +2. **Range validation** — Nilai dalam batas logis +3. **Consistency validation** — Format seragam antar-run +4. **Logic validation** — Data cocok dengan desain eksperimen + +Jika gagal di langkah awal → tidak perlu lanjut. + +### Anomaly Detection — 3 Jenis + +| Jenis | Deskripsi | Deteksi | +|-------|----------|---------| +| **Statistical outlier** | Nilai di luar distribusi normal | IQR: < Q1-1.5×IQR atau > Q3+1.5×IQR | +| **Contextual anomaly** | Normal absolut, abnormal dalam konteks | Run 1-10: ~91%, Run 11-20: ~88% | +| **Pattern anomaly** | Pola sistematis (bukan random) | Performa menurun berurutan | + +**Prinsip:** Detect → Investigate → Document → Decide — **JANGAN langsung hapus.** + +### Engineering vs Research Validation + +| Aspek | Engineering | Research | +|-------|-----------|---------| +| Tujuan | Data sesuai spesifikasi bisnis | Data layak untuk analisis statistik | +| Missing data | Impute / set default | Investigasi penyebab → dokumentasi | +| Outlier | Bug → fix | Mungkin temuan → investigasi | +| Dokumentasi | Minimal (log error) | Komprehensif (anomali + keputusan) | + +### Jebakan Kognitif + +1. "Logging otomatis ≠ data benar" → bisa ada bug di logger +2. "Outlier = hapus" → bisa jadi temuan penting +3. "Dataset kecil tidak perlu validasi" → justru lebih rentan +4. "Mean normal = data benar" → [94, 95, 93, **44**, 94] → mean 84% terlihat wajar + +--- + +## Template A.11 — Data Validation Checklist + +``` +DATA VALIDATION CHECKLIST + +Completeness: + [ ] Semua skenario tercakup + [ ] Jumlah run sesuai rencana + [ ] Tidak ada file output hilang + Missing: ____ dari ____ data points + +Format Consistency: + [ ] Semua file format sama (CSV/JSON/...) + [ ] Header konsisten + [ ] Tipe data konsisten (numerik tetap numerik) + +Range & Logic: + [ ] Nilai dalam range masuk akal + [ ] Tidak ada waktu negatif + [ ] Metrik 0–100%, tidak di luar range + Anomali ditemukan: ____________________ + +Cross-Validation: + [ ] Run identik → hasil mendekati + [ ] Trend konsisten dengan ekspektasi teori + +Keputusan: + [ ] Data siap analisis + [ ] Perlu cleaning + [ ] Perlu re-run (skenario: ____) +``` --- ## Latihan 1 — Completeness Check -| Skenario | Data Point Diharapkan | Data Point Tersedia | Hilang | Penanganan | -|----------|----------------------|--------------------|---------|-----------| -| S1 | | | | | -| S2 | | | | | -| S3 | | | | | +Verifikasi apakah semua data yang direncanakan sudah terkumpul. -**Simulasi: 2 run hilang (timeout). Dampak:** +| Skenario | Run Direncanakan | Run Tercatat | Missing | Alasan | +|----------|-----------------|-------------|---------|--------| +| *Contoh: BERT, DS-1* | *10* | *10* | *0* | *—* | +| *LSTM, DS-3* | *10* | *8* | *2* | *OOM pada run 7 & 9* | +| | | | | | +| | | | | | + +**Total expected:** ____ | **Total actual:** ____ | **Missing:** ____ + +**Keputusan untuk data missing:** > ___________________________________________________ -**Keputusan penanganan data hilang:** -- [ ] Re-run -- [ ] Hapus skenario -- [ ] Lanjutkan dengan catatan - --- ## Latihan 2 — Anomaly Investigation -**Skenario anomali:** Satu skenario menunjukkan performa 10x lebih baik dari rata-rata. +Periksa data Anda untuk anomali. Gunakan metode IQR atau z-score. -| Langkah Investigasi | Temuan | -|--------------------|--------| -| 1. Cek apakah bug di kode | | -| 2. Cek cache effect | | -| 3. Cek parameter input | | -| 4. Cek environment (background process) | | -| 5. Re-run dengan seed berbeda | | +**Dataset sampel (atau data Anda sendiri):** -**Keputusan:** [ ] Bug / [ ] Cache effect / [ ] Genuine result -**Justifikasi:** ________________________________________ +| Run | Accuracy (%) | +|-----|-------------| +| 1 | *91.2* | +| 2 | *90.8* | +| 3 | *91.5* | +| 4 | *78.3* | +| 5 | *91.0* | + +**Deteksi outlier:** +- Q1 = ____ | Q3 = ____ | IQR = ____ +- Batas bawah (Q1 - 1.5×IQR) = ____ +- Batas atas (Q3 + 1.5×IQR) = ____ +- Outlier terdeteksi: ____ + +**Investigasi (untuk setiap outlier):** + +| Outlier | Nilai | Kemungkinan Penyebab | Keputusan | +|---------|-------|---------------------|-----------| +| *Run 4* | *78.3* | *Contoh: thermal throttling setelah 3 run berturut* | *Re-run dengan cooling interval* | --- -## Latihan 3 — Full Validation Report +## Latihan 3 — Validation Report -| Aspek Validasi | Status | Catatan | -|---------------|--------|--------| -| Completeness | [ ] Pass / [ ] Fail | | -| Consistency | [ ] Pass / [ ] Fail | | -| Range check | [ ] Pass / [ ] Fail | | -| Logical validity | [ ] Pass / [ ] Fail | | +Buat laporan validasi ringkas untuk dataset eksperimen Anda. -**Keputusan final:** -- [ ] Data siap analisis -- [ ] Perlu cleaning (detail: _________________________) -- [ ] Perlu re-run (detail: ___________________________) +**1. Completeness:** ____% data terkumpul +**2. Format:** [ ] Konsisten / [ ] Ada inkonsistensi: ____ +**3. Range check (anomali):** ____ +**4. Logic check:** [ ] Parameter sesuai plan / [ ] Ada ketidaksesuaian: ____ + +**Kesimpulan:** [ ] Data siap analisis / [ ] Perlu tindakan: ____ --- ## Refleksi -> *"Jika reviewer meminta raw data dan log eksperimen — apakah saya bisa menyediakannya dalam 10 menit?"* +> Apa perbedaan antara "data yang benar" dan "data yang dipercaya"? Mengapa proses validasi formal diperlukan meskipun data dikumpulkan secara otomatis? -**Jawaban refleksi:** > ___________________________________________________ - ---- - +> ___________________________________________________ diff --git a/worksheets/ws-12-result-presentation.md b/worksheets/ws-12-result-presentation.md index 9404edc..73cbfe1 100644 --- a/worksheets/ws-12-result-presentation.md +++ b/worksheets/ws-12-result-presentation.md @@ -1,65 +1,145 @@ -# WS-12: Result Presentation -> **Bab Terkait:** Bab 12 — Result Presentation & Visualization -> **Tujuan:** Menyajikan hasil eksperimen dalam tabel dan visualisasi yang efektif -> **Referensi:** Lampiran B.12 | Template A.12 +# WS-12: Result Presentation & Visualization + +> **Bab 12 — Penyajian Hasil & Visualisasi** + +--- + +## Ringkasan Materi + +### Data → Insight Model + +``` +Validated Data → Structured Presentation → Visualization → Pattern Recognition → Insight +``` + +Penyajian **mendahului** analisis. Tabel dan grafik membantu peneliti "melihat" data sebelum menghitung. Langsung ke uji statistik tanpa visualisasi berisiko kesimpulan yang secara teknis benar tapi kontekstual salah (Anscombe's Quartet, 1973). + +### Tabel = Presisi, Grafik = Pola + +Keduanya **saling melengkapi**: +- Tabel: angka presisi, self-contained (dipahami tanpa teks), sortable +- Grafik: pola visual, tren, perbandingan cepat + +### Jenis Grafik Berdasarkan Tujuan + +| Tujuan | Jenis Grafik | +|--------|-------------| +| Perbandingan antar-skenario | Bar chart (grouped/stacked) | +| Distribusi per-skenario | Box plot / violin plot | +| Tren temporal | Line chart | +| Korelasi dua variabel | Scatter plot | +| Proporsi (total = 100%) | Pie chart (hati-hati!) | + +### Contoh Tabel Hasil yang Baik + +| Model | Accuracy (%) | F1-Score (%) | Training Time (min) | +|-------|-------------|-------------|---------------------| +| BERT | 88.4 ± 1.2 | 87.1 ± 1.4 | 45.2 ± 3.1 | +| LSTM | 86.1 ± 1.8 | 84.5 ± 2.0 | 12.8 ± 1.2 | +| SVM | 82.3 ± 0.9 | 80.7 ± 1.1 | 0.3 ± 0.1 | + +*N=10 per model. Mean ± std. Diurutkan berdasarkan Accuracy.* + +### Visualization Bias — Yang Harus Dihindari + +| Bias | Deskripsi | Dampak | +|------|----------|--------| +| Truncated axis | Y tidak dari 0 | Memperbesar perbedaan kecil | +| Inconsistent scale | Dua grafik skala beda | Perbandingan menyesatkan | +| Cherry-picked data | Hanya tampilkan yang "menang" | Selektif, tidak jujur | +| 3D effects | Efek 3D tanpa dimensi data ke-3 | Distorsi tanpa informasi | +| Missing error bar | Tidak ada variabilitas | Menyembunyikan ketidakpastian | + +### Engineering vs Research Presentation + +| Aspek | Engineering | Research | +|-------|-----------|---------| +| Tujuan grafik | Dashboard monitoring | Mendukung argumen ilmiah | +| Informasi wajib | KPI, threshold | Mean, std, CI, N, p-value | +| Bias handling | Less critical | Wajib dihindari (peer-review) | + +--- + +## Template A.12 — Result Presentation Plan + +``` +RESULT PRESENTATION PLAN + +Research Question : ____________________ +Metrik Utama : ____________________ + +Tabel Hasil: +| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n | +|----------|----------------------|----------------------|---| +| | | | | + +Visualisasi yang Direncanakan: +| # | Jenis Grafik | Pesan Utama | Metrik | +|---|-------------|-------------|--------| +| 1 | | | | +| 2 | | | | + +Bias Check: + [ ] Y-axis mulai dari 0 (atau dijustifikasi) + [ ] Error bar/CI ditampilkan + [ ] Semua data disertakan (tidak cherry-picked) + [ ] Tidak menggunakan 3D tanpa alasan +``` --- ## Latihan 1 — Tabel Hasil -| Skenario | Metrik 1 (mean +/- std) | Metrik 2 (mean +/- std) | Runs | Rank | -|----------|------------------------|------------------------|------|------| -| | | | | | -| | | | | | -| | | | | | -| | | | | | +Buat tabel hasil eksperimen Anda (boleh dengan data simulasi jika belum punya data riil). -**Apakah tabel self-contained (bisa dipahami tanpa teks)?** [ ] Ya / [ ] Tidak +| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n | +|----------|----------------------|----------------------|---| +| *Contoh: BERT-base* | *88.4 ± 1.2%* | *45.2 ± 3.1 min* | *10* | +| | | | | +| | | | | + +**Checklist tabel:** +- [ ] Self-contained (judul jelas, satuan ada, N tercantum) +- [ ] Mean ± std (bukan single number) +- [ ] Diurutkan berdasarkan metrik utama +- [ ] Format konsisten di semua baris --- -## Latihan 2 — Visualisasi Multi-Metrik +## Latihan 2 — Rencana Visualisasi -### Grafik 1 +Rencanakan 2-3 grafik untuk menyajikan data dari Latihan 1. Setiap grafik = satu pesan. -**Jenis grafik:** _______________________________________ -**Pesan utama:** ________________________________________ -**Alasan pemilihan jenis grafik:** ________________________ -**Observasi awal:** _____________________________________ - -> [Ruang untuk grafik atau referensi file] - -### Grafik 2 - -**Jenis grafik:** _______________________________________ -**Pesan utama:** ________________________________________ -**Alasan pemilihan jenis grafik:** ________________________ -**Observasi awal:** _____________________________________ - -> [Ruang untuk grafik atau referensi file] +| # | Jenis Grafik | Pesan | Data yang Digunakan | +|---|-------------|-------|---------------------| +| 1 | *Contoh: Bar chart + error bar* | *Perbandingan accuracy antar 3 model* | *Mean accuracy ± std* | +| 2 | *Box plot* | *Distribusi F1 per model* | *Semua run F1* | +| 3 | *Scatter plot* | *Trade-off accuracy vs training time* | *Mean accuracy vs mean time* | --- ## Latihan 3 — Bias Detection -| Bias | Grafik 1 | Grafik 2 | -|------|---------|---------| -| Truncated axis? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak | -| Missing error bar? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak | -| Cherry-picked data? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak | -| Misleading scale? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak | +Evaluasi visualisasi berikut untuk bias (skenario dari contoh): -**Perbaikan yang dilakukan:** -> ___________________________________________________ +**Skenario:** Metode A = 91.2%, Metode B = 90.8%. Bar chart dengan Y-axis mulai dari 90%. + +| Pertanyaan | Jawaban | +|-----------|---------| +| Apakah Y-axis menyesatkan? | *Contoh: Ya — A terlihat 2× B padahal beda 0.4%* | +| Apakah error bar ditampilkan? | | +| Apakah semua kondisi ditampilkan? | | +| Apa solusinya? | | + +**Evaluasi grafik Anda sendiri dari Latihan 2:** +- [ ] Semua bias check lulus +- [ ] Ada yang perlu diperbaiki: ____ --- ## Refleksi -> *"Jika grafik saya dilihat tanpa caption — apakah pesannya tetap jelas? Jika tidak, grafik perlu diperbaiki."* +> Mengapa tabel dan grafik keduanya diperlukan — tidak cukup salah satu saja? Pernahkah Anda membuat grafik yang (tanpa sengaja) menyesatkan? -**Jawaban refleksi:** > ___________________________________________________ - ---- - +> ___________________________________________________ diff --git a/worksheets/ws-13-preprocessing.md b/worksheets/ws-13-preprocessing.md index ad68d98..898d0a4 100644 --- a/worksheets/ws-13-preprocessing.md +++ b/worksheets/ws-13-preprocessing.md @@ -1,62 +1,162 @@ -# WS-13: Preprocessing -> **Bab Terkait:** Bab 13 — Data Preprocessing -> **Tujuan:** Menangani missing values, membuat pipeline preprocessing, dan mendeteksi leakage -> **Referensi:** Lampiran B.13 | Template A.13 +# WS-13: Data Preprocessing + +> **Bab 13 — Preprocessing & Persiapan Data untuk Analisis** --- -## Latihan 1 — Missing Value Strategy +## Ringkasan Materi -**Dataset:** ____________________________________________ -**Persentase missing values:** __________________________ +### Data Refinement Pipeline -| Strategi | Rata-rata Setelah | Kesimpulan Perbandingan Berubah? | -|----------|------------------|-------------------------------| -| Listwise deletion | | [ ] Ya / [ ] Tidak | -| Mean imputation | | [ ] Ya / [ ] Tidak | -| Flag & report | | [ ] Ya / [ ] Tidak | +``` +Raw Data → Cleaning → Transformation → Normalization → Processed Data → Analysis Ready +``` -**Strategi yang dipilih:** _______________________________ -**Justifikasi:** ________________________________________ +Setiap tahap memiliki tujuan berbeda. **Preprocessing bukan langkah teknis biasa** — setiap keputusan preprocessing adalah keputusan riset yang bisa mengubah kesimpulan. + +### Empat Prinsip Preprocessing + +| Prinsip | Deskripsi | +|---------|----------| +| **Consistency** | Metode sama untuk data yang sama | +| **Transparency** | Setiap langkah terdokumentasi | +| **Reproducibility** | Orang lain bisa mengulang dengan hasil sama | +| **Minimal Distortion** | Ubah sesedikit mungkin; jika normalisasi tidak perlu, jangan lakukan | + +### Cleaning Triad + +| Masalah | Strategi | Risiko | +|---------|---------|--------| +| **Missing values** | | | +| — Listwise deletion | Missing < 5%, random | Data loss | +| — Mean/median imputation | Sedikit missing, dist. normal | Mengurangi variabilitas | +| — Model-based imputation | Banyak missing, pola sistematis | Introduces dependency | +| — Flag & separate | Missing karena alasan substantif | Kompleksitas analisis | +| **Duplikat** | Identifikasi → verifikasi → hapus | False positive (data mirip ≠ duplikat) | +| **Error format** | Standardisasi tipe, encoding | Kehilangan informasi saat konversi | + +### Normalisasi — Kapan & Metode Mana + +| Metode | Formula | Output | Sensitif Outlier? | +|--------|---------|--------|-------------------| +| Min-max | (x-min)/(max-min) | [0, 1] | Ya | +| Z-score | (x-mean)/std | Unbounded | Lebih robust | +| Robust scaling | (x-median)/IQR | Unbounded | Paling robust | + +**Kunci:** Parameter normalisasi harus dihitung dari **training set saja** — bukan seluruh data. Pelanggaran = **data leakage**. + +### Data Leakage Prevention + +Data leakage terjadi ketika informasi dari test set "bocor" ke preprocessing: +- Normalisasi parameter dari seluruh dataset ← **SALAH** +- Cross-validation dilakukan sebelum split ← **SALAH** +- Feature selection menggunakan label test set ← **SALAH** + +### Jebakan Kognitif + +1. "Preprocessing cuma teknis — tidak perlu detail" → bisa ubah kesimpulan +2. "Lebih banyak preprocessing = lebih bersih = lebih baik" → over-processing distorsi data +3. "Normalisasi selalu diperlukan" → belum tentu, tergantung metode analisis +4. "Imputation sama untuk semua situasi" → strategi harus sesuai konteks --- -## Latihan 2 — Preprocessing Pipeline +## Template A.13 — Preprocessing Documentation Log -**Bahasa/tool yang digunakan:** __________________________ +``` +PREPROCESSING LOG -| Step | Operasi | Input | Output | Komentar | -|------|---------|-------|--------|---------| -| 1 | Cleaning | | | | -| 2 | Encoding (jika perlu) | | | | -| 3 | Normalisasi (jika perlu) | | | | -| 4 | Feature engineering (jika perlu) | | | | +Dataset : ____________________ +Jumlah data awal : ____________________ -**Script/file referensi:** ______________________________ +Cleaning: +| Masalah | Jumlah Kasus | Penanganan | Justifikasi | +|---------|-------------|------------|-------------| +| Missing | | | | +| Duplikat| | | | +| Error | | | | + +Transformation: +| Transformasi | Variabel | Detail | Alasan | +|-------------|----------|--------|--------| +| | | | | + +Normalization: + Metode : ____________________ + Alasan : ____________________ + Parameter : (dihitung dari: training set / seluruh data) + +Leakage Check: + [ ] Parameter normalisasi dari training set saja + [ ] Tidak ada informasi test set dalam preprocessing + [ ] Cross-validation dilakukan setelah split + +Jumlah data akhir : ____________________ +Script tersedia : [ ] Ya → path: ____ | [ ] Belum +``` --- -## Latihan 3 — Leakage Detection +## Latihan 1 — Cleaning Plan -| Potensi Leakage | Ditemukan? | Perbaikan | -|----------------|-----------|----------| -| Test data masuk ke training | [ ] Ya / [ ] Tidak | | -| Future information di features | [ ] Ya / [ ] Tidak | | -| Target variable di preprocessing | [ ] Ya / [ ] Tidak | | -| Normalisasi sebelum split | [ ] Ya / [ ] Tidak | | +Periksa dataset Anda (atau dataset contoh) dan dokumentasikan masalah yang ditemukan. -**Kesimpulan leakage check:** -- [ ] Tidak ada leakage — karena: _______________________ -- [ ] Ada leakage — diperbaiki dengan: ___________________ +| Masalah | Jumlah Kasus | Penanganan | Justifikasi | +|---------|-------------|------------|-------------| +| *Contoh: Missing di kolom "label"* | *12 dari 500 (2.4%)* | *Listwise deletion* | *< 5%, distribusi random (MCAR)* | +| | | | | +| | | | | +| | | | | + +**Jumlah data sebelum cleaning:** ____ +**Jumlah data setelah cleaning:** ____ +**Persentase data yang hilang/berubah:** ____% + +--- + +## Latihan 2 — Normalisasi Decision + +Tentukan apakah data Anda perlu normalisasi, dan jika ya, metode apa yang tepat. + +| Variabel | Range Asli | Distribusi | Outlier? | Metode Normalisasi | Alasan | +|----------|-----------|-----------|----------|-------------------|--------| +| *Contoh: response_time* | *0.1 – 45.2s* | *Right-skewed* | *Ya (45.2s)* | *Robust scaling* | *Ada outlier, perlu robust* || *Contoh: accuracy_score* | *0.72 – 0.95* | *Normal, narrow* | *Tidak* | *Tidak perlu* | *Sudah dalam [0,1], metode berbasis distance tidak digunakan* || | | | | | | +| | | | | | | + +**Apakah normalisasi diperlukan?** [ ] Ya / [ ] Tidak +**Justifikasi:** +> ___________________________________________________ + +**Leakage check:** +- [ ] Parameter dihitung dari training set saja +- [ ] Normalisasi diterapkan setelah train-test split + +--- + +## Latihan 3 — Preprocessing Report + +Buat ringkasan preprocessing lengkap — dokumentasi yang cukup bagi orang lain untuk mereplikasi. + +``` +PREPROCESSING SUMMARY + +1. Dataset: ____________________ +2. Data awal: ____ records, ____ features +3. Cleaning: + - Missing values: ____ kasus, metode: ____ + - Duplikat: ____ kasus, tindakan: ____ + - Error: ____ kasus, tindakan: ____ +4. Transformation: ____________________ +5. Normalisasi: ____ (metode), parameter dari ____ +6. Data akhir: ____ records, ____ features +7. Leakage check: [ ] Lulus / [ ] Ada masalah +``` --- ## Refleksi -> *"Jika saya menghapus satu baris data — bisakah saya menjelaskan mengapa, dan apakah orang lain akan setuju?"* +> Apakah Anda pernah melakukan normalisasi "karena biasa dilakukan" tanpa mempertimbangkan apakah benar-benar diperlukan? Apa risiko over-preprocessing? -**Jawaban refleksi:** > ___________________________________________________ - ---- - +> ___________________________________________________ diff --git a/worksheets/ws-14-analysis-interpretation.md b/worksheets/ws-14-analysis-interpretation.md index f8a5a86..28e7723 100644 --- a/worksheets/ws-14-analysis-interpretation.md +++ b/worksheets/ws-14-analysis-interpretation.md @@ -1,75 +1,179 @@ -# WS-14: Analysis & Interpretation -> **Bab Terkait:** Bab 14 — Data Analysis, Interpretation & Failure Analysis -> **Tujuan:** Menganalisis data, menginterpretasi hasil, dan melakukan failure analysis -> **Referensi:** Lampiran B.14 | Template A.14 +# WS-14: Analysis, Interpretation & Failure Analysis + +> **Bab 14 — Analisis Data, Interpretasi & Failure Analysis** --- -## Latihan 1 — From Data to Decision +## Ringkasan Materi -### Statistik Deskriptif +### Data → Knowledge Model -| Metrik | Mean | Std Dev | Min | Max | Median | -|--------|------|---------|-----|-----|--------| -| | | | | | | -| | | | | | | +``` +Data → Analysis → Interpretation → Explanation → Knowledge +``` -### Uji Hipotesis +Tiga level yang berbeda: +- **Analysis** — "Apa yang terjadi?" (deskriptif + inferensial) +- **Interpretation** — "Apa artinya?" (konteks RQ + literatur) +- **Failure Analysis** — "Mengapa tidak berhasil?" (boundary conditions) -| Uji | Nilai Statistik | p-value | Keputusan | -|-----|----------------|---------|-----------| -| | | | [ ] Tolak H0 / [ ] Gagal tolak H0 | +### Beyond p-value -### Effect Size +**Statistical significance ≠ practical significance.** Selalu laporkan: +1. p-value (signifikansi statistik) +2. Effect size (besarnya efek) +3. Confidence interval (rentang ketidakpastian) -| Metrik | Effect Size | Kategori (small/medium/large) | -|--------|------------|------------------------------| -| | | | +| Effect Size (Cohen's d) | Interpretasi | +|-------------------------|-------------| +| < 0.2 | Small | +| 0.2 – 0.8 | Medium | +| > 0.8 | Large | -### Confidence Interval +### Pemilihan Uji Statistik -| Metrik | CI 95% | Interpretasi | -|--------|--------|-------------| -| | [ __ , __ ] | | +| Kondisi | Uji yang Tepat | +|---------|---------------| +| 2 grup, normal, paired | Paired t-test | +| 2 grup, non-normal | Wilcoxon signed-rank | +| > 2 grup, normal | One-way ANOVA + post-hoc | +| > 2 grup, non-normal | Kruskal-Wallis + post-hoc | +| 2 variabel kontinu | Pearson (normal) / Spearman (rank) | + +### Failure Analysis as Contribution + +Hipotesis yang ditolak adalah **temuan yang berharga**: + +| Dataset | New (F1) | Baseline (F1) | p-value | Cohen's d | +|---------|---------|--------------|---------|-----------| +| DS-1 (small, clean) | 94.2±1.1 | 89.3±1.5 | <0.001 | **3.7** | +| DS-4 (medium, noisy) | 78.3±3.2 | 82.1±2.8 | 0.008 | **-1.3** | +| DS-5 (large, noisy) | 71.6±4.1 | 80.5±3.0 | <0.001 | **-2.5** | + +**Insight:** Metode baru unggul di data bersih tapi gagal di data noisy → asumsi Gaussian dilanggar → **boundary condition** ditemukan → hybrid approach direkomendasikan. + +**Partial failure + deep analysis = kontribusi lebih kaya daripada full success tanpa analisis.** + +### Limitation Types + +| Jenis | Contoh | +|-------|--------| +| Internal validity | Confounders yang tidak dikontrol | +| External validity | Generalisasi ke domain lain | +| Construct validity | Metrik mengukur apa yang dimaksud? | +| Statistical limitation | Sample size, asumsi distribusi | + +### Jebakan Kognitif + +1. "Signifikan statistik = penting secara praktis" → cek effect size +2. "Hipotesis tidak didukung → cari sudut baru" → p-hacking +3. "Kegagalan tidak perlu dilaporkan detail" → missed insight +4. "Limitasi cukup disebutkan, tidak perlu dianalisis" → kedalaman hilang --- -## Latihan 2 — Beyond p-Value +## Template A.14 — Analysis & Interpretation Report + +``` +ANALYSIS & INTERPRETATION + +1. Statistik Deskriptif: + | Skenario | Mean | Std | Median | Min | Max | n | + |----------|------|-----|--------|-----|-----|---| + | | | | | | | | + +2. Uji Hipotesis: + Uji yang digunakan : ____________________ + Justifikasi : ____________________ + Hasil: p = ____, effect size (d/r/η²) = ____ + CI 95% : [____, ____] + +3. Keputusan: + [ ] H₀ ditolak → H₁ diterima + [ ] H₀ tidak ditolak + +4. Interpretasi: + Hubungan ke RQ : ____________________ + Practical significance: ____________________ + Perbandingan literatur: ____________________ + +5. Limitation: + | Jenis | Ancaman | Dampak | Mitigasi | + |-------|---------|--------|----------| + | | | | | + +6. Failure Analysis (jika H₀ tidak ditolak): + Penyebab potensial : ____________________ + Boundary condition : ____________________ + Insight : ____________________ +``` + +--- + +## Latihan 1 — Pemilihan Uji Statistik + +Tentukan uji statistik yang tepat untuk eksperimen Anda. | Pertanyaan | Jawaban | |-----------|---------| -| Arti praktis (bukan hanya statistik)? | | -| Apakah perbedaan cukup besar untuk bermakna? | | -| Bagaimana dibandingkan temuan di literatur? | | +| Berapa grup yang dibandingkan? | *Contoh: 3 (BERT, LSTM, SVM)* | +| Apakah data berpasangan (paired)? | | +| Apakah distribusi normal? (uji normalitas) | | +| **Uji yang dipilih:** | | +| **Justifikasi:** | | + +**Effect size yang akan dilaporkan:** [ ] Cohen's d / [ ] Eta-squared / [ ] Lainnya: ____ + +--- + +## Latihan 2 — Interpretasi Hasil + +Gunakan data berikut (atau data riil Anda) untuk berlatih interpretasi. + +**Data:** +| Model | Accuracy (mean ± std) | n | +|-------|----------------------|---| +| A | 89.2 ± 1.5 | 10 | +| B | 87.8 ± 2.1 | 10 | + +p = 0.045, Cohen's d = 0.74, CI 95% = [0.03, 2.77] + +| Aspek | Interpretasi | +|-------|-------------| +| Signifikansi statistik | *Contoh: p < 0.05 → signifikan pada α=0.05* | +| Effect size | *Contoh: d=0.74 → medium-to-large effect* | +| Practical significance | | +| Hubungan ke RQ | | +| Perbandingan literatur | | --- ## Latihan 3 — Failure Analysis -### Jika Hipotesis Ditolak: +Latih kemampuan failure analysis: hipotesis TIDAK didukung. Apa yang bisa dipelajari? + +**Skenario:** Metode baru Anda mendapat F1 = 83.2%, baseline = 84.7%. p = 0.12 (tidak signifikan). | Pertanyaan | Jawaban | |-----------|---------| -| Apakah ada boundary condition? | | -| Apakah kegagalan mengungkap insight baru? | | -| Apa yang bisa dipelajari? | | +| Apakah ini "gagal"? | *Contoh: Bukan gagal total — hipotesis tidak terdukung adalah temuan yang valid dan bisa menjadi kontribusi.* | +| Kemungkinan penyebab? | *Contoh: Metode baru menambah kompleksitas komputasi (+40% waktu) tanpa peningkatan F1 yang cukup — overhead tidak sebanding.* | +| Boundary condition? | *Contoh: Metode ini hanya efektif ketika data ≥ 10.000 record; di dataset kecil (<1.000), baseline lebih stabil.* | +| Insight yang bisa diambil? | *Contoh: Ada trade-off ukuran data vs kompleksitas — rekomendasikan hybrid approach yang adaptif berdasarkan ukuran dataset.* | +| Apakah layak dilaporkan? Mengapa? | *Contoh: Ya — negative result + boundary condition analysis adalah kontribusi riset yang diakui komunitas (ex: ACL, SIGIR). Mencegah riset duplikasi yang berulang.* | -### Jika Hipotesis Diterima: - -| Pertanyaan | Jawaban | -|-----------|---------| -| Limitation yang mengurangi kekuatan klaim? | | -| Apa yang tidak bisa disimpulkan? | | -| Perlu replikasi di konteks lain? | | +**Limitation terkait:** +| Jenis | Ancaman | Dampak | +|-------|---------|--------| +| *Contoh: Statistical* | *Contoh: Hanya 5 run per skenario* | *Power test rendah* | +| | | | +| | | | --- ## Refleksi -> *"p < 0.05 artinya apa secara konkret? Jika efeknya sangat kecil meski signifikan — apakah masih berarti?"* +> Apakah "failure" dalam riset benar-benar gagal, atau justru kontribusi? Bagaimana failure analysis mengubah cara Anda melihat hasil negatif? -**Jawaban refleksi:** > ___________________________________________________ - ---- - +> ___________________________________________________ diff --git a/worksheets/ws-15-scientific-writing.md b/worksheets/ws-15-scientific-writing.md index 0c17a94..6d3182a 100644 --- a/worksheets/ws-15-scientific-writing.md +++ b/worksheets/ws-15-scientific-writing.md @@ -1,91 +1,177 @@ -# WS-15: Scientific Writing -> **Bab Terkait:** Bab 15 — Scientific Writing -> **Tujuan:** Menyusun outline paper IMRAD, memeriksa konsistensi, dan melatih alur paragraf -> **Referensi:** Lampiran B.15 | Template A.15 +# WS-15: Scientific Writing + +> **Bab 15 — Penulisan Ilmiah** --- -## Latihan 1 — IMRAD Outline +## Ringkasan Materi -### Introduction -| # | Konten Utama | Target Kata | -|---|-------------|------------| -| 1 | | | -| 2 | | | -| 3 | | | +### Scientific Argument Flow -### Method -| # | Konten Utama | Target Kata | -|---|-------------|------------| -| 1 | | | -| 2 | | | -| 3 | | | +``` +Problem → Gap → RQ → Method → Result → Analysis → Conclusion → Contribution +``` -### Results -| # | Konten Utama | Target Kata | -|---|-------------|------------| -| 1 | | | -| 2 | | | -| 3 | | | +Paper ilmiah adalah **satu argumen utuh** dari masalah ke kontribusi. Setiap node harus terhubung logis ke node sebelum dan sesudahnya. -### Discussion -| # | Konten Utama | Target Kata | -|---|-------------|------------| -| 1 | | | -| 2 | | | -| 3 | | | +### Struktur IMRAD -### Conclusion -| # | Konten Utama | Target Kata | -|---|-------------|------------| -| 1 | | | -| 2 | | | +| Section | Peran | Pertanyaan Kunci | +|---------|-------|-----------------| +| **Introduction** | Motivasi + frame | Why is this needed? | +| **Method** | Deskripsi (reproducible) | How was it done? | +| **Results** | Laporan objektif | What was found? | +| **Discussion** | Interpretasi + refleksi | What does it mean? | +| **Conclusion** | Ringkasan + kontribusi | So what? | + +### Logical Flow — "Red Thread" + +Setiap paragraf menjawab satu pertanyaan dan memicu pertanyaan berikutnya. Alur logis ini harus terasa di tiga level: +1. **Antar-kalimat** dalam paragraf +2. **Antar-paragraf** dalam section +3. **Antar-section** dalam paper + +### Internal Consistency + +Setiap elemen yang dijanjikan di Introduction harus hadir di Discussion/Conclusion. + +**Consistency Matrix:** +``` + Intro Method Result Discuss Conclude +RQ1 ✓ ✓ ✓ ✓ ✓ +RQ2 ✓ ✓ ✓ ✗ ← ✓ +Metrik-X ✗ ✗ ✓ ← ✗ ✗ +``` +**Masalah:** RQ2 dibahas di semua bagian kecuali Discussion. Metrik-X muncul di Result tapi tidak diperkenalkan di Method. + +### Writing Quality Triad + +| Kualitas | Deskripsi | Contoh Buruk → Baik | +|----------|----------|---------------------| +| **Clarity** | Dipahami sekali baca | "Performa meningkat" → "Accuracy meningkat dari 85.3% ke 89.7%" | +| **Precision** | Istilah eksak, tanpa ambiguitas | "signifikan" → "signifikan secara statistik (p=0.003, d=1.2)" | +| **Conciseness** | Setiap kata menambah informasi | Hapus kalimat redundan, filler words | + +### Urutan Penulisan yang Disarankan + +1. **Method & Results** — paling stabil, tulis pertama +2. **Discussion** — interpretasi berdasarkan hasil +3. **Introduction** — frame sesuai temuan aktual +4. **Abstract & Conclusion** — terakhir + +### Target Jumlah Kata + +| Section | Target | +|---------|--------| +| Introduction | 500–700 | +| Related Work | 700–1000 | +| Method | 800–1200 | +| Results | 500–800 | +| Discussion | 600–900 | +| Conclusion | 200–400 | + +### Jebakan Kognitif + +1. "Lebih panjang = lebih lengkap" → conciseness lebih berharga +2. "Introduction harus ditulis pertama" → justru ditulis terakhir +3. "Jargon teknis = lebih ilmiah" → clarity lebih penting +4. "Discussion = ringkasan Results" → Discussion = interpretasi + konteks + +--- + +## Template A.15 — Paper Structure Checklist + +``` +PAPER STRUCTURE CHECKLIST + +Title : ____________________ +Target : [ ] Jurnal [ ] Konferensi [ ] Laporan + +Section Check: + [ ] Abstract — masalah, metode, hasil utama, kontribusi (max 250 kata) + [ ] Introduction — konteks → gap → RQ → kontribusi → struktur paper + [ ] Related Work — concept-centric, gap positioning + [ ] Method — reproducible: desain, variabel, metrik, setup, prosedur + [ ] Results — tabel + grafik + observasi (tanpa interpretasi) + [ ] Discussion — interpretasi, perbandingan, implikasi, limitation + [ ] Conclusion — jawaban RQ, kontribusi, future work + +Consistency Matrix: + [ ] RQ di Introduction = RQ di Method = RQ di Conclusion + [ ] Variabel di Method = variabel di Results + [ ] Klaim di Discussion didukung data di Results + [ ] Limitasi di Discussion di-address di Conclusion/Future Work + +Writing Quality: + [ ] Clarity — mudah dipahami tanpa re-read + [ ] Precision — tidak ada istilah ambigu + [ ] Conciseness — tidak ada kalimat redundan +``` + +--- + +## Latihan 1 — Paper Outline + +Buat outline paper untuk riset Anda menggunakan struktur IMRAD. + +| Section | Konten Utama (2-3 kalimat) | Target Kata | +|---------|---------------------------|------------| +| Abstract | *Contoh: Sistem rekomendasi memiliki akurasi tinggi tapi satisfaction rendah. Studi ini menguji CF+context signal. Hasil: satisfaction naik 38% tanpa penurunan RMSE signifikan.* | 200-250 | +| Introduction | *Contoh: Konteks: gap antara akurasi dan kepuasan pengguna. Gap: tidak ada studi yang mengkombinasikan CF+context. RQ: apakah CF+context meningkatkan satisfaction?* | 500-700 | +| Related Work | | 700-1000 | +| Method | | 800-1200 | +| Results | | 500-800 | +| Discussion | | 600-900 | +| Conclusion | | 200-400 | --- ## Latihan 2 — Consistency Matrix -| RQ | Introduction | Method | Results | Discussion | Conclusion | -|----|-------------|--------|---------|-----------|-----------| +Buat consistency matrix untuk memverifikasi internal consistency paper Anda. + +| | Intro | Method | Result | Discussion | Conclusion | +|--|-------|--------|--------|-----------|-----------| +| *Contoh: RQ1* | *✓* | *✓* | *✓* | *✓* | *✓* | +| *Contoh: Metrik-X* | *✗ ←* | *✗ ←* | *✓* | *✗ ←* | *✗ ←* | | RQ1 | | | | | | -| RQ2 (jika ada) | | | | | | +| RQ2 | | | | | | +| Metrik utama | | | | | | +| Variabel IV | | | | | | +| Variabel DV | | | | | | +| Klaim/kontribusi | | | | | | + +**Isi setiap sel:** ✓ (ada & konsisten), ✗ (missing), ~ (ada tapi inkonsisten) **Inkonsistensi yang ditemukan:** > ___________________________________________________ -**Perbaikan:** +**Tindakan perbaikan:** > ___________________________________________________ --- -## Latihan 3 — Paragraph-Level Flow +## Latihan 3 — Writing Quality Check -**Section yang dipilih:** Discussion +Ambil satu paragraf dari tulisan Anda (atau tulis paragraf baru) dan evaluasi kualitasnya. -**Paragraf 1:** -> Kalimat topik: ________________________________________ -> Bukti pendukung: ______________________________________ -> Transisi ke paragraf 2: ________________________________ +**Paragraf asli:** +> (tempel paragraf Anda di sini) -**Paragraf 2:** -> Kalimat topik: ________________________________________ -> Bukti pendukung: ______________________________________ -> Transisi ke paragraf 3: ________________________________ +| Kriteria | Evaluasi | Perbaikan | +|----------|---------|-----------| +| Clarity | *Contoh: kalimat ke-3 ambigu — "performa" bisa berarti accuracy atau speed* | *Ubah menjadi: "accuracy meningkat..."* | +| Precision | | | +| Conciseness | | | -**Paragraf 3:** -> Kalimat topik: ________________________________________ -> Bukti pendukung: ______________________________________ - -**Evaluasi flow:** [ ] Logis / [ ] Perlu perbaikan transisi +**Paragraf setelah perbaikan:** +> (tulis paragraf yang sudah diperbaiki) --- ## Refleksi -> *"Jika saya membaca paper saya sebagai reviewer yang skeptis — di mana saya akan berhenti dan berkata 'ini tidak convincing'?"* +> Apa perbedaan antara menulis "tentang" riset dan menulis sebagai "argumen" riset? Bagaimana urutan penulisan (Method → Discussion → Introduction) mengubah kualitas tulisan? -**Jawaban refleksi:** > ___________________________________________________ - ---- - +> ___________________________________________________ diff --git a/worksheets/ws-16-presentation-defense.md b/worksheets/ws-16-presentation-defense.md index 9488819..40392bd 100644 --- a/worksheets/ws-16-presentation-defense.md +++ b/worksheets/ws-16-presentation-defense.md @@ -1,72 +1,177 @@ -# WS-16: Presentation & Defense -> **Bab Terkait:** Bab 16 — Presentation & Defense -> **Tujuan:** Menyusun slide deck, mempersiapkan anticipatory defense, dan berlatih presentasi -> **Referensi:** Lampiran B.16 | Template A.16 +# WS-16: Presentation & Defense (UAS) + +> **Bab 16 — Presentasi & Pertahanan Ilmiah** --- -## Latihan 1 — Slide Deck +## Ringkasan Materi -Prinsip: 1 slide = 1 pesan, visual > text, build progression. +### Scientific Defense Model -| Slide # | Judul | Pesan Utama | Visual/Data | -|---------|-------|------------|------------| -| 1 | Title & Context | | | -| 2 | Problem & Gap | | | -| 3 | Research Question | | | -| 4 | Method Overview | | | -| 5 | System Architecture | | | -| 6 | Experiment Design | | | -| 7 | Result — Tabel | | | -| 8 | Result — Grafik | | | -| 9 | Analysis & Interpretation | | | -| 10 | Discussion & Limitation | | | -| 11 | Conclusion & Contribution | | | -| 12 | Future Work | | | +``` +Research Work → Presentation → Questioning → Defense → Evaluation → Acceptance +``` -**Total slide konten:** _________________________________ +### Presentasi ≠ Ringkasan Paper + +| Paper | Presentasi | +|-------|-----------| +| Dibaca (self-paced) | Didengar (presenter-paced) | +| Detail lengkap | Ide kunci + highlight | +| Tabel numerik detail | Grafik visual + angka kunci | +| Pembaca bisa re-read | Audiens dengar sekali | + +**Prinsip:** Presentasi membutuhkan **reformulasi**, bukan kompresi. Medium berbeda = pendekatan berbeda. + +### Claim-Evidence-Reasoning (CER) + +Setiap jawaban defense harus memiliki: +1. **Claim** — Pernyataan yang dijawab +2. **Evidence** — Data/fakta pendukung +3. **Reasoning** — Logika yang menghubungkan evidence ke claim + +**Contoh:** +| Pertanyaan | Bad Answer | Good Answer (CER) | +|-----------|-----------|-------------------| +| "Kenapa hanya 3 dataset?" | "Tiga sudah cukup" | "3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy [E]. Generalisasi perlu validasi lanjut — listed as limitation [R]" | +| "Hasil DS-3 menurun?" | "Itu outlier" | "Ya, karena distribusi heavy-tail melanggar asumsi Gaussian [E]. Ini menunjukkan boundary condition metode [R]" | +| "Effect size?" | "p=0.003, jadi signifikan" | "Cohen's d=1.2 (large effect) [E] — bukan hanya signifikan tapi substansial [R]" | + +### Slide Design — One Slide, One Message + +**Optimal 9-Slide Plan (15 menit):** + +| # | Slide | Waktu | Pesan | +|---|-------|-------|-------| +| 1 | Title + context | 1 min | Apa ini tentang apa | +| 2 | Problem + motivation | 2 min | Mengapa penting | +| 3 | Gap + RQ | 1.5 min | Apa yang belum terjawab | +| 4 | Method overview | 2 min | Bagaimana dijawab (diagram) | +| 5 | Key result — tabel | 2 min | Temuan utama | +| 6 | Key result — grafik | 2 min | Pola visual | +| 7 | Interpretation + failure | 2 min | Apa artinya | +| 8 | Limitation + future | 1.5 min | Batasan & arah | +| 9 | Conclusion + contribution | 1 min | Closing message | + +### Anticipatory Defense + +Prediksi pertanyaan berdasarkan kategori: + +| Kategori | Contoh Pertanyaan | +|---------|------------------| +| Problem | "Mengapa masalah ini penting?" | +| Gap | "Bagaimana dengan studi X yang sudah menjawab ini?" | +| Method | "Mengapa metode ini, bukan Y?" | +| Results | "Bagaimana menjelaskan anomali di DS-3?" | +| Generalization | "Apakah bisa diterapkan di domain lain?" | + +### Tiga Prinsip Jawaban + +1. **Direct** — Jawab dulu, elaborasi kemudian +2. **Data-based** — Tunjuk evidence spesifik +3. **Honest** — Akui limitasi jika memang ada + +### Jebakan Kognitif + +1. "Presentasi = semua yang ada di paper" → terlalu padat +2. "Slide cantik = presentasi bagus" → konten > estetika +3. "Tidak bisa jawab = gagal" → "I don't know, but..." menunjukkan kejujuran +4. "Tidak perlu latihan — saya paham riset saya" → latihan = menemukan celah + +--- + +## Template A.16 — Defense Preparation Sheet + +``` +DEFENSE PREPARATION + +Slide Deck Plan: + Total slides : ____ (target: 10-12 konten + title/closing) + Time per slide : ~2 min + Total time : ____ menit + +Slide Outline: +| # | Pesan Utama | Visual | Waktu | +|---|-------------|--------|-------| +| 1 | Title | | 30s | +| 2 | Problem | | 2min | +| 3 | Gap + RQ | | 2min | +| ..| | | | + +Anticipatory Defense Matrix: +| Kategori | Pertanyaan Potensial | Jawaban (CER) | +|----------|---------------------|---------------| +| Problem | | | +| Gap | | | +| Method | | | +| Results | | | +| Generalization | | | + +Latihan: + Latihan 1: [tanggal] — [catatan timing & feedback] + Latihan 2: [tanggal] — [catatan timing & feedback] + Latihan 3: [tanggal] — [catatan timing & feedback] +``` + +--- + +## Latihan 1 — Slide Outline + +Rencanakan presentasi 15 menit untuk riset Anda. + +| # | Pesan Utama | Visual yang Digunakan | Waktu | +|---|-------------|----------------------|-------| +| 1 | *Contoh: Judul + konteks — rekomendasi vs kepuasan* | *Title slide, gambar sistem* | *1 min* | +| 2 | *Contoh: Problem — RMSE tinggi tapi satisfaction rendah (45/100)* | *Bar chart: satisfaction vs RMSE per sistem* | *2 min* | +| 3 | *Contoh: Gap + RQ — belum ada CF+context untuk satisfaction* | *Tabel gap literatur* | *1.5 min* | +| 4 | | | | +| 5 | | | | +| 6 | | | | +| 7 | | | | +| 8 | | | | +| 9 | | | | + +**Total waktu estimasi:** ____ menit --- ## Latihan 2 — Anticipatory Defense -Gunakan framework CER: Claim-Evidence-Reasoning. +Prediksi 5 pertanyaan yang mungkin diajukan penguji, lalu siapkan jawaban CER. -| Kategori | Pertanyaan Potensial | Claim | Evidence | Reasoning | -|----------|---------------------|-------|---------|-----------| -| Problem | | | | | -| Gap | | | | | -| Method | | | | | -| Results | | | | | -| Generalization | | | | | +| # | Kategori | Pertanyaan | Claim | Evidence | Reasoning | +|---|----------|-----------|-------|----------|-----------| +| 1 | *Problem* | *Contoh: Mengapa fokus kepuasan, bukan akurasi?* | *Akurasi tinggi tidak menjamin kepuasan* | *Survey: 45/100 satisfaction meski RMSE 0.87* | *Gap antara metrik teknis dan pengalaman pengguna* | +| 2 | *Method* | *Contoh: Mengapa hanya 3 dataset?* | *3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy* | *Tabel karakteristik dataset di Bab Method* | *Generalisasi perlu validasi lanjut — tercatat sebagai limitasi* | +| 3 | | | | | | +| 4 | | | | | | +| 5 | | | | | | --- -## Latihan 3 — Presentasi & Feedback +## Latihan 3 — Simulasi Q&A -**Durasi presentasi:** __________________________________ -**Audience:** ___________________________________________ +Minta teman/kolega mengajukan 3 pertanyaan tentang riset Anda. Catat pertanyaan dan evaluasi jawaban Anda. -| Aspek | Feedback | Perbaikan | -|-------|---------|----------| -| Timing | | | -| Kejelasan narasi | | | -| Slide yang membingungkan | | | -| Pertanyaan dari audience | | | +| # | Pertanyaan | Jawaban Saya | Evaluasi | +|---|-----------|-------------|---------|| *1* | *Contoh: "Mengapa tidak membandingkan dengan metode Y?"* | *Contoh: "Karena Y memerlukan dataset labeled yang tidak tersedia. Disebutkan sebagai limitasi di halaman X."* | *[✓] Direct [✓] Data-based [✓] Honest* || 1 | | | [ ] Direct [ ] Data-based [ ] Honest | +| 2 | | | [ ] Direct [ ] Data-based [ ] Honest | +| 3 | | | [ ] Direct [ ] Data-based [ ] Honest | -**Elevator pitch (2 menit, tanpa slide):** -> ___________________________________________________ +**Pertanyaan yang paling sulit dijawab:** > ___________________________________________________ + +**Apa yang perlu disiapkan lebih baik:** > ___________________________________________________ --- ## Refleksi -> *"Bisakah saya menjelaskan inti riset saya dalam 2 menit tanpa slide — dan tetap meyakinkan?"* +> Dari seluruh proses WS-01 sampai WS-16 — dari paradigma riset hingga presentasi — bagian mana yang paling mengubah cara Anda berpikir tentang riset? Apa satu hal yang akan selalu Anda terapkan di riset berikutnya? -**Jawaban refleksi:** +**Insight terbesar:** > ___________________________________________________ ---- - +**Yang akan selalu diterapkan:** +> ___________________________________________________