feat: rewrite all 16 worksheets with full learning material

Each worksheet now includes Ringkasan Materi, Template A.x,
3 exercises with example answers, and reflection prompts.
Synced from rti-20252 student repo.

worksheets/ws-01-distorsi-paradigma.md

@@ -1,7 +1,78 @@
 # WS-01: Distorsi & Paradigma
-> **Bab Terkait:** Bab 1 — Research Mindset in IT
+
-> **Tujuan:** Mengidentifikasi potensi distorsi dalam rantai riset dan menentukan posisi paradigma
+> **Bab 1 — Research Mindset in IT**
-> **Referensi:** Lampiran B.1 | Template A.1
+
+---
+
+## Ringkasan Materi
+
+### Research Trust Model
+
+Pengetahuan ilmiah tidak muncul langsung dari kenyataan. Ia melewati **6 tahap transformasi** yang masing-masing rawan distorsi:
+
+```
+Reality → Data → Processing → Analysis → Inference → Knowledge
+```
+
+Etika mencegah distorsi yang disengaja (fabrikasi, cherry-picking). Validitas mendeteksi distorsi yang tidak disengaja (confounding variable, sampling bias).
+
+### Tiga Jenis Validitas
+
+| Jenis | Pertanyaan | Contoh Ancaman |
+|-------|-----------|----------------|
+| **Internal Validity** | Apakah hubungan kausal benar ada? | Confounding variable |
+| **External Validity** | Apakah bisa digeneralisasi? | Dataset terlalu homogen |
+| **Construct Validity** | Apakah mengukur hal yang benar? | Metrik tidak sesuai klaim |
+
+### Paradigma Riset
+
+Mata kuliah ini menggunakan pendekatan **Positivist** (fenomena TI bisa diukur objektif melalui eksperimen terkontrol) diperkuat **Design Science Research** (artefak dibuat sebagai instrumen pengujian hipotesis, bukan tujuan akhir).
+
+### Mode Berpikir Peneliti
+
+**Curious** (mempertanyakan fenomena) → **Critical** (mengevaluasi klaim berdasarkan bukti) → **Systematic** (merancang investigasi terstruktur dan reproducible).
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan | Membuat sistem yang bekerja | Menghasilkan pengetahuan yang valid |
+| Pertanyaan khas | "Bagaimana membuatnya jalan?" | "Apakah klaim ini benar?" |
+| Ukuran sukses | Sistem berfungsi, client puas | Hipotesis terjawab, temuan tervalidasi |
+| Kegagalan | Harus dihindari | Harus dilaporkan (negative result = kontribusi) |
+
+### Istilah Penting
+
+- **Research Mindset** — Pola pikir yang menuntut bukti dan mempertanyakan asumsi
+- **Research Ethics** — Prinsip perilaku: kejujuran, objektivitas, keterbukaan, akuntabilitas
+- **HARKing** — Hypothesizing After Results are Known — merumuskan hipotesis setelah melihat data
+- **Falsifiability** — Hipotesis harus bisa dibuktikan salah
+
+---
+
+## Template A.1 — Research Mindset Self-Assessment
+
+```
+Nama Peneliti    : ____________________
+Tanggal          : ____________________
+
+1. Ketika membaca klaim "metode X 95% akurat":
+   - Pertanyaan pertama saya: ____________________
+   - Data yang dibutuhkan untuk verifikasi: ____________________
+
+2. Posisi paradigma:
+   - Pendekatan: [ ] Positivis  [ ] Interpretivis  [ ] Design Science  [ ] Mixed
+   - Alasan: ____________________
+
+3. Identifikasi distorsi:
+   - Asumsi tersembunyi: ____________________
+   - Sumber bias potensial: ____________________
+   - Langkah mitigasi: ____________________
+
+4. Komitmen etika:
+   - Data yang tidak akan dimanipulasi: ____________________
+   - Batasan yang diakui sejak awal: ____________________
+```
 
 ---
 
@@ -15,7 +86,7 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor
 
 | Tahap | Apa yang Dilakukan | Potensi Distorsi |
 |-------|-------------------|-----------------|
-| Reality → Data | | |
+| Reality → Data | *Contoh: Kumpulkan log server 30 hari* | *Contoh: Hanya ambil jam sibuk* |
 | Data → Processing | | |
 | Processing → Analysis | | |
 | Analysis → Inference | | |
@@ -33,11 +104,9 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor
 
 Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, hasil eksperimennya menjadi signifikan. Dengan outlier, hasilnya tidak signifikan.
 
-**Apa yang seharusnya dilakukan?**
-
 | Perspektif | Analisis |
 |------------|---------|
-| Kejujuran ilmiah | |
+| Kejujuran ilmiah | *Contoh: Laporkan kedua versi (dengan dan tanpa outlier)* |
 | Transparansi | |
 | Peer review | |
 
@@ -52,7 +121,7 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha
 
 | Kriteria | Positivis | Interpretivis | Design Science |
 |----------|-----------|---------------|----------------|
-| Kesesuaian dengan topik (1–5) | | | |
+| Kesesuaian dengan topik (1–5) | *Contoh: 4* | *Contoh: 2* | *Contoh: 5* |
 | Jenis data yang dikumpulkan | | | |
 | Limitasi paradigma | | | |
 
@@ -63,47 +132,8 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha
 
 ## Refleksi
 
-> *"Sebelum membaca bab ini, apakah saya pernah mempertanyakan klaim '95% akurat'? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan saya ajukan?"*
+> Sebelum membaca materi ini, apakah pernah mempertanyakan klaim "95% akurat"? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan diajukan saat membaca paper?
 
-**Jawaban refleksi:**
+**Jawaban:**
 > ___________________________________________________
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 1 — Research Mindset in IT -->
-
----
-
-## Bagian 2 — Masalah
-
-**Apa masalahnya?**
-> [Tulis masalah spesifik, bukan keluhan umum]
-
-**Siapa yang terdampak?**
-> [Stakeholder]
-
-**Apa akibatnya jika tidak diselesaikan?**
-> [Impact]
-
----
-
-## Bagian 3 — Problem Statement
-
-**Versi 1 (draft):**
-> [Tulis problem statement pertama]
-
-**Versi 2 (refined):**
-> [Perbaiki setelah review]
-
----
-
-## Checklist Validasi
-- [ ] Spesifik (bukan terlalu luas)
-- [ ] Measureable (bisa diukur)
-- [ ] Relevan dengan bidang TI/SE
-- [ ] Feasible (bisa diselesaikan dalam scope riset)
-- [ ] Bukan sekedar "implementasi sistem"
-
----
-
-<!-- Template ini akan di-expand saat Bab 2 selesai ditulis -->

worksheets/ws-02-problem-statement.md

@@ -1,71 +1,163 @@
-# WS-02: Problem Statement
+# WS-02: Problem Statement
-> **Bab Terkait:** Bab 2 — Problem Formulation & System Context
+
-> **Tujuan:** Merumuskan problem statement yang tajam dan terukur
+> **Bab 2 — Problem Formulation & System Context**
-> **Referensi:** Lampiran B.2 | Template A.2
 
 ---
 
-## Refleksi 1 — Masalah atau Solusi?
+## Ringkasan Materi
 
-**Topik riset dalam satu kalimat:**
+### Problem Formation Model
-> ___________________________________________________
 
-**Apakah ini masalah riset atau solusi yang disamarkan sebagai masalah?**
+Masalah riset melewati 5 tahap transformasi. Melompat langsung dari Reality ke Variable adalah kesalahan paling umum.
-- [ ] Masalah riset
-- [ ] Solusi yang disamarkan
 
-**Jika solusi — mundur satu langkah. Masalah yang mendasari:**
+```
-> ___________________________________________________
+Reality → Observed Issue (Symptom) → Diagnosed Problem (Root Cause)
+→ Researchable Problem (Scoped) → Measurable Variable (Operationalized)
+```
+
+### Topic ≠ Problem ≠ Research Problem
+
+| Level | Contoh | Status |
+|-------|--------|--------|
+| **Topik** | Keamanan IoT | Terlalu luas, tidak bisa diuji |
+| **Problem** | MQTT tidak terenkripsi | Spesifik tapi belum riset |
+| **Research Problem** | Belum ada studi membandingkan overhead TLS 1.3 vs DTLS pada MQTT di IoT RAM < 64KB | Bisa dirancang eksperimennya |
+
+### Symptom vs Root Cause
+
+Apa yang diamati (gejala) ≠ mengapa terjadi (akar masalah). Gunakan **5 Whys** atau **Fishbone Diagram** untuk menggali.
+
+Contoh: "User meninggalkan checkout" (symptom) → "Waktu loading > 8 detik karena API call sequential" (root cause).
+
+### System Thinking
+
+Setiap masalah riset TI harus terikat pada komponen sistem: **Input → Process → Output → Outcome → Constraints → Stakeholders**.
+
+### Problem Quality Check
+
+Masalah riset yang layak harus memenuhi 5 kriteria:
+- **Clarity** — Satu orang membaca akan paham
+- **Measurability** — Ada metrik kuantitatif
+- **Relevance** — Penting untuk domain
+- **Testability** — Bisa gagal (falsifiable)
+- **Impact** — Ada kontribusi jika terjawab
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan | Menyelesaikan masalah (*solve*) | Memahami dan membuktikan (*understand & prove*) |
+| Masalah | Bug, error, fitur belum ada | Gap dalam pengetahuan |
+| Scope | Selesaikan semua yang perlu | Batasi agar bisa dibuktikan |
+| Output | Working system | Evidence, paper, replicable findings |
+
+### Istilah Penting
+
+- **Problem Statement** — Formulasi tertulis: konteks sistem + gap + dampak + justifikasi
+- **System Context** — Deskripsi lengkap: input, proses, output, outcome, constraints, stakeholders
+- **Problem Drift** — Masalah "bermutasi" dari pendahuluan ke metodologi karena statement awal tidak presisi
+- **Solution-First Thinking** — Memulai dari solusi tanpa masalah yang jelas — berbahaya dalam riset
+- **Operational Definition** — Definisi variabel yang cukup jelas agar peneliti lain bisa mengukur hal yang sama
 
 ---
 
-## Refleksi 2 — System Context
+## Template A.2 — Problem Statement Builder
+
+```
+PROBLEM STATEMENT BUILDER
+
+Domain & Konteks
+  Domain   : ____________________
+  Konteks  : ____________________
+
+System Context
+  Input       : ____________________
+  Process     : ____________________
+  Output      : ____________________
+  Outcome     : ____________________
+  Constraints : ____________________
+  Stakeholders: ____________________
+
+Fenomena → Problem
+  Fenomena yang diamati             : ____________________
+  Gejala (symptom) yang terukur     : ____________________
+  Masalah yang didiagnosis          : ____________________
+  Masalah riset (researchable)      : ____________________
+  Variabel yang terukur             : ____________________
+
+Problem Quality Check
+  [ ] Clarity — Apakah satu orang membaca akan paham?
+  [ ] Measurability — Apakah ada metrik kuantitatif?
+  [ ] Relevance — Apakah penting untuk domain?
+  [ ] Testability — Apakah bisa gagal?
+  [ ] Impact — Apakah ada kontribusi jika terjawab?
+
+Problem Statement (1 paragraf):
+  ____________________
+```
+
+---
+
+## Latihan 1 — Dari Topik ke Masalah Riset
+
+Pilih satu topik di bidang TI yang diminati. Transformasikan melalui 5 tahap Problem Formation Model.
+
+**Topik awal:** ________________________________________
+
+| Tahap | Hasil |
+|-------|-------|
+| Reality | *Contoh: Aplikasi e-commerce sering ditinggalkan saat checkout* |
+| Observed Issue (Symptom) | *Contoh: Bounce rate checkout 68%* |
+| Diagnosed Problem (Root Cause) | |
+| Researchable Problem | |
+| Measurable Variable | |
+
+**Apakah terjebak solution-first thinking?** [ ] Ya / [ ] Tidak
+> Jika ya, kembali ke tahap mana? ________________________
+
+---
+
+## Latihan 2 — System Context Decomposition
+
+Gambarkan konteks sistem dari masalah riset di Latihan 1.
 
 | Komponen | Deskripsi |
 |----------|----------|
-| Input | |
+| Input | *Contoh: Request HTTP dari browser pengguna* |
 | Process | |
 | Output | |
 | Outcome | |
 | Constraints | |
 | Stakeholders | |
 
-**Komponen yang paling sulit diisi:** ______________________
+**Komponen mana yang paling relevan dengan masalah riset?** _______________
-**Mengapa:** ___________________________________________
 
 ---
 
-## Praktis 1 — Problem Formation Model
+## Latihan 3 — Problem Quality Check
 
-| Tahap | Isian |
+Evaluasi problem statement yang sudah dibuat menggunakan 5 kriteria.
-|-------|-------|
-| Reality | |
-| Symptom | |
-| Diagnosed Problem | |
-| Researchable Problem | |
-| Measurable Variable | |
 
----
+| Kriteria | Skor (1-5) | Justifikasi |
-
+|----------|-----------|-------------|
-## Praktis 2 — Problem Quality Evaluation
+| Clarity | *Contoh: 4 — cukup jelas tapi perlu spesifikasi dataset* | |
-
-| Kriteria | Skor (1–5) | Catatan |
-|----------|-----------|--------|
-| Clarity | | |
 | Measurability | | |
 | Relevance | | |
 | Testability | | |
 | Impact | | |
 
-**Skor rekan (independen):**
+**Skor total:** _____ / 25
 
-| Kriteria | Skor Sendiri | Skor Rekan | Selisih |
+**Problem statement versi final (1 paragraf):**
-|----------|-------------|-----------|---------|
+> ___________________________________________________
-| Clarity | | | |
+> ___________________________________________________
-| Measurability | | | |
-| Relevance | | | |
-| Testability | | | |
-| Impact | | | |
 
 ---
-<!-- Worksheet dari Bab 2 — Problem Formulation & System Context -->
+
+## Refleksi
+
+> Bandingkan "masalah" yang biasa ditemui saat coding (bug, error) dengan masalah riset. Apa perbedaan fundamental dalam cara mendefinisikan dan mendekati keduanya?
+
+**Jawaban:**
+> ___________________________________________________
+> ___________________________________________________

worksheets/ws-03-literature-gap.md

@@ -1,26 +1,118 @@
-# WS-03: Literature Mapping & Gap
+# WS-03: Literature Mapping & Gap
-> **Bab Terkait:** Bab 3 — Literature Review, Research Gap & Baseline
+
-> **Tujuan:** Memetakan literatur secara sistematis dan mengidentifikasi gap
+> **Bab 3 — Literature Review, Research Gap & Baseline**
-> **Referensi:** Lampiran B.3 | Template A.3
+
+---
+
+## Ringkasan Materi
+
+### Literature Review = Positioning, Bukan Ringkasan
+
+Literature review bukan merangkum paper satu per satu. Pendekatan yang benar adalah **concept-centric** — organisasi berdasarkan tema, metode, atau variabel. Tujuan: menemukan **pola, kontradiksi, dan gap**.
+
+### Empat Jenis Research Gap
+
+| Jenis Gap | Deskripsi | Contoh |
+|-----------|----------|--------|
+| **Performance Gap** | Performa belum memadai | Akurasi deteksi hanya 78% pada kasus tertentu |
+| **Method Gap** | Pendekatan belum diterapkan | Belum ada yang pakai transformer untuk task ini |
+| **Data Gap** | Dataset terbatas/tidak representatif | Semua studi pakai dataset sintetis |
+| **Context Gap** | Belum diuji pada konteks berbeda | Belum ada evaluasi di negara berkembang |
+
+Gap terkuat = kombinasi 2+ jenis.
+
+### Systematic Search Strategy
+
+1. **Database**: IEEE Xplore, ACM DL, Scopus, Google Scholar
+2. **Boolean query** yang terdokumentasi eksplisit
+3. **Snowballing**: backward (telusuri referensi) + forward (cari yang mengutip)
+4. Klaim "belum ada penelitian" harus didukung **bukti pencarian**
+
+### Baseline Selection — 3 Kriteria
+
+| Kriteria | Pertanyaan |
+|----------|-----------|
+| **Relevan** | Apakah menyelesaikan masalah yang sama? |
+| **Representatif** | Apakah mewakili common practice? |
+| **State-of-the-Art** | Apakah terbaru/terbaik? |
+
+Membandingkan deep learning 2024 dengan decision tree sederhana tanpa justifikasi = **straw man comparison** (perbandingan tidak jujur).
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan baca literatur | Mencari solusi yang sudah ada | Memahami apa yang belum terjawab |
+| Cara membaca paper | Tutorial, how-to | Metode, limitasi, gap |
+| Baseline | Framework terpopuler | State-of-the-art yang rigorous |
+| Dokumentasi pencarian | Tidak diperlukan | Wajib (reproducible) |
+
+### Istilah Penting
+
+- **Concept-centric** — Organisasi literatur berdasarkan konsep/metode, bukan per penulis
+- **Snowballing** — Backward (telusuri referensi) + Forward (cari yang mengutip paper kunci)
+- **Research Position** — Pernyataan eksplisit posisi riset terhadap studi sebelumnya
+- **Straw man comparison** — Memilih baseline lemah agar metode sendiri terlihat lebih baik
+
+---
+
+## Template A.3 — Literature Mapping & Gap Identification
+
+```
+LITERATURE MAPPING
+
+Topik      : ____________________
+Database   : ____________________
+Query      : ____________________
+Tahun      : ____________________
+Hasil awal : ____ paper → Screening → ____ paper final
+
+Literature Matrix (concept-centric):
+
+| Study | Tahun | Method | Data | Result | Limitation |
+|-------|-------|--------|------|--------|------------|
+|       |       |        |      |        |            |
+
+Pola yang ditemukan:
+  Metode dominan     : ____________________
+  Dataset umum       : ____________________
+  Limitasi berulang  : ____________________
+
+GAP IDENTIFICATION
+
+Gap 1: [Jenis: performance / method / data / context]
+  Deskripsi    : ____________________
+  Bukti        : ____________________
+  Signifikansi : ____________________
+
+Gap 2: [Jenis: ____]
+  Deskripsi    : ____________________
+  Bukti        : ____________________
+  Signifikansi : ____________________
+
+Baseline Selection:
+| Baseline | Relevansi | Representatif | Source |
+|----------|-----------|---------------|--------|
+|          |           |               |        |
+```
 
 ---
 
 ## Latihan 1 — Concept-Centric Literature Table
 
-**Topik riset:** ________________________________________
+Gunakan topik riset dari WS-02. Cari minimal 5 paper relevan menggunakan Google Scholar atau database lain.
 
-| # | Study | Method | Dataset | Result | Limitasi |
+**Topik riset:** ________________________________________
-|---|-------|--------|---------|--------|----------|
+**Query pencarian:** ____________________________________
-| 1 | | | | | |
+**Database:** ___________________________________________
-| 2 | | | | | |
+
-| 3 | | | | | |
+| # | Study | Tahun | Method | Dataset | Result | Limitasi |
-| 4 | | | | | |
+|---|-------|-------|--------|---------|--------|----------|
-| 5 | | | | | |
+| 1 | *Contoh: Rahman et al.* | *2023* | *CNN* | *ImageNet subset* | *Acc 91%* | *Hanya 3 kelas* |
-| 6 | | | | | |
+| 2 | | | | | | |
-| 7 | | | | | |
+| 3 | | | | | | |
-| 8 | | | | | |
+| 4 | | | | | | |
-| 9 | | | | | |
+| 5 | | | | | | |
-| 10 | | | | | |
 
 **Pola yang terlihat — Metode dominan:** ___________________
 **Limitasi yang berulang:** ______________________________
@@ -29,39 +121,39 @@
 
 ## Latihan 2 — Gap Identification
 
+Berdasarkan tabel di Latihan 1, identifikasi gap.
+
 | Jenis Gap | Ditemukan? | Gap Statement |
 |-----------|-----------|---------------|
-| Performance Gap | [ ] Ya / [ ] Tidak | |
+| Performance Gap | [ ] Ya / [ ] Tidak | *Contoh: Akurasi turun di bawah 80% untuk kelas minoritas* |
 | Method Gap | [ ] Ya / [ ] Tidak | |
 | Data Gap | [ ] Ya / [ ] Tidak | |
 | Context Gap | [ ] Ya / [ ] Tidak | |
 
 **Gap utama yang dipilih:** _____________________________
-**Justifikasi mengapa gap ini penting:**
+**Mengapa gap ini penting (bukan sekadar "belum ada yang meneliti")?**
 > ___________________________________________________
 
 ---
 
-## Latihan 3 — Baseline Selection Challenge
+## Latihan 3 — Baseline Selection
 
-| # | Baseline | Mengapa Relevan | Mengapa Representatif | Sumber Paper |
+Pilih 2 baseline dari literatur yang sudah dibaca.
-|---|----------|----------------|----------------------|-------------|
-| 1 | | | | |
-| 2 | | | | |
-| 3 | | | | |
 
-**Evaluasi fairness — Apakah ini straw man comparison?**
+| # | Baseline | Mengapa Relevan | Mengapa Representatif | Apakah SOTA? | Sumber |
-- [ ] Tidak — baseline cukup kuat
+|---|----------|----------------|----------------------|-------------|--------|
-- [ ] Ya — perlu baseline yang lebih kompetitif
+| 1 | *Contoh: RF + TF-IDF* | *Task sama: klasifikasi teks* | *Dipakai 6 dari 10 paper* | *Bukan, tapi common practice* | *Lee et al., 2022* |
+| 2 | | | | | |
+
+**Apakah pemilihan baseline ini bisa dianggap straw man?** [ ] Ya / [ ] Tidak
+> Justifikasi: ________________________________________
 
 ---
 
 ## Refleksi
 
-> *"Sebelum membaca bab ini, bagaimana cara saya membaca paper? Apakah saya merangkum atau menganalisis? Apa yang akan saya ubah?"*
+> Apa perbedaan antara "belum ada yang meneliti ini" (klaim tanpa bukti) dengan research gap yang valid? Bagaimana cara membuktikan bahwa sebuah gap benar-benar ada?
 
-**Jawaban refleksi:**
+**Jawaban:**
+> ___________________________________________________
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 3 — Literature Review, Research Gap & Baseline -->

worksheets/ws-04-rq-hypothesis.md

@@ -1,60 +1,168 @@
-# WS-04: RQ & Hypothesis
+# WS-04: Research Question & Hypothesis
-> **Bab Terkait:** Bab 4 — Research Question, Contribution & Hypothesis
+
-> **Tujuan:** Mentransformasi gap menjadi RQ dan merumuskan hipotesis
+> **Bab 4 — Research Question, Contribution & Hypothesis**
-> **Referensi:** Lampiran B.4 | Template A.4
+
+---
+
+## Ringkasan Materi
+
+### RQ Bukan Pertanyaan Biasa
+
+Research Question yang baik secara implisit mengandung cetak biru eksperimen: subjek, baseline, metrik, domain, dataset.
+
+| Kualitas | Contoh |
+|----------|--------|
+| **Buruk** | "Bagaimana pengaruh deep learning terhadap deteksi malware?" |
+| **Baik** | "Apakah CNN menghasilkan F1-Score lebih tinggi dari RF pada CIC-MalMem-2022?" |
+
+Perbedaan: RQ yang baik menyebutkan **metode spesifik**, **metrik terukur**, **baseline**, dan **dataset**.
+
+### Tiga Jenis RQ
+
+| Jenis | Pola | Kebutuhan |
+|-------|------|-----------|
+| **Comparison** | A vs B → mana lebih baik? | ≥ 2 metode, metrik sama |
+| **Improvement** | A' vs A → modifikasi lebih baik? | Pre/post, bukti perbaikan |
+| **Exploratory** | Faktor X₁...Xₙ → pengaruh terhadap Y? | Multi-variabel, korelasi/regresi |
+
+### Contribution Statement
+
+Tiga jenis kontribusi: **Improvement** (metode terbukti lebih baik), **Comparison** (perbandingan sistematis yang belum ada), **Novel Approach** (pendekatan baru). Kontribusi harus terhubung langsung dengan gap — kontribusi tanpa gap = klaim tanpa justifikasi.
+
+### Hypothesis H₀ / H₁
+
+- **H₀** (Null) = Tidak ada perbedaan signifikan — asumsi default, harus dibuktikan salah
+- **H₁** (Alternative) = Ada perbedaan signifikan — diterima hanya jika H₀ ditolak
+- Harus **falsifiable**, mengandung **metrik terukur**, dirumuskan **SEBELUM eksperimen**
+
+### Rantai Operasionalisasi
+
+```
+RQ → Variable → Metric → Data → Analysis
+```
+
+Jika rantai ini tidak lengkap, RQ belum mature. Bi-directional: RQ yang tidak bisa jadi hipotesis testable harus direvisi mundur.
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan pertanyaan | Apa yang harus dibangun? | Apa yang harus dibuktikan? |
+| Bentuk jawaban | Sistem yang berfungsi | Bukti empiris terukur |
+| Sukses diukur oleh | User satisfaction, uptime | Signifikansi statistik, effect size |
+| Jika gagal | Debug dan perbaiki | Laporkan, analisis mengapa |
+
+### Istilah Penting
+
+- **Research Question (RQ)** — Pertanyaan spesifik: variabel terukur + metrik + konteks
+- **Contribution Statement** — Apa yang diketahui setelah riset selesai yang sebelumnya belum ada
+- **H₀ / H₁** — Null vs Alternative Hypothesis
+- **Falsifiability** — Kondisi hipotesis ditolak harus bisa didefinisikan sebelum eksperimen
+- **Operationalization** — Proses mewujudkan konsep abstrak menjadi variabel terukur
+
+---
+
+## Template A.4 — RQ-Contribution-Hypothesis
+
+```
+RQ-CONTRIBUTION-HYPOTHESIS
+
+Gap Statement  : ____________________
+
+Research Question:
+  Tipe         : [ ] Comparison  [ ] Improvement  [ ] Exploratory
+  Formulasi    : ____________________
+  Variabel IV  : ____________________
+  Variabel DV  : ____________________
+  Metrik       : ____________________
+  Dataset      : ____________________
+  Baseline     : ____________________
+
+Quality Check RQ:
+  [ ] Variabel spesifik
+  [ ] Metrik jelas
+  [ ] Baseline ada
+  [ ] Konteks disebutkan
+  [ ] Memerlukan eksperimen (bukan hanya survei literatur)
+
+Contribution Statement:
+  Apa yang baru diketahui : ____________________
+  Jenis kontribusi        : [ ] Improvement  [ ] Comparison  [ ] Novel approach
+  Gap yang diisi          : ____________________
+
+Hypothesis Pair:
+  H₀ : ____________________
+  H₁ : ____________________
+  Threshold              : ____________________
+  Justifikasi threshold  : ____________________
+```
 
 ---
 
 ## Latihan 1 — Dari Gap ke RQ
 
-**Gap statement (dari WS-03 Latihan 2):**
+Gunakan gap yang ditemukan di WS-03. Transformasikan menjadi Research Question.
+
+**Gap dari WS-03:** ____________________________________
+
+**RQ versi pertama (tulis bebas):**
 > ___________________________________________________
 
-**RQ Draft:**
+**Evaluasi RQ:**
+
+| Komponen | Ada? | Isi |
+|----------|------|-----|
+| Metode spesifik | *Contoh: Ya — CNN vs RF* | |
+| Metrik terukur | | |
+| Baseline | | |
+| Dataset/konteks | | |
+
+**Tipe RQ:** [ ] Comparison / [ ] Improvement / [ ] Exploratory
+
+**RQ versi revisi (setelah evaluasi):**
 > ___________________________________________________
 
-**Checklist RQ:**
-- [ ] Variabel spesifik disebutkan
-- [ ] Metrik jelas
-- [ ] Baseline ada
-- [ ] Konteks disebutkan
-- [ ] Memerlukan eksperimen untuk menjawab
-
-**Jenis RQ:** [ ] Descriptive / [ ] Comparative / [ ] Relational
-
 ---
 
-## Latihan 2 — Contribution Statement
+## Latihan 2 — Hypothesis Pair
 
-| Komponen | Isian |
+Rumuskan pasangan hipotesis dari RQ di Latihan 1.
-|----------|-------|
-| Apa yang akan diketahui setelah riset | |
-| Jenis contribution | |
-| Gap spesifik yang diisi | |
 
----
+| Komponen | Isi |
-
+|----------|-----|
-## Latihan 3 — Hypothesis Pair
+| H₀ | *Contoh: Tidak ada perbedaan signifikan F1-Score antara CNN dan RF pada dataset CIC-MalMem-2022* |
-
+| H₁ | |
-| Komponen | Isian |
+| Metrik | |
-|----------|-------|
-| H$_0$ (Null Hypothesis) | |
-| H$_1$ (Alternative Hypothesis) | |
 | Threshold | |
 | Justifikasi threshold | |
 
-**Apakah hipotesis bisa gagal?**
+**Apakah hipotesis ini falsifiable?** [ ] Ya / [ ] Tidak
-- [ ] Ya — jika hasil menunjukkan ________________________________
+> Bagaimana cara membuktikannya salah? ___________________
-- [ ] Tidak → reformulasi diperlukan
+
+---
+
+## Latihan 3 — Rantai Operasionalisasi
+
+Lengkapi rantai dari RQ hingga metode analisis.
+
+| Tahap | Isi |
+|-------|-----|
+| RQ | *Contoh: Apakah CNN menghasilkan F1-Score lebih tinggi dari RF...* |
+| Variable (IV) | *Contoh: Jenis algoritma (CNN vs RF)* |
+| Variable (DV) | |
+| Metric | |
+| Data source | |
+| Analysis method | |
+
+**Apakah rantai lengkap?** [ ] Ya / [ ] Tidak
+> Jika tidak, tahap mana yang perlu direvisi? ______________
 
 ---
 
 ## Refleksi
 
-> *"Apakah research question saya bisa dijawab dengan 'tergantung'? Jika ya, bagaimana saya membuatnya lebih spesifik?"*
+> Ambil satu judul skripsi/paper yang pernah dibaca. Coba ekstrak RQ-nya. Apakah RQ tersebut memenuhi semua komponen (metode, metrik, baseline, konteks)? Jika tidak, apa yang hilang?
 
-**Jawaban refleksi:**
+**Judul:** _____________________________________________
-> ___________________________________________________
+**RQ yang diekstrak:** __________________________________
-
+**Komponen yang hilang:** _______________________________
----
-<!-- Worksheet dari Bab 4 — Research Question, Contribution & Hypothesis -->

worksheets/ws-05-variabel-metrik.md

@@ -1,63 +1,140 @@
-# WS-05: Variabel & Metrik
+# WS-05: Variabel & Metrik
-> **Bab Terkait:** Bab 5 — Metric, Measurement & Data
+
-> **Tujuan:** Operasionalisasi variabel dan mendefinisikan metrik pengukuran
+> **Bab 5 — Metric, Measurement & Data**
-> **Referensi:** Lampiran B.5 | Template A.5
 
 ---
 
-## Latihan 1 — Operasionalisasi Lengkap
+## Ringkasan Materi
 
-**RQ (dari WS-04):** ___________________________________
+### Measurement Alignment Model
 
-### Variabel Independen (IV)
+Setiap pengukuran yang valid harus bisa ditelusuri melalui rantai ini tanpa lompatan logis:
 
-| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur |
+```
-|--------|----------|--------|-------|--------|--------------|
+Problem → Concept → Variable → Metric → Data → Result
-| | | | | | |
+```
-| | | | | | |
 
-### Variabel Dependen (DV)
+### Operationalization = Keputusan Desain
 
-| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur |
+Menerjemahkan konsep abstrak menjadi variabel terukur bukan proses mekanis. "Code quality" yang diukur via SonarQube code smells membawa asumsi implisit. Setiap operasionalisasi harus didokumentasikan dan dijustifikasi.
-|--------|----------|--------|-------|--------|--------------|
-| | | | | | |
-| | | | | | |
 
-### Control Variable (CV)
+### Empat Tipe Data (NOIR)
 
-| Variabel | Nilai yang Dikontrol | Alasan |
+| Tipe | Ciri | Contoh | Operasi Valid |
-|----------|---------------------|--------|
+|------|------|--------|---------------|
-| | | |
+| **Nominal** | Kategori, tanpa urutan | Jenis algoritma (RF, SVM, CNN) | Modus, chi-square |
-| | | |
+| **Ordinal** | Urutan, interval tidak sama | Skala Likert (1-5) | Median, Spearman |
+| **Interval** | Jarak bermakna, tanpa nol absolut | Suhu Celsius | Mean, Pearson, t-test |
+| **Ratio** | Jarak bermakna + nol absolut | Waktu eksekusi (ms) | Semua operasi |
+
+Tipe data menentukan uji statistik yang valid. Kebanyakan metrik performa TI = ratio; persepsi pengguna = ordinal.
+
+### Kriteria Pemilihan Metrik
+
+- **Representative** — Mewakili konsep yang diteliti
+- **Sensitive** — Cukup peka menangkap perbedaan bermakna (hindari ceiling effect)
+- **Feasible** — Bisa dikumpulkan dalam batasan waktu dan biaya
+
+### Pre-registration
+
+Metrik harus ditentukan **sebelum** eksperimen. Memilih metrik setelah melihat data = **p-hacking**. Metrik tambahan yang ditemukan kemudian dilaporkan sebagai *exploratory*, bukan *confirmatory*.
+
+### Primary vs Secondary Metric
+
+- **Primary Metric** — Langsung terikat ke hipotesis, menentukan kesimpulan
+- **Secondary Metric** — Pendukung, dilaporkan di samping primary; statusnya suplementer
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Pemilihan metrik | Berdasarkan kebiasaan/tool yang ada | Berdasarkan construct validity |
+| Anomali | Dihapus untuk laporan bersih | Diinvestigasi — bisa jadi temuan |
+| Kapan dipilih | Setelah sistem jadi (monitoring) | Sebelum eksperimen (by design) |
+
+### Istilah Penting
+
+- **Operationalization** — Transformasi konsep abstrak menjadi variabel terukur
+- **Construct Validity** — Sejauh mana pengukuran benar-benar mengukur konsep yang dimaksud
+- **Measurement Scale** — Klasifikasi data (NOIR) yang menentukan analisis valid
+- **Multi-metric Evaluation** — Menggunakan beberapa metrik untuk menangkap konsep kompleks
 
 ---
 
-## Latihan 2 — Construct Validity Check
+## Template A.5 — Definisi Variabel, Metrik & Justifikasi
 
-| Metrik | Apakah Mengukur Konsep yang Dimaksud? | Threat | Mitigasi |
+```
-|--------|--------------------------------------|--------|---------|
+VARIABLE & METRIC DEFINITION
-| | | | |
+
-| | | | |
+Research Question: ____________________
-| | | | |
+
+| Variabel | Tipe | Konsep | Metrik | Skala | Satuan | Cara Mengukur | Justifikasi |
+|----------|------|--------|--------|-------|--------|---------------|-------------|
+|          | IV   |        |        |       |        |               |             |
+|          | DV   |        |        |       |        |               |             |
+|          | CV   |        |        |       |        |               |             |
+
+Alignment Check:
+  RQ → Concept → Variable → Metric → Data → Result
+  [ ] Setiap langkah terdokumentasi
+  [ ] Tidak ada "lompatan logis"
+  [ ] Metrik mengukur apa yang dimaksud (construct validity)
+```
 
 ---
 
-## Latihan 3 — Metric Conflict
+## Latihan 1 — Operationalization Chain
 
-**Apakah ada DV yang trade-off?** [ ] Ya / [ ] Tidak
+Gunakan RQ dari WS-04. Definisikan variabel dan metriknya.
 
-| DV Primer | DV Sekunder | Skenario Konflik | Keputusan |
+**RQ:** __________________________________________________
-|-----------|-------------|-----------------|-----------|
+
-| | | | |
+| Variabel | Tipe | Konsep Abstrak | Metrik Konkret | Skala (NOIR) | Satuan |
+|----------|------|---------------|----------------|-------------|--------|
+| *Contoh: Jenis model* | *IV* | *Pendekatan klasifikasi* | *Categorical: CNN vs RF* | *Nominal* | *—* |
+| | DV | | | | |
+| | CV | | | | |
+
+**Apakah ada lompatan logis dalam rantai?** [ ] Ya / [ ] Tidak
+> Jika ya, di mana? ____________________________________
+
+---
+
+## Latihan 2 — Evaluasi Metrik
+
+Evaluasi metrik DV yang dipilih di Latihan 1 menggunakan 3 kriteria.
+
+| Kriteria | Skor (1-5) | Justifikasi |
+|----------|-----------|-------------|
+| Representative | *Contoh: 4 — F1-Score mewakili keseimbangan precision-recall* | |
+| Sensitive | | |
+| Feasible | | |
+
+**Apakah perlu secondary metric?** [ ] Ya / [ ] Tidak
+> Jika ya, apa dan mengapa? _____________________________
+
+**Contoh kasus ceiling effect untuk metrik ini:**
+> ___________________________________________________
+
+---
+
+## Latihan 3 — Data Quality Check
+
+Bayangkan data yang akan dikumpulkan dari eksperimen. Evaluasi 4 dimensi kualitas data.
+
+| Dimensi | Pertanyaan | Jawaban | Strategi Mitigasi |
+|---------|-----------|---------|------------------|
+| Completeness | *Apakah semua data point terkumpul?* | | |
+| Consistency | *Apakah ada kontradiksi internal?* | | |
+| Validity | *Apakah benar-benar mengukur yang dimaksud?* | | |
+| Representativeness | *Apakah sampel mewakili populasi target?* | | |
 
 ---
 
 ## Refleksi
 
-> *"Jika seseorang mempertanyakan 'apa buktinya bahwa metrik Anda mengukur apa yang Anda klaim?' — bisakah saya menjawab?"*
+> Mengapa memilih metrik setelah melihat data dianggap p-hacking? Apa bedanya dengan eksplorasi data yang sah?
 
-**Jawaban refleksi:**
+**Jawaban:**
+> ___________________________________________________
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 5 — Metric, Measurement & Data -->

worksheets/ws-06-system-experiment.md

@@ -1,61 +1,150 @@
-# WS-06: System-Experiment Mapping
+# WS-06: System-Experiment Mapping
-> **Bab Terkait:** Bab 6 — System Design sebagai Experimental Artifact
+
-> **Tujuan:** Memetakan RQ dan variabel ke arsitektur sistem
+> **Bab 6 — System Design sebagai Experimental Artifact**
-> **Referensi:** Lampiran B.6 | Template A.6
 
 ---
 
-## Latihan 1 — Mapping RQ ke Arsitektur
+## Ringkasan Materi
 
-**RQ (dari WS-04):** ___________________________________
+### Sistem = Instrumen Pengujian, Bukan Produk
 
-| Variabel | Tipe (IV/DV/CV) | Komponen Sistem | Cara Pengukuran di Sistem |
+Seorang engineer bertanya "apakah sistem bekerja?" — seorang peneliti bertanya "apa yang bisa dibuktikan sistem ini?" Sistem dalam riset adalah **artifact** — objek yang sengaja dibuat untuk menguji klaim spesifik.
-|----------|----------------|----------------|--------------------------|
-| | | | |
-| | | | |
-| | | | |
-| | | | |
 
-**Diagram arsitektur (gambar atau tempel di bawah):**
+### System as Experiment Model
 
-> [Ruang untuk diagram arsitektur]
+```
+RQ → Variable → System Component → Experimental Setup → Output
+```
+
+Setiap komponen sistem harus bisa ditelusuri ke variabel riset (top-down), dan setiap pengukuran harus menjawab RQ (bottom-up).
+
+### Mapping Variabel ke Komponen
+
+| Tipe Variabel | Peran di Sistem | Contoh |
+|---------------|----------------|--------|
+| **IV** (Independent) | Modul yang bisa di-toggle/swap | Algoritma A vs B |
+| **DV** (Dependent) | Modul pengukuran | Logger, metrics collector |
+| **CV** (Control) | Config yang dikunci | Dataset, parameter tetap |
+
+Jika variabel tidak bisa di-map ke komponen apapun → arsitektur perlu didesain ulang.
+
+### 4 Prinsip Desain Eksperimental
+
+| Prinsip | Pertanyaan Kunci |
+|---------|-----------------|
+| **Traceability** | Komponen ini melayani variabel yang mana? |
+| **Modularity** | Bisakah IV diubah tanpa memengaruhi yang lain? |
+| **Controllability** | Apakah CV dieksternalisasi ke config file? |
+| **Measurability** | Apakah sistem otomatis menghasilkan data yang dibutuhkan? |
+
+### Variable Isolation melalui Arsitektur
+
+- **Modular architecture** — Pisahkan berdasarkan variabel
+- **Configuration-driven** — Ubah config (YAML/JSON), bukan code
+- **Feature toggles** — On/off flag untuk ablation study
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan sistem | Memenuhi kebutuhan user | Menguji hipotesis, menghasilkan bukti |
+| Arsitektur | Optimasi performa & skalabilitas | Optimasi isolasi variabel & reprodusibilitas |
+| Konfigurasi | Sering hardcoded | Dieksternalisasi ke config file |
+| Fitur tambahan | Menambah nilai user | Menambah noise jika tidak terkait RQ |
+
+### Istilah Penting
+
+- **Artifact** — Objek yang sengaja dibuat untuk memecahkan masalah atau menguji proposisi
+- **Traceability** — Kemampuan menelusuri hubungan RQ → variabel → komponen → output
+- **Variable Isolation** — Mengubah hanya satu variabel sambil menahan yang lain konstan
+- **Ablation Study** — Menguji kontribusi tiap komponen dengan melepasnya satu per satu
+- **Configuration-driven Execution** — Semua parameter di config file, bukan hardcoded
 
 ---
 
-## Latihan 2 — Evaluasi 4 Prinsip
+## Template A.6 — Mapping RQ ke Arsitektur Sistem
 
-| Prinsip | Skor (1–3) | Evaluasi | Perlu Diperbaiki? |
+```
-|---------|-----------|---------|-------------------|
+SYSTEM-EXPERIMENT MAPPING
-| Traceability | | | |
-| Variable Isolation | | | |
-| Measurement Integration | | | |
-| Reproducibility | | | |
 
-**Prinsip dengan skor terendah:** __________________________
+Research Question: ____________________
-**Rencana perbaikan:** __________________________________
+
+Variable → Component Mapping:
+| Variabel | Tipe | Komponen Sistem | Cara Manipulasi/Pengukuran |
+|----------|------|-----------------|---------------------------|
+|          | IV   |                 |                           |
+|          | DV   |                 |                           |
+|          | CV   |                 |                           |
+
+4 Prinsip Desain:
+  [ ] Traceability — Setiap komponen bisa ditelusuri ke variabel
+  [ ] Variable Isolation — IV bisa diubah tanpa mengubah CV
+  [ ] Measurement Integration — Pengukuran DV built-in
+  [ ] Reproducibility — Setup bisa direkonstruksi
+
+Experimental Setup:
+  Input data     : ____________________
+  Parameter      : ____________________
+  Output format  : ____________________
+```
 
 ---
 
-## Latihan 3 — Skenario "Bagaimana Jika"
+## Latihan 1 — Variable-to-Component Mapping
 
-| Skenario | Komponen yang Berubah | Dampak |
+Gunakan RQ dan variabel dari WS-05. Petakan ke komponen sistem.
-|----------|----------------------|--------|
-| Dataset berubah | | |
-| Metrik ditambah satu | | |
-| Baseline baru ditambahkan | | |
 
-**Apakah arsitektur mendukung perubahan tanpa redesign?**
+**RQ:** __________________________________________________
-- [ ] Ya
+
-- [ ] Tidak → perlu redesign bagian: ______________________
+| Variabel | Tipe | Komponen Sistem | Cara Manipulasi / Pengukuran |
+|----------|------|-----------------|---------------------------|
+| *Contoh: Jenis model* | *IV* | *Modul classifier (swap RF ↔ CNN)* | *Ganti config `model_type`* |
+| | DV | | |
+| | CV | | |
+
+**Apakah semua variabel bisa di-map?** [ ] Ya / [ ] Tidak
+> Jika tidak, komponen apa yang perlu ditambahkan? _________
+
+---
+
+## Latihan 2 — 4 Prinsip Desain
+
+Evaluasi desain sistem terhadap 4 prinsip.
+
+| Prinsip | Status | Bukti / Penjelasan |
+|---------|--------|-------------------|
+| Traceability | *Contoh: ✅ — setiap modul punya label variabel* | |
+| Modularity | | |
+| Controllability | | |
+| Measurability | | |
+
+**Prinsip mana yang paling sulit dipenuhi?** _______________
+**Strategi untuk mengatasinya:**
+> ___________________________________________________
+
+---
+
+## Latihan 3 — Ablation Study Planning
+
+Jika sistem memiliki 3 komponen utama, rencanakan ablation study.
+
+| Kondisi | Komponen A | Komponen B | Komponen C | Hasil yang Diharapkan |
+|---------|-----------|-----------|-----------|----------------------|
+| Full | *Contoh: ✅ CNN* | *Contoh: ✅ Temporal features* | *Contoh: ✅ Z-score norm* | *Baseline penuh* |
+| – A | ❌ (ganti RF) | ✅ | ✅ | |
+| – B | ✅ | ❌ (tanpa temporal) | ✅ | |
+| – C | ✅ | ✅ | ❌ (tanpa normalisasi) | |
+
+**Komponen mana yang diprediksi paling berkontribusi?** _____
+**Mengapa?**
+> ___________________________________________________
 
 ---
 
 ## Refleksi
 
-> *"Apakah sistem yang saya bangun adalah produk yang kebetulan diujikan, atau instrumen yang sengaja dirancang untuk menguji hipotesis?"*
+> Apa risiko jika sistem dibangun seperti produk (monolitik, fitur lengkap) lalu baru dilakukan eksperimen? Mengapa arsitektur modular penting untuk riset?
 
-**Jawaban refleksi:**
+**Jawaban:**
+> ___________________________________________________
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 6 — System Design sebagai Experimental Artifact -->

worksheets/ws-07-experiment-design.md

@@ -1,66 +1,160 @@
-# WS-07: Experimental Design & Validity
+# WS-07: Experimental Design & Validity
-> **Bab Terkait:** Bab 7 — Experimental Design & Validity
+
-> **Tujuan:** Merancang eksperimen terkontrol dan mengidentifikasi ancaman validitas
+> **Bab 7 — Experimental Design & Validity**
-> **Referensi:** Lampiran B.7 | Template A.7
 
 ---
 
-## Latihan 1 — Identifikasi Ancaman Validitas
+## Ringkasan Materi
 
-**Paper yang dipilih:** _________________________________
+### Correlation ≠ Causality
 
-| Jenis Validitas | Ancaman yang Teridentifikasi | Mitigasi yang Diusulkan |
+Kausalitas membutuhkan 3 syarat:
-|----------------|------------------------------|------------------------|
+1. **Covariance** — X dan Y bergerak bersama
+2. **Temporal precedence** — X berubah sebelum Y
+3. **Elimination of alternatives** — Tidak ada faktor lain yang menjelaskan Y
+
+Controlled experiment adalah satu-satunya metode yang bisa membuktikan kausalitas.
+
+### Empat Jenis Validitas
+
+| Jenis | Pertanyaan | Ancaman Umum |
+|-------|-----------|-------------|
+| **Internal** | Apakah hubungan IV→DV nyata? | Confounding variable, selection bias |
+| **External** | Apakah bisa digeneralisasi? | Dataset terlalu spesifik |
+| **Construct** | Apakah mengukur konsep yang benar? | Metrik tidak sesuai |
+| **Conclusion** | Apakah kesimpulan statistik valid? | Sample size kecil, uji salah |
+
+Internal dan external validity sering berkonflik: semakin terkontrol (internal kuat) → semakin artificial (external lemah).
+
+### Tiga Tipe Eksperimen dalam Riset TI
+
+| Tipe | Deskripsi | Kapan Digunakan |
+|------|----------|----------------|
+| **Comparison Study** | Metode A vs B pada kondisi identik | Membandingkan pendekatan berbeda |
+| **Ablation Study** | Full system → lepas komponen satu per satu | Mengukur kontribusi tiap komponen |
+| **Parameter Study** | Variasikan satu parameter, amati dampak | Uji sensitifitas/robustness |
+
+### Fairness dalam Perbandingan
+
+Perbandingan yang adil = **kondisi identik** untuk semua metode: dataset sama, preprocessing sama, tuning effort sebanding, environment sama, metrik sama.
+
+Contoh tidak adil: Transformer (30 fitur tambahan + Bayesian optimization) vs RF (default params) → hasilnya misleading.
+
+### Threats to Validity = Diidentifikasi Sebelum Eksperimen
+
+Ancaman validitas harus diidentifikasi **sebelum** eksperimen dan mitigasinya dirancang sebagai bagian dari desain — bukan ditulis sebagai boilerplate setelah selesai.
+
+### Research vs Engineering
+
+| Aspek | Engineering | Research |
+|-------|------------|----------|
+| Tujuan testing | Memastikan sistem memenuhi requirement | Membuktikan hubungan kausal antar variabel |
+| Baseline | Versi sebelumnya (last release) | Metode tervalidasi dari literatur |
+| Kegagalan | Bug → fix → release | H₀ tidak ditolak → tetap kontribusi ilmiah |
+| Sukses | 100% test pass | Evidence valid — mendukung atau menolak hipotesis |
+
+### Istilah Penting
+
+- **Causality** — Hubungan sebab-akibat (covariance + temporal + elimination)
+- **Controlled Experiment** — Ubah satu variabel, kontrol sisanya, amati efek
+- **Fairness** — Semua metode diuji pada kondisi yang benar-benar identik
+- **Threats to Validity** — Faktor yang bisa melemahkan kesimpulan jika tidak dimitigasi
+- **Conclusion Validity** — Validitas statistik: power, sample size, uji yang tepat
+
+---
+
+## Template A.7 — Desain Eksperimen Lengkap
+
+```
+EXPERIMENT DESIGN
+
+Research Question : ____________________
+Hypothesis        : ____________________
+Tipe Eksperimen   : [ ] Comparison  [ ] Ablation  [ ] Parameter
+
+Kondisi Eksperimen:
+| Kondisi | Deskripsi | IV Value | CV Settings |
+|---------|-----------|----------|-------------|
+| Control |           |          |             |
+| Treatment |         |          |             |
+
+Fairness Checklist:
+  [ ] Dataset identik untuk semua kondisi
+  [ ] Preprocessing setara
+  [ ] Tuning effort setara
+  [ ] Environment identik
+  [ ] Metrik evaluasi sama
+
+Threat Analysis:
+| Threat Type | Ancaman Spesifik | Mitigasi |
+|-------------|-----------------|----------|
 | Internal    |                 |          |
 | External    |                 |          |
 | Construct   |                 |          |
 | Conclusion  |                 |          |
 
----
+Statistical Plan:
-
+  Uji statistik   : ____________________
-## Latihan 2 — Desain Perbandingan yang Fair
+  Justifikasi      : ____________________
-
+  Alpha            : ____________________
-**RQ (dari WS-04):** ___________________________________
+  Effect size min  : ____________________
-
+```
-| Komponen | Isian |
-|----------|-------|
-| Kondisi 1 (treatment) | |
-| Kondisi 2 (baseline/control) | |
-| IV yang dimanipulasi | |
-| DV yang diukur | |
-| CV yang dikontrol | |
-| Jumlah run per kondisi | |
-| Seed/randomization strategy | |
-
-**Fairness Checklist:**
-- [ ] Kedua kondisi menggunakan dataset yang sama
-- [ ] Hanya satu variabel yang berbeda antar-kondisi
-- [ ] Metrik evaluasi sama untuk kedua kondisi
-- [ ] Jumlah run cukup untuk variabilitas
-- [ ] Threshold ditentukan sebelum eksperimen
 
 ---
 
-## Latihan 3 — Kausalitas vs Korelasi
+## Latihan 1 — Desain Eksperimen
 
-| Syarat Kausalitas | Terpenuhi? | Bukti |
+Susun desain eksperimen berdasarkan RQ, variabel, dan sistem dari WS-04 sampai WS-06.
-|-------------------|-----------|-------|
-| Kovariansi | [ ] Ya / [ ] Tidak | |
-| Temporal precedence | [ ] Ya / [ ] Tidak | |
-| Eliminasi alternatif | [ ] Ya / [ ] Tidak | |
 
-**Apakah desain mendukung klaim kausal?** [ ] Ya / [ ] Tidak
+**RQ:** __________________________________________________
-**Jika tidak — perbaikan yang diperlukan:**
+**Tipe eksperimen:** [ ] Comparison / [ ] Ablation / [ ] Parameter
+
+| Kondisi | Deskripsi | IV Value | CV Settings |
+|---------|-----------|----------|-------------|
+| Control | *Contoh: RF baseline dari literatur* | *RF* | *Dataset X, 80:20 split, seed 42* |
+| Treatment | | | |
+
+---
+
+## Latihan 2 — Fairness Checklist
+
+Evaluasi apakah desain eksperimen di Latihan 1 sudah fair.
+
+| Kriteria | Status | Detail |
+|----------|--------|--------|
+| Dataset identik | *Contoh: ✅ — sama-sama pakai CIC-MalMem-2022* | |
+| Preprocessing setara | | |
+| Tuning effort setara | | |
+| Environment identik | | |
+| Metrik evaluasi sama | | |
+
+**Ada yang tidak fair?** [ ] Ya / [ ] Tidak
+> Jika ya, bagaimana cara memperbaikinya? ________________
+
+---
+
+## Latihan 3 — Threat Analysis
+
+Identifikasi ancaman validitas untuk desain eksperimen ini.
+
+| Threat Type | Ancaman Spesifik | Mitigasi |
+|-------------|-----------------|----------|
+| Internal | *Contoh: Data leakage antara train-test* | *Contoh: Gunakan stratified split, validasi tidak ada overlap* |
+| External | | |
+| Construct | | |
+| Conclusion | | |
+
+**Ancaman mana yang paling sulit dimitigasi?** _____________
+**Mengapa?**
 > ___________________________________________________
 
 ---
 
 ## Refleksi
 
-> *"Jika reviewer bertanya 'bagaimana Anda tahu ini bukan kebetulan?' — apakah desain eksperimen saya memberikan jawaban yang meyakinkan?"*
+> Sebuah paper melaporkan "metode kami mengalahkan semua baseline." Apa 3 pertanyaan pertama yang harus diajukan untuk mengevaluasi klaim ini?
 
-**Jawaban refleksi:**
+**Jawaban:**
-> ___________________________________________________
+1. ___________________________________________________
-
+2. ___________________________________________________
----
+3. ___________________________________________________
-<!-- Worksheet dari Bab 7 — Experimental Design & Validity -->

worksheets/ws-08-proposal-integration.md

@@ -1,65 +1,151 @@
-# WS-08: Proposal Integration
+# WS-08: Proposal Integration (UTS)
-> **Bab Terkait:** Bab 8 — Proposal & Checkpoint
+
-> **Tujuan:** Merakit proposal dari output WS-02 hingga WS-07 dan mengevaluasi koherensi
+> **Bab 8 — Proposal & Checkpoint**
-> **Referensi:** Lampiran B.8 | Template A.8
 
 ---
 
-## Latihan 1 — Integration Map
+## Ringkasan Materi
 
-Ambil output dari WS-02 (problem statement), WS-03 (gap), WS-04 (RQ & hipotesis), WS-05 (metrik), WS-06 (arsitektur), WS-07 (desain eksperimen). Susun ke dalam satu dokumen proposal.
+### Proposal = Satu Argumen Utuh
 
-| Bagian Proposal | Sumber Worksheet | Status |
+Proposal riset bukan kumpulan bab yang independen. Ia adalah **satu argumen** yang mengalir dari masalah ke rencana solusi. Jika satu koneksi putus, seluruh proposal kehilangan koherensi.
-|----------------|------------------|--------|
-| Problem Statement | WS-02 | [ ] Lengkap |
-| Literature Gap | WS-03 | [ ] Lengkap |
-| Research Question | WS-04 | [ ] Lengkap |
-| Hipotesis | WS-04 | [ ] Lengkap |
-| Variabel & Metrik | WS-05 | [ ] Lengkap |
-| Arsitektur Sistem | WS-06 | [ ] Lengkap |
-| Desain Eksperimen | WS-07 | [ ] Lengkap |
 
-**Koneksi yang terputus (jika ada):**
+### Integration Map — 6 Koneksi Kritis
+
+```
+Problem (Bab 2) → Gap (Bab 3) → RQ & H (Bab 4) → Metrik (Bab 5) → Sistem (Bab 6) → Eksperimen (Bab 7)
+```
+
+| Koneksi | Pertanyaan Verifikasi |
+|---------|----------------------|
+| Problem → Gap | Apakah gap muncul dari analisis literatur terhadap masalah? |
+| Gap → RQ | Apakah RQ langsung menjawab gap yang teridentifikasi? |
+| RQ → Metrik | Apakah setiap variabel di RQ punya metrik terdefinisi? |
+| Metrik → Sistem | Apakah setiap metrik bisa diukur oleh komponen sistem? |
+| Sistem → Eksperimen | Apakah desain eksperimen menggunakan sistem sebagai instrumen? |
+
+### Koherensi Vertikal + Horizontal
+
+- **Vertikal** — Alur logis atas-ke-bawah (problem → experiment)
+- **Horizontal** — Konsistensi terminologi (nama variabel di RQ = di hipotesis = di metrik = di desain)
+
+### Jebakan Kognitif
+
+| Jebakan | Deskripsi |
+|---------|----------|
+| "Selling" Introduction | Menulis promosi, bukan menyajikan data dan gap |
+| Copy-paste Methodology | Menyalin deskripsi tekstbook tanpa menyesuaikan ke RQ |
+| Optimistic Timeline | Meremehkan waktu implementasi; selalu tambah buffer 30-50% |
+| No Possibility of Failure | Mengimplikasikan hasil pasti sukses — proposal jujur mengakui H₀ mungkin tidak ditolak |
+
+### Struktur Proposal
+
+1. **Pendahuluan** — Latar belakang + problem statement (Bab 1-2)
+2. **Tinjauan Pustaka** — Literature review + gap + baseline (Bab 3)
+3. **RQ / Kontribusi / Hipotesis** — (Bab 4)
+4. **Metodologi** — Metrik + sistem + desain eksperimen (Bab 5-7)
+5. **Timeline & Output**
+
+### Istilah Penting
+
+- **Integration Map** — Diagram 6 koneksi kritis antar komponen proposal
+- **Vertical Coherence** — Alur logis atas-ke-bawah
+- **Horizontal Coherence** — Konsistensi terminologi di semua bagian
+- **Checkpoint** — Titik self-assessment sebelum transisi dari desain ke eksekusi
+
+---
+
+## Template A.8 — Integration Checklist
+
+```
+PROPOSAL INTEGRATION CHECKLIST
+
+Koneksi Vertikal (Flow Atas-Bawah):
+  [ ] Problem → Gap: masalah terdokumentasi di literatur
+  [ ] Gap → RQ: pertanyaan menjawab gap spesifik
+  [ ] RQ → Hypothesis: hipotesis memprediksi jawaban
+  [ ] Hypothesis → Metric: metrik mengukur variabel dalam hipotesis
+  [ ] Metric → System: komponen sistem menghasilkan/mengukur metrik
+  [ ] System → Experiment: desain eksperimen menggunakan sistem
+
+Koneksi Horizontal (Konsistensi):
+  [ ] Istilah sama di semua bagian
+  [ ] Variabel di RQ = variabel di hipotesis = metrik di desain
+  [ ] Scope tidak berubah dari masalah ke eksperimen
+
+Rubrik Self-Assessment:
+| Kriteria | 1 (Lemah) | 2 (Cukup) | 3 (Baik) | Skor |
+|----------|-----------|-----------|----------|------|
+| Koherensi |          |           |          |      |
+| Specificity |        |           |          |      |
+| Feasibility |        |           |          |      |
+| Rigor     |          |           |          |      |
+```
+
+---
+
+## Latihan 1 — Kompilasi Proposal Mini
+
+Kumpulkan hasil dari WS-02 sampai WS-07 menjadi satu ringkasan proposal.
+
+| Komponen | Sumber | Isi (1-2 kalimat) |
+|----------|--------|-------------------|
+| Problem Statement | WS-02 | *Contoh: Sistem rekomendasi memiliki akurasi tinggi (RMSE 0.87) tetapi satisfaction score rendah (45/100). Gap antara metrik teknis dan kepuasan pengguna belum diteliti.* |
+| Gap | WS-03 | *Contoh: Tidak ada studi yang mengintegrasikan collaborative filtering dengan user-context signals untuk meningkatkan satisfaction.* |
+| RQ | WS-04 | *Contoh: Apakah penambahan context-aware signals pada collaborative filtering meningkatkan satisfaction score tanpa menurunkan RMSE?* |
+| Hipotesis | WS-04 | *Contoh: H₁: Sistem CF+context menghasilkan satisfaction ≥ 70/100 dengan RMSE ≤ 0.90 dibanding baseline CF murni.* |
+| Variabel & Metrik | WS-05 | *Contoh: IV = jenis sistem (CF vs CF+context); DV = satisfaction score (skala 0-100) + RMSE (regresi).* |
+| Sistem | WS-06 | |
+| Desain Eksperimen | WS-07 | |
+
+---
+
+## Latihan 2 — Integration Checklist
+
+Verifikasi 6 koneksi kritis. Isi dengan merujuk tabel di Latihan 1.
+
+| Koneksi | Status | Bukti |
+|---------|--------|-------|
+| Problem → Gap | *Contoh: ✅ — gap muncul dari 15 paper Bab 3 yang tidak ada yang mengkombinasikan CF + context untuk satisfaction* | |
+| Gap → RQ | *Contoh: ✅ — RQ langsung menanyakan apakah CF+context meningkatkan satisfaction* | |
+| RQ → Hypothesis | *Contoh: ✅ — H₁ memprediksi satisfaction ≥ 70 dengan threshold RMSE ≤ 0.90* | |
+| Hypothesis → Metric | | |
+| Metric → System | | |
+| System → Experiment | | |
+
+**Koneksi mana yang paling lemah?** _______________________
+**Bagaimana cara memperkuatnya?**
 > ___________________________________________________
 
+**Konsistensi horizontal — apakah istilah dan scope konsisten?** [ ] Ya / [ ] Tidak
+> Jika tidak, di bagian mana terjadi inkonsistensi? _________
+
 ---
 
-## Latihan 2 — Self-Assessment
+## Latihan 3 — Rubrik Self-Assessment
 
-| Kriteria | Skor (1–5) | Catatan |
+Evaluasi proposal mini menggunakan rubrik.
-|----------|-----------|--------|
+
-| Koherensi | | |
+| Kriteria | Skor (1-3) | Justifikasi |
-| Specificity | | |
+|----------|-----------|-------------|
+| Koherensi | *Contoh: 2 — koneksi gap→RQ masih lemah karena gap belum cukup narrow* | |
+| Specificity | *Contoh: 3 — metrik (satisfaction 0-100, RMSE) sudah terdefinisi numerik* | |
 | Feasibility | | |
 | Rigor | | |
 
-**Dua kriteria dengan skor terendah:**
+**Skor total:** _____ / 12
-1. __________________ → Rencana perbaikan: ________________
-2. __________________ → Rencana perbaikan: ________________
 
----
+**Apakah proposal siap untuk fase eksekusi?** [ ] Ya / [ ] Belum
-
+> Jika belum, apa yang perlu diperbaiki? __________________
-## Latihan 3 — Peer Review
-
-**Nama reviewer:** ______________________________________
-
-| Item Checklist | Terpenuhi? | Rekomendasi |
-|---------------|-----------|-------------|
-| Problem → Gap terhubung | [ ] Ya / [ ] Tidak | |
-| Gap → RQ terhubung | [ ] Ya / [ ] Tidak | |
-| RQ → Hipotesis terhubung | [ ] Ya / [ ] Tidak | |
-| Hipotesis → Metrik terhubung | [ ] Ya / [ ] Tidak | |
-| Metrik → Arsitektur terhubung | [ ] Ya / [ ] Tidak | |
-| Arsitektur → Eksperimen terhubung | [ ] Ya / [ ] Tidak | |
 
 ---
 
 ## Refleksi
 
-> *"Jika proposal saya dievaluasi bukan dari panjangnya, melainkan dari koherensi koneksi antar-bagian — apakah ia akan lulus?"*
+> Dari seluruh proses WS-01 sampai WS-08, bagian mana yang paling mudah dan paling sulit? Mengapa? Apa yang akan dilakukan berbeda jika mengulang dari awal?
 
-**Jawaban refleksi:**
+**Bagian termudah:** ____________________________________
+**Bagian tersulit:** ____________________________________
+**Yang akan dilakukan berbeda:**
+> ___________________________________________________
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 8 — Proposal & Checkpoint -->

worksheets/ws-09-implementation.md

@@ -1,79 +1,177 @@
-# WS-09: Implementation & Reproducibility
+# WS-09: Implementation & Environment
-> **Bab Terkait:** Bab 9 — Implementation & Environment
+
-> **Tujuan:** Mendokumentasikan setup implementasi untuk reprodusibilitas
+> **Bab 9 — Implementasi Riset & Kontrol Lingkungan**
-> **Referensi:** Lampiran B.9 | Template A.9
 
 ---
 
-## Latihan 1 — Environment Audit
+## Ringkasan Materi
 
-### Hardware
+### Implementasi Riset ≠ Coding Biasa
+
+Tujuan implementasi riset bukan membuat software yang berfungsi, melainkan membangun **instrumen pengukuran yang konsisten**. Setiap modul harus di-mapping ke variabel (dari Bab 6), parameter harus config-driven, dan logging aktif dari hari pertama.
+
+### Reproducible Implementation Model
+
+```
+Design → Implementation → Environment Setup → Execution Consistency → Reproducibility → Trustworthy Result
+```
+
+Setiap transisi memiliki syarat:
+- Design → Implementation: kode sesuai mapping variabel-ke-komponen
+- Implementation → Environment: versi, dependency, seed, path, OS eksplisit
+- Environment → Consistency: seed terkunci, urutan deterministik
+- Consistency → Reproducibility: dokumentasi lengkap
+- Reproducibility → Trust: siapa pun ikuti dokumentasi → hasil sama/serupa
+
+### Repeatability vs Reproducibility
+
+| Level | Peneliti | Environment | Hasil |
+|-------|---------|-------------|-------|
+| **Repeatability** | Sama | Sama | Sama persis |
+| **Reproducibility** | Berbeda | Berbeda (ikuti docs) | Sama/serupa |
+
+Capai **repeatability** dulu, baru **reproducibility**.
+
+### Engineering vs Research Perspective
+
+| Aspek | Engineering | Research |
+|-------|-----------|---------|
+| Tujuan | Sistem berfungsi untuk user | Instrumen pengukuran konsisten |
+| Dependency | Update ke terbaru | Lock di versi spesifik |
+| Testing | Unit, integration, E2E | Repeatability test (run ulang → sama?) |
+| Dokumentasi | User guide, API docs | Environment spec, execution steps, expected output |
+| Config | Default masuk akal | Setiap parameter eksplisit & adjustable |
+
+### Jebakan Kognitif
+
+1. Menunda environment setup → bug sulit dilacak
+2. Tidak pakai version control → hasil tidak bisa direkonstruksi
+3. Menolak Docker/container → "di laptop saya bisa" saat review
+4. 3× hasil sama ≠ repeatable (bisa cache/state tersimpan)
+
+### Istilah Penting
+
+- **Environment Specification** — Deskripsi lengkap: hardware, OS, runtime, library + versi, config, seed
+- **Dependency** — Komponen eksternal yang harus di-lock versinya
+- **Config-driven** — Parameter dieksternalisasi ke file konfigurasi, bukan hardcode
+
+---
+
+## Template A.9 — Dokumentasi Setup Eksperimen
+
+```
+EXPERIMENT SETUP DOCUMENTATION
+
+Hardware:
+  CPU     : ____________________
+  RAM     : ____________________
+  GPU     : ____________________
+  Storage : ____________________
+
+Software:
+  OS        : ____________________
+  Runtime   : ____________________
+  Framework : ____________________
+
+Dependencies:
+| Library | Version | Sumber | Hash/Checksum |
+|---------|---------|--------|---------------|
+|         |         |        |               |
+|         |         |        |               |
+
+Konfigurasi:
+  Config file     : ____________________
+  Random seed     : ____________________
+  Hyperparameters : ____________________
+
+Reproducibility Check:
+  [ ] Dependency terdokumentasi (requirements.txt / lock file)
+  [ ] Seed ditetapkan di semua level (Python, NumPy, framework)
+  [ ] Config di version control
+  [ ] README instruksi reproduksi lengkap
+```
+
+---
+
+## Latihan 1 — Environment Specification
+
+Dokumentasikan environment untuk eksperimen Anda (boleh environment saat ini atau yang direncanakan).
 
 | Komponen | Spesifikasi |
 |----------|------------|
-| CPU | |
+| CPU | *Contoh: Intel Core i7-12700H, 14 Core* |
-| RAM | |
+| RAM | *Contoh: 32 GB DDR5* |
-| GPU (jika relevan) | |
+| GPU | *Contoh: NVIDIA RTX 3060 6GB / CPU-only jika tidak ada GPU* |
-| Storage | |
+| OS | *Contoh: Ubuntu 22.04 LTS / Windows 11* |
+| Runtime | |
+| Framework | |
+| Random Seed | |
 
-### Software & Dependencies
+**Dependencies (minimal 5):**
 
-| Software/Library | Versi Spesifik | Sumber | Keterangan |
+| Library | Version | Alasan Dibutuhkan |
-|-----------------|---------------|--------|-----------|
+|---------|---------|-------------------|
-| OS | | | |
+| *Contoh: scikit-learn* | *1.3.2* | *Klasifikasi + evaluasi metrik* |
-| Runtime/Compiler | | | |
+| | | |
-| Framework | | | |
-| Library 1 | | | |
-| Library 2 | | | |
-| Library 3 | | | |
-| Database | | | |
-
-### Configuration
-
-| Parameter | Nilai | Justifikasi |
-|-----------|-------|------------|
 | | | |
 | | | |
 | | | |
 
 ---
 
-## Latihan 2 — Reproducibility Test
+## Latihan 2 — Repeatability Test Plan
 
-**Nama rekan yang mereproduksi:** __________________________
+Rancang tes repeatability sederhana: jalankan kode yang sama 3× di environment yang sama.
 
-| Aspek | Berhasil? | Waktu | Catatan |
+| Run | Seed | Metrik Utama | Hasil Sama? |
-|-------|----------|-------|--------|
+|-----|------|-------------|-------------|
-| Clone repository | [ ] Ya / [ ] Tidak | | |
+| 1 | *Contoh: 42* | *Contoh: Accuracy* | — |
-| Install dependencies | [ ] Ya / [ ] Tidak | | |
+| 2 | | | [ ] Ya / [ ] Tidak |
-| Jalankan kode | [ ] Ya / [ ] Tidak | | |
+| 3 | | | [ ] Ya / [ ] Tidak |
-| Hasil sesuai | [ ] Ya / [ ] Tidak | | |
 
-**Total waktu setup:** ___________________________________
+**Jika hasil berbeda, kemungkinan penyebab:**
-**Perbaikan dokumentasi berdasarkan feedback:**
 > ___________________________________________________
 
+**Checklist kontrol yang sudah diterapkan:**
+- [ ] Random seed di-set di semua level
+- [ ] Tidak ada background process yang mengganggu
+- [ ] Cache dibersihkan antar-run
+- [ ] Config file yang sama untuk semua run
+
 ---
 
-## Latihan 3 — Configuration Versioning
+## Latihan 3 — README Eksperimen
 
-**Repository URL:** _____________________________________
+Tulis README minimum untuk eksperimen Anda (6 komponen wajib).
 
-**Checklist:**
+```
-- [ ] Konfigurasi terpisah dari kode (config file)
+# Judul Eksperimen: ____________________
-- [ ] Setiap eksperimen bisa dijalankan ulang dari commit tertentu
+
-- [ ] README berisi instruksi reproduksi minimal
+## 1. Environment
-- [ ] requirements.txt / go.mod / package.json tersedia
+> (Salin spesifikasi dari Latihan 1)
-- [ ] .gitignore dikonfigurasi (tidak ada data besar di repo)
+
+## 2. Installation
+> (Langkah instalasi, misal: "pip install -r requirements.txt")
+
+## 3. Data
+> (Deskripsi data: sumber, format, ukuran)
+
+## 4. Execution
+> (Command untuk menjalankan eksperimen)
+
+## 5. Configuration
+> (File config yang digunakan + parameter kunci)
+
+## 6. Expected Output
+> (Contoh output yang diharapkan + format)
+```
 
 ---
 
 ## Refleksi
 
-> *"Jika laptop saya hilang besok, bisakah saya merekonstruksi seluruh eksperimen dari dokumentasi yang ada?"*
+> Apakah eksperimen Anda saat ini bisa direproduksi oleh orang lain tanpa bantuan Anda? Komponen apa yang masih hilang?
 
-**Jawaban refleksi:**
+**Level saat ini:** [ ] Repeatability / [ ] Reproducibility / [ ] Belum keduanya
+**Komponen yang belum terdokumentasi:**
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 9 — Implementation & Environment -->

worksheets/ws-10-execution-data.md

@@ -1,64 +1,162 @@
-# WS-10: Execution & Data Collection
+# WS-10: Experiment Execution & Data Collection
-> **Bab Terkait:** Bab 10 — Experiment Execution & Data Collection
+
-> **Tujuan:** Menyusun execution plan dan menjalankan pilot run
+> **Bab 10 — Eksekusi Eksperimen & Pengumpulan Data**
-> **Referensi:** Lampiran B.10 | Template A.10
 
 ---
 
-## Latihan 1 — Execution Plan Lengkap
+## Ringkasan Materi
 
-| Skenario | Deskripsi | Jumlah Run | Seeds | Parameter | Format Output |
+### Experiment Execution Pipeline
-|----------|----------|-----------|-------|-----------|--------------|
-| S1 | | min. 5 | | | |
-| S2 | | min. 5 | | | |
-| S3 | | min. 5 | | | |
 
-**Total run yang direncanakan:** __________________________
+```
+Design → Execution Plan → Controlled Execution → Data Collection → Data Logging → Dataset for Analysis
+```
+
+### Multiple Run = Non-Negotiable
+
+Single run **tidak pernah cukup** untuk klaim ilmiah. Minimum 5-10 run per skenario dengan seed berbeda. Multiple run menghasilkan:
+- Mean, std, confidence interval
+- Distribusi hasil → uji statistik
+- Variabilitas → error bar di grafik
+
+### Execution Plan
+
+Setiap eksperimen harus memiliki plan sebelum eksekusi:
+- Daftar skenario
+- Jumlah run per skenario
+- Random seed per run (pre-determined!)
+- Urutan eksekusi (randomisasi/counterbalancing)
+- Pre-execution checklist
+
+### Data Logging Komprehensif
+
+Setiap run menghasilkan log terstruktur:
+1. **Identitas** — Run ID, timestamp, skenario
+2. **Konfigurasi** — Semua parameter, seed, code version
+3. **Hasil** — Semua metrik, output detail
+4. **Metadata** — Waktu eksekusi, resource usage, warning/error
+
+Format: CSV/JSON/database — **bukan stdout yang di-copy-paste**.
+
+### Engineering vs Research Execution
+
+| Aspek | Engineering | Research |
+|-------|-----------|---------|
+| Run | Sekali (deploy) | Multiple (min 5-10, seed berbeda) |
+| Logging | Error log, access log | Semua parameter, metrik, metadata |
+| Anomali | Bug → fix → redeploy | Investigasi → dokumentasi → analisis |
+| Urutan | Tidak penting | Bisa bias — perlu randomisasi |
+
+### Anomali = Dokumentasi, Bukan Hapus
+
+Run gagal/anomali tidak boleh dihapus tanpa dokumentasi. Bisa jadi:
+- **Bug** → fix & re-run (dokumentasikan!)
+- **Batas kemampuan metode** → DNF = temuan
+- **Data yang bias** jika hanya simpan run "berhasil"
+
+### Jebakan Kognitif
+
+1. "Satu angka cukup" → tanpa distribusi, tidak bisa diuji
+2. "Seed tidak penting" → bahkan algoritma deterministik bisa dipengaruhi library stokastik
+3. "Run gagal langsung hapus" → kehilangan temuan potensial
+4. "Semua run harus hari ini" → thermal throttling, fatigue
 
 ---
 
-## Latihan 2 — Pilot Run & Anomaly
+## Template A.10 — Execution Plan & Data Log
 
-**Skenario pilot:** _____________________________________
+```
+EXECUTION PLAN
 
-| Check | Hasil | Status |
+| Run # | Skenario | Seed | Parameter | Status | Waktu | Output File |
-|-------|-------|--------|
+|-------|----------|------|-----------|--------|-------|-------------|
-| Output sesuai format? | | [ ] OK / [ ] Fix |
+| 1     |          |      |           |        |       |             |
-| Data point lengkap? | | [ ] OK / [ ] Fix |
+| 2     |          |      |           |        |       |             |
-| Waktu eksekusi masuk akal? | | [ ] OK / [ ] Fix |
+| 3     |          |      |           |        |       |             |
+| ...   |          |      |           |        |       |             |
 
-**Anomali yang ditemukan:**
+Jumlah runs per skenario : ____
-1. ___________________________________________________
+Total runs               : ____
-2. ___________________________________________________
 
-**Tindakan koreksi:**
+DATA LOG (per run):
-> ___________________________________________________
+  Run ID    : ____________________
+  Timestamp : ____________________
+  Skenario  : ____________________
+  Input     : ____________________
+  Output    : ____________________
+  Anomali   : ____________________
+  Catatan   : ____________________
+```
 
 ---
 
-## Latihan 3 — Data Integrity Check
+## Latihan 1 — Execution Plan
 
-| Data Point | Run ID | File Output | Traceable? |
+Susun execution plan untuk eksperimen Anda. Tentukan skenario, jumlah run, dan seed sebelum eksekusi.
-|-----------|--------|------------|-----------|
-| | | | [ ] Ya / [ ] Tidak |
-| | | | [ ] Ya / [ ] Tidak |
-| | | | [ ] Ya / [ ] Tidak |
 
-**Apakah semua data point bisa ditelusuri ke run spesifik?**
+| Run # | Skenario | Seed | Parameter Kunci | Status |
-- [ ] Ya, semua traceable
+|-------|----------|------|----------------|--------|
-- [ ] Tidak — data point yang hilang: ______________________
+| *1* | *Contoh: BERT-base, DS-1* | *42* | *lr=2e-5, epoch=10* | *Planned* |
+| *2* | *BERT-base, DS-1* | *123* | *lr=2e-5, epoch=10* | *Planned* |
+| 3 | | | | |
+| 4 | | | | |
+| 5 | | | | |
 
-**Laporan integritas:**
+**Total skenario:** ____
-> ___________________________________________________
+**Run per skenario:** ____
+**Total run keseluruhan:** ____
+
+---
+
+## Latihan 2 — Data Log Terstruktur
+
+Desain format data log untuk eksperimen Anda. Tentukan field apa saja yang akan dicatat.
+
+**Identitas:**
+| Field | Contoh |
+|-------|--------|
+| Run ID | *run-001* |
+| Timestamp | *2025-03-15T10:30:00* |
+| | |
+
+**Konfigurasi:**
+| Field | Contoh |
+|-------|--------|
+| Seed | *42* |
+| Code version | *commit abc1234* |
+| | |
+
+**Hasil:**
+| Metrik | Tipe Data | Range Valid |
+|--------|----------|-------------|
+| *Contoh: Accuracy* | *float* | *0.0 – 1.0* |
+| | | |
+| | | |
+
+**Format output:** [ ] CSV / [ ] JSON / [ ] Database / [ ] Lainnya: ____
+
+---
+
+## Latihan 3 — Anomaly Protocol
+
+Rencanakan bagaimana menangani anomali. Untuk setiap jenis, tentukan langkah yang diambil.
+
+| Jenis Anomali | Contoh | Tindakan |
+|---------------|--------|----------|
+| Run gagal (crash) | *Contoh: OOM pada batch_size=64* | *Contoh: Dokumentasi, re-run batch_size=32, catat perubahan* |
+| Hasil ekstrem | | |
+| Waktu eksekusi anomali | | |
+| Inkonsistensi dengan run lain | | |
+
+**Prinsip:** Detect → Investigate → Document → Decide
 
 ---
 
 ## Refleksi
 
-> *"Jika saya mengklaim '30 run per skenario' — bisakah saya menunjukkan 30 file output yang masing-masing bisa ditelusuri ke run spesifik?"*
+> Pernahkah Anda melaporkan hasil riset/tugas dari single run? Apa risikonya? Bagaimana multiple run mengubah kepercayaan terhadap hasil?
 
-**Jawaban refleksi:**
+**Pengalaman sebelumnya:**
+> ___________________________________________________
+**Yang akan dilakukan berbeda:**
 > ___________________________________________________
-
----
-<!-- Worksheet dari Bab 10 — Experiment Execution & Data Collection -->

worksheets/ws-11-data-validation.md

@@ -1,67 +1,161 @@
-# WS-11: Data Validation
+# WS-11: Data Validation & Integrity
-> **Bab Terkait:** Bab 11 — Data Validation & Integrity
+
-> **Tujuan:** Memvalidasi kelengkapan, konsistensi, dan keandalan data eksperimen
+> **Bab 11 — Validasi Data & Integritas**
-> **Referensi:** Lampiran B.11 | Template A.11
+
+---
+
+## Ringkasan Materi
+
+### Data Trust Model
+
+```
+Raw Data → Data Cleaning → Consistency Check → Validation Process → Trusted Data
+```
+
+Data mentah belum bisa dipercaya. Harus melewati pipeline validasi sebelum siap untuk analisis statistik.
+
+### Empat Pilar Data Quality
+
+| Pilar | Deskripsi | Contoh Pelanggaran |
+|-------|----------|-------------------|
+| **Accuracy** | Nilai dalam range masuk akal | Akurasi = 1.5 (di luar [0,1]) |
+| **Consistency** | Format seragam di semua run | Run 1: CSV, Run 2: JSON |
+| **Completeness** | Tidak ada data hilang dari plan | 97 dari 100 run tercatat |
+| **Validity** | Data sesuai desain eksperimen | Parameter baseline tercampur treatment |
+
+### Proses Validasi Progresif
+
+1. **Format validation** — Tipe file, header, kolom
+2. **Range validation** — Nilai dalam batas logis
+3. **Consistency validation** — Format seragam antar-run
+4. **Logic validation** — Data cocok dengan desain eksperimen
+
+Jika gagal di langkah awal → tidak perlu lanjut.
+
+### Anomaly Detection — 3 Jenis
+
+| Jenis | Deskripsi | Deteksi |
+|-------|----------|---------|
+| **Statistical outlier** | Nilai di luar distribusi normal | IQR: < Q1-1.5×IQR atau > Q3+1.5×IQR |
+| **Contextual anomaly** | Normal absolut, abnormal dalam konteks | Run 1-10: ~91%, Run 11-20: ~88% |
+| **Pattern anomaly** | Pola sistematis (bukan random) | Performa menurun berurutan |
+
+**Prinsip:** Detect → Investigate → Document → Decide — **JANGAN langsung hapus.**
+
+### Engineering vs Research Validation
+
+| Aspek | Engineering | Research |
+|-------|-----------|---------|
+| Tujuan | Data sesuai spesifikasi bisnis | Data layak untuk analisis statistik |
+| Missing data | Impute / set default | Investigasi penyebab → dokumentasi |
+| Outlier | Bug → fix | Mungkin temuan → investigasi |
+| Dokumentasi | Minimal (log error) | Komprehensif (anomali + keputusan) |
+
+### Jebakan Kognitif
+
+1. "Logging otomatis ≠ data benar" → bisa ada bug di logger
+2. "Outlier = hapus" → bisa jadi temuan penting
+3. "Dataset kecil tidak perlu validasi" → justru lebih rentan
+4. "Mean normal = data benar" → [94, 95, 93, **44**, 94] → mean 84% terlihat wajar
+
+---
+
+## Template A.11 — Data Validation Checklist
+
+```
+DATA VALIDATION CHECKLIST
+
+Completeness:
+  [ ] Semua skenario tercakup
+  [ ] Jumlah run sesuai rencana
+  [ ] Tidak ada file output hilang
+  Missing: ____ dari ____ data points
+
+Format Consistency:
+  [ ] Semua file format sama (CSV/JSON/...)
+  [ ] Header konsisten
+  [ ] Tipe data konsisten (numerik tetap numerik)
+
+Range & Logic:
+  [ ] Nilai dalam range masuk akal
+  [ ] Tidak ada waktu negatif
+  [ ] Metrik 0–100%, tidak di luar range
+  Anomali ditemukan: ____________________
+
+Cross-Validation:
+  [ ] Run identik → hasil mendekati
+  [ ] Trend konsisten dengan ekspektasi teori
+
+Keputusan:
+  [ ] Data siap analisis
+  [ ] Perlu cleaning
+  [ ] Perlu re-run (skenario: ____)
+```
 
 ---
 
 ## Latihan 1 — Completeness Check
 
-| Skenario | Data Point Diharapkan | Data Point Tersedia | Hilang | Penanganan |
+Verifikasi apakah semua data yang direncanakan sudah terkumpul.
-|----------|----------------------|--------------------|---------|-----------| 
-| S1 | | | | |
-| S2 | | | | |
-| S3 | | | | |
 
-**Simulasi: 2 run hilang (timeout). Dampak:**
+| Skenario | Run Direncanakan | Run Tercatat | Missing | Alasan |
+|----------|-----------------|-------------|---------|--------|
+| *Contoh: BERT, DS-1* | *10* | *10* | *0* | *—* |
+| *LSTM, DS-3* | *10* | *8* | *2* | *OOM pada run 7 & 9* |
+| | | | | |
+| | | | | |
+
+**Total expected:** ____ | **Total actual:** ____ | **Missing:** ____
+
+**Keputusan untuk data missing:**
 > ___________________________________________________
 
-**Keputusan penanganan data hilang:**
-- [ ] Re-run
-- [ ] Hapus skenario
-- [ ] Lanjutkan dengan catatan
-
 ---
 
 ## Latihan 2 — Anomaly Investigation
 
-**Skenario anomali:** Satu skenario menunjukkan performa 10x lebih baik dari rata-rata.
+Periksa data Anda untuk anomali. Gunakan metode IQR atau z-score.
 
-| Langkah Investigasi | Temuan |
+**Dataset sampel (atau data Anda sendiri):**
-|--------------------|--------|
-| 1. Cek apakah bug di kode | |
-| 2. Cek cache effect | |
-| 3. Cek parameter input | |
-| 4. Cek environment (background process) | |
-| 5. Re-run dengan seed berbeda | |
 
-**Keputusan:** [ ] Bug / [ ] Cache effect / [ ] Genuine result
+| Run | Accuracy (%) |
-**Justifikasi:** ________________________________________
+|-----|-------------|
+| 1 | *91.2* |
+| 2 | *90.8* |
+| 3 | *91.5* |
+| 4 | *78.3* |
+| 5 | *91.0* |
+
+**Deteksi outlier:**
+- Q1 = ____ | Q3 = ____ | IQR = ____
+- Batas bawah (Q1 - 1.5×IQR) = ____
+- Batas atas (Q3 + 1.5×IQR) = ____
+- Outlier terdeteksi: ____
+
+**Investigasi (untuk setiap outlier):**
+
+| Outlier | Nilai | Kemungkinan Penyebab | Keputusan |
+|---------|-------|---------------------|-----------|
+| *Run 4* | *78.3* | *Contoh: thermal throttling setelah 3 run berturut* | *Re-run dengan cooling interval* |
 
 ---
 
-## Latihan 3 — Full Validation Report
+## Latihan 3 — Validation Report
 
-| Aspek Validasi | Status | Catatan |
+Buat laporan validasi ringkas untuk dataset eksperimen Anda.
-|---------------|--------|--------|
-| Completeness | [ ] Pass / [ ] Fail | |
-| Consistency | [ ] Pass / [ ] Fail | |
-| Range check | [ ] Pass / [ ] Fail | |
-| Logical validity | [ ] Pass / [ ] Fail | |
 
-**Keputusan final:**
+**1. Completeness:** ____% data terkumpul
-- [ ] Data siap analisis
+**2. Format:** [ ] Konsisten / [ ] Ada inkonsistensi: ____
-- [ ] Perlu cleaning (detail: _________________________)
+**3. Range check (anomali):** ____
-- [ ] Perlu re-run (detail: ___________________________)
+**4. Logic check:** [ ] Parameter sesuai plan / [ ] Ada ketidaksesuaian: ____
+
+**Kesimpulan:** [ ] Data siap analisis / [ ] Perlu tindakan: ____
 
 ---
 
 ## Refleksi
 
-> *"Jika reviewer meminta raw data dan log eksperimen — apakah saya bisa menyediakannya dalam 10 menit?"*
+> Apa perbedaan antara "data yang benar" dan "data yang dipercaya"? Mengapa proses validasi formal diperlukan meskipun data dikumpulkan secara otomatis?
 
-**Jawaban refleksi:**
 > ___________________________________________________
-
+> ___________________________________________________
----
-<!-- Worksheet dari Bab 11 — Data Validation & Integrity -->

worksheets/ws-12-result-presentation.md

@@ -1,65 +1,145 @@
-# WS-12: Result Presentation
+# WS-12: Result Presentation & Visualization
-> **Bab Terkait:** Bab 12 — Result Presentation & Visualization
+
-> **Tujuan:** Menyajikan hasil eksperimen dalam tabel dan visualisasi yang efektif
+> **Bab 12 — Penyajian Hasil & Visualisasi**
-> **Referensi:** Lampiran B.12 | Template A.12
+
+---
+
+## Ringkasan Materi
+
+### Data → Insight Model
+
+```
+Validated Data → Structured Presentation → Visualization → Pattern Recognition → Insight
+```
+
+Penyajian **mendahului** analisis. Tabel dan grafik membantu peneliti "melihat" data sebelum menghitung. Langsung ke uji statistik tanpa visualisasi berisiko kesimpulan yang secara teknis benar tapi kontekstual salah (Anscombe's Quartet, 1973).
+
+### Tabel = Presisi, Grafik = Pola
+
+Keduanya **saling melengkapi**:
+- Tabel: angka presisi, self-contained (dipahami tanpa teks), sortable
+- Grafik: pola visual, tren, perbandingan cepat
+
+### Jenis Grafik Berdasarkan Tujuan
+
+| Tujuan | Jenis Grafik |
+|--------|-------------|
+| Perbandingan antar-skenario | Bar chart (grouped/stacked) |
+| Distribusi per-skenario | Box plot / violin plot |
+| Tren temporal | Line chart |
+| Korelasi dua variabel | Scatter plot |
+| Proporsi (total = 100%) | Pie chart (hati-hati!) |
+
+### Contoh Tabel Hasil yang Baik
+
+| Model | Accuracy (%) | F1-Score (%) | Training Time (min) |
+|-------|-------------|-------------|---------------------|
+| BERT | 88.4 ± 1.2 | 87.1 ± 1.4 | 45.2 ± 3.1 |
+| LSTM | 86.1 ± 1.8 | 84.5 ± 2.0 | 12.8 ± 1.2 |
+| SVM | 82.3 ± 0.9 | 80.7 ± 1.1 | 0.3 ± 0.1 |
+
+*N=10 per model. Mean ± std. Diurutkan berdasarkan Accuracy.*
+
+### Visualization Bias — Yang Harus Dihindari
+
+| Bias | Deskripsi | Dampak |
+|------|----------|--------|
+| Truncated axis | Y tidak dari 0 | Memperbesar perbedaan kecil |
+| Inconsistent scale | Dua grafik skala beda | Perbandingan menyesatkan |
+| Cherry-picked data | Hanya tampilkan yang "menang" | Selektif, tidak jujur |
+| 3D effects | Efek 3D tanpa dimensi data ke-3 | Distorsi tanpa informasi |
+| Missing error bar | Tidak ada variabilitas | Menyembunyikan ketidakpastian |
+
+### Engineering vs Research Presentation
+
+| Aspek | Engineering | Research |
+|-------|-----------|---------|
+| Tujuan grafik | Dashboard monitoring | Mendukung argumen ilmiah |
+| Informasi wajib | KPI, threshold | Mean, std, CI, N, p-value |
+| Bias handling | Less critical | Wajib dihindari (peer-review) |
+
+---
+
+## Template A.12 — Result Presentation Plan
+
+```
+RESULT PRESENTATION PLAN
+
+Research Question : ____________________
+Metrik Utama      : ____________________
+
+Tabel Hasil:
+| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n |
+|----------|----------------------|----------------------|---|
+|          |                      |                      |   |
+
+Visualisasi yang Direncanakan:
+| # | Jenis Grafik | Pesan Utama | Metrik |
+|---|-------------|-------------|--------|
+| 1 |             |             |        |
+| 2 |             |             |        |
+
+Bias Check:
+  [ ] Y-axis mulai dari 0 (atau dijustifikasi)
+  [ ] Error bar/CI ditampilkan
+  [ ] Semua data disertakan (tidak cherry-picked)
+  [ ] Tidak menggunakan 3D tanpa alasan
+```
 
 ---
 
 ## Latihan 1 — Tabel Hasil
 
-| Skenario | Metrik 1 (mean +/- std) | Metrik 2 (mean +/- std) | Runs | Rank |
+Buat tabel hasil eksperimen Anda (boleh dengan data simulasi jika belum punya data riil).
-|----------|------------------------|------------------------|------|------|
-| | | | | |
-| | | | | |
-| | | | | |
-| | | | | |
 
-**Apakah tabel self-contained (bisa dipahami tanpa teks)?** [ ] Ya / [ ] Tidak
+| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n |
+|----------|----------------------|----------------------|---|
+| *Contoh: BERT-base* | *88.4 ± 1.2%* | *45.2 ± 3.1 min* | *10* |
+| | | | |
+| | | | |
+
+**Checklist tabel:**
+- [ ] Self-contained (judul jelas, satuan ada, N tercantum)
+- [ ] Mean ± std (bukan single number)
+- [ ] Diurutkan berdasarkan metrik utama
+- [ ] Format konsisten di semua baris
 
 ---
 
-## Latihan 2 — Visualisasi Multi-Metrik
+## Latihan 2 — Rencana Visualisasi
 
-### Grafik 1
+Rencanakan 2-3 grafik untuk menyajikan data dari Latihan 1. Setiap grafik = satu pesan.
 
-**Jenis grafik:** _______________________________________
+| # | Jenis Grafik | Pesan | Data yang Digunakan |
-**Pesan utama:** ________________________________________
+|---|-------------|-------|---------------------|
-**Alasan pemilihan jenis grafik:** ________________________
+| 1 | *Contoh: Bar chart + error bar* | *Perbandingan accuracy antar 3 model* | *Mean accuracy ± std* |
-**Observasi awal:** _____________________________________
+| 2 | *Box plot* | *Distribusi F1 per model* | *Semua run F1* |
-
+| 3 | *Scatter plot* | *Trade-off accuracy vs training time* | *Mean accuracy vs mean time* |
-> [Ruang untuk grafik atau referensi file]
-
-### Grafik 2
-
-**Jenis grafik:** _______________________________________
-**Pesan utama:** ________________________________________
-**Alasan pemilihan jenis grafik:** ________________________
-**Observasi awal:** _____________________________________
-
-> [Ruang untuk grafik atau referensi file]
 
 ---
 
 ## Latihan 3 — Bias Detection
 
-| Bias | Grafik 1 | Grafik 2 |
+Evaluasi visualisasi berikut untuk bias (skenario dari contoh):
-|------|---------|---------|
-| Truncated axis? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
-| Missing error bar? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
-| Cherry-picked data? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
-| Misleading scale? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
 
-**Perbaikan yang dilakukan:**
+**Skenario:** Metode A = 91.2%, Metode B = 90.8%. Bar chart dengan Y-axis mulai dari 90%.
-> ___________________________________________________
+
+| Pertanyaan | Jawaban |
+|-----------|---------|
+| Apakah Y-axis menyesatkan? | *Contoh: Ya — A terlihat 2× B padahal beda 0.4%* |
+| Apakah error bar ditampilkan? | |
+| Apakah semua kondisi ditampilkan? | |
+| Apa solusinya? | |
+
+**Evaluasi grafik Anda sendiri dari Latihan 2:**
+- [ ] Semua bias check lulus
+- [ ] Ada yang perlu diperbaiki: ____
 
 ---
 
 ## Refleksi
 
-> *"Jika grafik saya dilihat tanpa caption — apakah pesannya tetap jelas? Jika tidak, grafik perlu diperbaiki."*
+> Mengapa tabel dan grafik keduanya diperlukan — tidak cukup salah satu saja? Pernahkah Anda membuat grafik yang (tanpa sengaja) menyesatkan?
 
-**Jawaban refleksi:**
 > ___________________________________________________
-
+> ___________________________________________________
----
-<!-- Worksheet dari Bab 12 — Result Presentation & Visualization -->

worksheets/ws-13-preprocessing.md

@@ -1,62 +1,162 @@
-# WS-13: Preprocessing
+# WS-13: Data Preprocessing
-> **Bab Terkait:** Bab 13 — Data Preprocessing
+
-> **Tujuan:** Menangani missing values, membuat pipeline preprocessing, dan mendeteksi leakage
+> **Bab 13 — Preprocessing & Persiapan Data untuk Analisis**
-> **Referensi:** Lampiran B.13 | Template A.13
 
 ---
 
-## Latihan 1 — Missing Value Strategy
+## Ringkasan Materi
 
-**Dataset:** ____________________________________________
+### Data Refinement Pipeline
-**Persentase missing values:** __________________________
 
-| Strategi | Rata-rata Setelah | Kesimpulan Perbandingan Berubah? |
+```
-|----------|------------------|-------------------------------|
+Raw Data → Cleaning → Transformation → Normalization → Processed Data → Analysis Ready
-| Listwise deletion | | [ ] Ya / [ ] Tidak |
+```
-| Mean imputation | | [ ] Ya / [ ] Tidak |
-| Flag & report | | [ ] Ya / [ ] Tidak |
 
-**Strategi yang dipilih:** _______________________________
+Setiap tahap memiliki tujuan berbeda. **Preprocessing bukan langkah teknis biasa** — setiap keputusan preprocessing adalah keputusan riset yang bisa mengubah kesimpulan.
-**Justifikasi:** ________________________________________
+
+### Empat Prinsip Preprocessing
+
+| Prinsip | Deskripsi |
+|---------|----------|
+| **Consistency** | Metode sama untuk data yang sama |
+| **Transparency** | Setiap langkah terdokumentasi |
+| **Reproducibility** | Orang lain bisa mengulang dengan hasil sama |
+| **Minimal Distortion** | Ubah sesedikit mungkin; jika normalisasi tidak perlu, jangan lakukan |
+
+### Cleaning Triad
+
+| Masalah | Strategi | Risiko |
+|---------|---------|--------|
+| **Missing values** | | |
+| — Listwise deletion | Missing < 5%, random | Data loss |
+| — Mean/median imputation | Sedikit missing, dist. normal | Mengurangi variabilitas |
+| — Model-based imputation | Banyak missing, pola sistematis | Introduces dependency |
+| — Flag & separate | Missing karena alasan substantif | Kompleksitas analisis |
+| **Duplikat** | Identifikasi → verifikasi → hapus | False positive (data mirip ≠ duplikat) |
+| **Error format** | Standardisasi tipe, encoding | Kehilangan informasi saat konversi |
+
+### Normalisasi — Kapan & Metode Mana
+
+| Metode | Formula | Output | Sensitif Outlier? |
+|--------|---------|--------|-------------------|
+| Min-max | (x-min)/(max-min) | [0, 1] | Ya |
+| Z-score | (x-mean)/std | Unbounded | Lebih robust |
+| Robust scaling | (x-median)/IQR | Unbounded | Paling robust |
+
+**Kunci:** Parameter normalisasi harus dihitung dari **training set saja** — bukan seluruh data. Pelanggaran = **data leakage**.
+
+### Data Leakage Prevention
+
+Data leakage terjadi ketika informasi dari test set "bocor" ke preprocessing:
+- Normalisasi parameter dari seluruh dataset ← **SALAH**
+- Cross-validation dilakukan sebelum split ← **SALAH**
+- Feature selection menggunakan label test set ← **SALAH**
+
+### Jebakan Kognitif
+
+1. "Preprocessing cuma teknis — tidak perlu detail" → bisa ubah kesimpulan
+2. "Lebih banyak preprocessing = lebih bersih = lebih baik" → over-processing distorsi data
+3. "Normalisasi selalu diperlukan" → belum tentu, tergantung metode analisis
+4. "Imputation sama untuk semua situasi" → strategi harus sesuai konteks
 
 ---
 
-## Latihan 2 — Preprocessing Pipeline
+## Template A.13 — Preprocessing Documentation Log
 
-**Bahasa/tool yang digunakan:** __________________________
+```
+PREPROCESSING LOG
 
-| Step | Operasi | Input | Output | Komentar |
+Dataset           : ____________________
-|------|---------|-------|--------|---------|
+Jumlah data awal  : ____________________
-| 1 | Cleaning | | | |
-| 2 | Encoding (jika perlu) | | | |
-| 3 | Normalisasi (jika perlu) | | | |
-| 4 | Feature engineering (jika perlu) | | | |
 
-**Script/file referensi:** ______________________________
+Cleaning:
+| Masalah | Jumlah Kasus | Penanganan | Justifikasi |
+|---------|-------------|------------|-------------|
+| Missing |             |            |             |
+| Duplikat|             |            |             |
+| Error   |             |            |             |
+
+Transformation:
+| Transformasi | Variabel | Detail | Alasan |
+|-------------|----------|--------|--------|
+|             |          |        |        |
+
+Normalization:
+  Metode    : ____________________
+  Alasan    : ____________________
+  Parameter : (dihitung dari: training set / seluruh data)
+
+Leakage Check:
+  [ ] Parameter normalisasi dari training set saja
+  [ ] Tidak ada informasi test set dalam preprocessing
+  [ ] Cross-validation dilakukan setelah split
+
+Jumlah data akhir : ____________________
+Script tersedia   : [ ] Ya → path: ____ | [ ] Belum
+```
 
 ---
 
-## Latihan 3 — Leakage Detection
+## Latihan 1 — Cleaning Plan
 
-| Potensi Leakage | Ditemukan? | Perbaikan |
+Periksa dataset Anda (atau dataset contoh) dan dokumentasikan masalah yang ditemukan.
-|----------------|-----------|----------|
-| Test data masuk ke training | [ ] Ya / [ ] Tidak | |
-| Future information di features | [ ] Ya / [ ] Tidak | |
-| Target variable di preprocessing | [ ] Ya / [ ] Tidak | |
-| Normalisasi sebelum split | [ ] Ya / [ ] Tidak | |
 
-**Kesimpulan leakage check:**
+| Masalah | Jumlah Kasus | Penanganan | Justifikasi |
-- [ ] Tidak ada leakage — karena: _______________________
+|---------|-------------|------------|-------------|
-- [ ] Ada leakage — diperbaiki dengan: ___________________
+| *Contoh: Missing di kolom "label"* | *12 dari 500 (2.4%)* | *Listwise deletion* | *< 5%, distribusi random (MCAR)* |
+| | | | |
+| | | | |
+| | | | |
+
+**Jumlah data sebelum cleaning:** ____
+**Jumlah data setelah cleaning:** ____
+**Persentase data yang hilang/berubah:** ____%
+
+---
+
+## Latihan 2 — Normalisasi Decision
+
+Tentukan apakah data Anda perlu normalisasi, dan jika ya, metode apa yang tepat.
+
+| Variabel | Range Asli | Distribusi | Outlier? | Metode Normalisasi | Alasan |
+|----------|-----------|-----------|----------|-------------------|--------|
+| *Contoh: response_time* | *0.1 – 45.2s* | *Right-skewed* | *Ya (45.2s)* | *Robust scaling* | *Ada outlier, perlu robust* || *Contoh: accuracy_score* | *0.72 – 0.95* | *Normal, narrow* | *Tidak* | *Tidak perlu* | *Sudah dalam [0,1], metode berbasis distance tidak digunakan* || | | | | | |
+| | | | | | |
+
+**Apakah normalisasi diperlukan?** [ ] Ya / [ ] Tidak
+**Justifikasi:**
+> ___________________________________________________
+
+**Leakage check:**
+- [ ] Parameter dihitung dari training set saja
+- [ ] Normalisasi diterapkan setelah train-test split
+
+---
+
+## Latihan 3 — Preprocessing Report
+
+Buat ringkasan preprocessing lengkap — dokumentasi yang cukup bagi orang lain untuk mereplikasi.
+
+```
+PREPROCESSING SUMMARY
+
+1. Dataset: ____________________
+2. Data awal: ____ records, ____ features
+3. Cleaning:
+   - Missing values: ____ kasus, metode: ____
+   - Duplikat: ____ kasus, tindakan: ____
+   - Error: ____ kasus, tindakan: ____
+4. Transformation: ____________________
+5. Normalisasi: ____ (metode), parameter dari ____
+6. Data akhir: ____ records, ____ features
+7. Leakage check: [ ] Lulus / [ ] Ada masalah
+```
 
 ---
 
 ## Refleksi
 
-> *"Jika saya menghapus satu baris data — bisakah saya menjelaskan mengapa, dan apakah orang lain akan setuju?"*
+> Apakah Anda pernah melakukan normalisasi "karena biasa dilakukan" tanpa mempertimbangkan apakah benar-benar diperlukan? Apa risiko over-preprocessing?
 
-**Jawaban refleksi:**
 > ___________________________________________________
-
+> ___________________________________________________
----
-<!-- Worksheet dari Bab 13 — Data Preprocessing -->

worksheets/ws-14-analysis-interpretation.md

@@ -1,75 +1,179 @@
-# WS-14: Analysis & Interpretation
+# WS-14: Analysis, Interpretation & Failure Analysis
-> **Bab Terkait:** Bab 14 — Data Analysis, Interpretation & Failure Analysis
+
-> **Tujuan:** Menganalisis data, menginterpretasi hasil, dan melakukan failure analysis
+> **Bab 14 — Analisis Data, Interpretasi & Failure Analysis**
-> **Referensi:** Lampiran B.14 | Template A.14
 
 ---
 
-## Latihan 1 — From Data to Decision
+## Ringkasan Materi
 
-### Statistik Deskriptif
+### Data → Knowledge Model
 
-| Metrik | Mean | Std Dev | Min | Max | Median |
+```
-|--------|------|---------|-----|-----|--------|
+Data → Analysis → Interpretation → Explanation → Knowledge
-| | | | | | |
+```
-| | | | | | |
 
-### Uji Hipotesis
+Tiga level yang berbeda:
+- **Analysis** — "Apa yang terjadi?" (deskriptif + inferensial)
+- **Interpretation** — "Apa artinya?" (konteks RQ + literatur)
+- **Failure Analysis** — "Mengapa tidak berhasil?" (boundary conditions)
 
-| Uji | Nilai Statistik | p-value | Keputusan |
+### Beyond p-value
-|-----|----------------|---------|-----------|
-| | | | [ ] Tolak H0 / [ ] Gagal tolak H0 |
 
-### Effect Size
+**Statistical significance ≠ practical significance.** Selalu laporkan:
+1. p-value (signifikansi statistik)
+2. Effect size (besarnya efek)
+3. Confidence interval (rentang ketidakpastian)
 
-| Metrik | Effect Size | Kategori (small/medium/large) |
+| Effect Size (Cohen's d) | Interpretasi |
-|--------|------------|------------------------------|
+|-------------------------|-------------|
-| | | |
+| < 0.2 | Small |
+| 0.2 – 0.8 | Medium |
+| > 0.8 | Large |
 
-### Confidence Interval
+### Pemilihan Uji Statistik
 
-| Metrik | CI 95% | Interpretasi |
+| Kondisi | Uji yang Tepat |
-|--------|--------|-------------|
+|---------|---------------|
-| | [ __ , __ ] | |
+| 2 grup, normal, paired | Paired t-test |
+| 2 grup, non-normal | Wilcoxon signed-rank |
+| > 2 grup, normal | One-way ANOVA + post-hoc |
+| > 2 grup, non-normal | Kruskal-Wallis + post-hoc |
+| 2 variabel kontinu | Pearson (normal) / Spearman (rank) |
+
+### Failure Analysis as Contribution
+
+Hipotesis yang ditolak adalah **temuan yang berharga**:
+
+| Dataset | New (F1) | Baseline (F1) | p-value | Cohen's d |
+|---------|---------|--------------|---------|-----------|
+| DS-1 (small, clean) | 94.2±1.1 | 89.3±1.5 | <0.001 | **3.7** |
+| DS-4 (medium, noisy) | 78.3±3.2 | 82.1±2.8 | 0.008 | **-1.3** |
+| DS-5 (large, noisy) | 71.6±4.1 | 80.5±3.0 | <0.001 | **-2.5** |
+
+**Insight:** Metode baru unggul di data bersih tapi gagal di data noisy → asumsi Gaussian dilanggar → **boundary condition** ditemukan → hybrid approach direkomendasikan.
+
+**Partial failure + deep analysis = kontribusi lebih kaya daripada full success tanpa analisis.**
+
+### Limitation Types
+
+| Jenis | Contoh |
+|-------|--------|
+| Internal validity | Confounders yang tidak dikontrol |
+| External validity | Generalisasi ke domain lain |
+| Construct validity | Metrik mengukur apa yang dimaksud? |
+| Statistical limitation | Sample size, asumsi distribusi |
+
+### Jebakan Kognitif
+
+1. "Signifikan statistik = penting secara praktis" → cek effect size
+2. "Hipotesis tidak didukung → cari sudut baru" → p-hacking
+3. "Kegagalan tidak perlu dilaporkan detail" → missed insight
+4. "Limitasi cukup disebutkan, tidak perlu dianalisis" → kedalaman hilang
 
 ---
 
-## Latihan 2 — Beyond p-Value
+## Template A.14 — Analysis & Interpretation Report
+
+```
+ANALYSIS & INTERPRETATION
+
+1. Statistik Deskriptif:
+   | Skenario | Mean | Std | Median | Min | Max | n |
+   |----------|------|-----|--------|-----|-----|---|
+   |          |      |     |        |     |     |   |
+
+2. Uji Hipotesis:
+   Uji yang digunakan  : ____________________
+   Justifikasi          : ____________________
+   Hasil: p = ____, effect size (d/r/η²) = ____
+   CI 95%               : [____, ____]
+
+3. Keputusan:
+   [ ] H₀ ditolak → H₁ diterima
+   [ ] H₀ tidak ditolak
+
+4. Interpretasi:
+   Hubungan ke RQ       : ____________________
+   Practical significance: ____________________
+   Perbandingan literatur: ____________________
+
+5. Limitation:
+   | Jenis | Ancaman | Dampak | Mitigasi |
+   |-------|---------|--------|----------|
+   |       |         |        |          |
+
+6. Failure Analysis (jika H₀ tidak ditolak):
+   Penyebab potensial  : ____________________
+   Boundary condition   : ____________________
+   Insight              : ____________________
+```
+
+---
+
+## Latihan 1 — Pemilihan Uji Statistik
+
+Tentukan uji statistik yang tepat untuk eksperimen Anda.
 
 | Pertanyaan | Jawaban |
 |-----------|---------|
-| Arti praktis (bukan hanya statistik)? | |
+| Berapa grup yang dibandingkan? | *Contoh: 3 (BERT, LSTM, SVM)* |
-| Apakah perbedaan cukup besar untuk bermakna? | |
+| Apakah data berpasangan (paired)? | |
-| Bagaimana dibandingkan temuan di literatur? | |
+| Apakah distribusi normal? (uji normalitas) | |
+| **Uji yang dipilih:** | |
+| **Justifikasi:** | |
+
+**Effect size yang akan dilaporkan:** [ ] Cohen's d / [ ] Eta-squared / [ ] Lainnya: ____
+
+---
+
+## Latihan 2 — Interpretasi Hasil
+
+Gunakan data berikut (atau data riil Anda) untuk berlatih interpretasi.
+
+**Data:**
+| Model | Accuracy (mean ± std) | n |
+|-------|----------------------|---|
+| A | 89.2 ± 1.5 | 10 |
+| B | 87.8 ± 2.1 | 10 |
+
+p = 0.045, Cohen's d = 0.74, CI 95% = [0.03, 2.77]
+
+| Aspek | Interpretasi |
+|-------|-------------|
+| Signifikansi statistik | *Contoh: p < 0.05 → signifikan pada α=0.05* |
+| Effect size | *Contoh: d=0.74 → medium-to-large effect* |
+| Practical significance | |
+| Hubungan ke RQ | |
+| Perbandingan literatur | |
 
 ---
 
 ## Latihan 3 — Failure Analysis
 
-### Jika Hipotesis Ditolak:
+Latih kemampuan failure analysis: hipotesis TIDAK didukung. Apa yang bisa dipelajari?
+
+**Skenario:** Metode baru Anda mendapat F1 = 83.2%, baseline = 84.7%. p = 0.12 (tidak signifikan).
 
 | Pertanyaan | Jawaban |
 |-----------|---------|
-| Apakah ada boundary condition? | |
+| Apakah ini "gagal"? | *Contoh: Bukan gagal total — hipotesis tidak terdukung adalah temuan yang valid dan bisa menjadi kontribusi.* |
-| Apakah kegagalan mengungkap insight baru? | |
+| Kemungkinan penyebab? | *Contoh: Metode baru menambah kompleksitas komputasi (+40% waktu) tanpa peningkatan F1 yang cukup — overhead tidak sebanding.* |
-| Apa yang bisa dipelajari? | |
+| Boundary condition? | *Contoh: Metode ini hanya efektif ketika data ≥ 10.000 record; di dataset kecil (<1.000), baseline lebih stabil.* |
+| Insight yang bisa diambil? | *Contoh: Ada trade-off ukuran data vs kompleksitas — rekomendasikan hybrid approach yang adaptif berdasarkan ukuran dataset.* |
+| Apakah layak dilaporkan? Mengapa? | *Contoh: Ya — negative result + boundary condition analysis adalah kontribusi riset yang diakui komunitas (ex: ACL, SIGIR). Mencegah riset duplikasi yang berulang.* |
 
-### Jika Hipotesis Diterima:
+**Limitation terkait:**
-
+| Jenis | Ancaman | Dampak |
-| Pertanyaan | Jawaban |
+|-------|---------|--------|
-|-----------|---------|
+| *Contoh: Statistical* | *Contoh: Hanya 5 run per skenario* | *Power test rendah* |
-| Limitation yang mengurangi kekuatan klaim? | |
+| | | |
-| Apa yang tidak bisa disimpulkan? | |
+| | | |
-| Perlu replikasi di konteks lain? | |
 
 ---
 
 ## Refleksi
 
-> *"p < 0.05 artinya apa secara konkret? Jika efeknya sangat kecil meski signifikan — apakah masih berarti?"*
+> Apakah "failure" dalam riset benar-benar gagal, atau justru kontribusi? Bagaimana failure analysis mengubah cara Anda melihat hasil negatif?
 
-**Jawaban refleksi:**
 > ___________________________________________________
-
+> ___________________________________________________
----
-<!-- Worksheet dari Bab 14 — Data Analysis, Interpretation & Failure Analysis -->

worksheets/ws-15-scientific-writing.md

@@ -1,91 +1,177 @@
-# WS-15: Scientific Writing
+# WS-15: Scientific Writing
-> **Bab Terkait:** Bab 15 — Scientific Writing
+
-> **Tujuan:** Menyusun outline paper IMRAD, memeriksa konsistensi, dan melatih alur paragraf
+> **Bab 15 — Penulisan Ilmiah**
-> **Referensi:** Lampiran B.15 | Template A.15
 
 ---
 
-## Latihan 1 — IMRAD Outline
+## Ringkasan Materi
 
-### Introduction
+### Scientific Argument Flow
-| # | Konten Utama | Target Kata |
-|---|-------------|------------|
-| 1 | | |
-| 2 | | |
-| 3 | | |
 
-### Method
+```
-| # | Konten Utama | Target Kata |
+Problem → Gap → RQ → Method → Result → Analysis → Conclusion → Contribution
-|---|-------------|------------|
+```
-| 1 | | |
-| 2 | | |
-| 3 | | |
 
-### Results
+Paper ilmiah adalah **satu argumen utuh** dari masalah ke kontribusi. Setiap node harus terhubung logis ke node sebelum dan sesudahnya.
-| # | Konten Utama | Target Kata |
-|---|-------------|------------|
-| 1 | | |
-| 2 | | |
-| 3 | | |
 
-### Discussion
+### Struktur IMRAD
-| # | Konten Utama | Target Kata |
-|---|-------------|------------|
-| 1 | | |
-| 2 | | |
-| 3 | | |
 
-### Conclusion
+| Section | Peran | Pertanyaan Kunci |
-| # | Konten Utama | Target Kata |
+|---------|-------|-----------------|
-|---|-------------|------------|
+| **Introduction** | Motivasi + frame | Why is this needed? |
-| 1 | | |
+| **Method** | Deskripsi (reproducible) | How was it done? |
-| 2 | | |
+| **Results** | Laporan objektif | What was found? |
+| **Discussion** | Interpretasi + refleksi | What does it mean? |
+| **Conclusion** | Ringkasan + kontribusi | So what? |
+
+### Logical Flow — "Red Thread"
+
+Setiap paragraf menjawab satu pertanyaan dan memicu pertanyaan berikutnya. Alur logis ini harus terasa di tiga level:
+1. **Antar-kalimat** dalam paragraf
+2. **Antar-paragraf** dalam section
+3. **Antar-section** dalam paper
+
+### Internal Consistency
+
+Setiap elemen yang dijanjikan di Introduction harus hadir di Discussion/Conclusion.
+
+**Consistency Matrix:**
+```
+           Intro  Method  Result  Discuss  Conclude
+RQ1          ✓      ✓       ✓       ✓        ✓
+RQ2          ✓      ✓       ✓       ✗ ←      ✓
+Metrik-X     ✗      ✗       ✓ ←     ✗        ✗
+```
+**Masalah:** RQ2 dibahas di semua bagian kecuali Discussion. Metrik-X muncul di Result tapi tidak diperkenalkan di Method.
+
+### Writing Quality Triad
+
+| Kualitas | Deskripsi | Contoh Buruk → Baik |
+|----------|----------|---------------------|
+| **Clarity** | Dipahami sekali baca | "Performa meningkat" → "Accuracy meningkat dari 85.3% ke 89.7%" |
+| **Precision** | Istilah eksak, tanpa ambiguitas | "signifikan" → "signifikan secara statistik (p=0.003, d=1.2)" |
+| **Conciseness** | Setiap kata menambah informasi | Hapus kalimat redundan, filler words |
+
+### Urutan Penulisan yang Disarankan
+
+1. **Method & Results** — paling stabil, tulis pertama
+2. **Discussion** — interpretasi berdasarkan hasil
+3. **Introduction** — frame sesuai temuan aktual
+4. **Abstract & Conclusion** — terakhir
+
+### Target Jumlah Kata
+
+| Section | Target |
+|---------|--------|
+| Introduction | 500–700 |
+| Related Work | 700–1000 |
+| Method | 800–1200 |
+| Results | 500–800 |
+| Discussion | 600–900 |
+| Conclusion | 200–400 |
+
+### Jebakan Kognitif
+
+1. "Lebih panjang = lebih lengkap" → conciseness lebih berharga
+2. "Introduction harus ditulis pertama" → justru ditulis terakhir
+3. "Jargon teknis = lebih ilmiah" → clarity lebih penting
+4. "Discussion = ringkasan Results" → Discussion = interpretasi + konteks
+
+---
+
+## Template A.15 — Paper Structure Checklist
+
+```
+PAPER STRUCTURE CHECKLIST
+
+Title   : ____________________
+Target  : [ ] Jurnal  [ ] Konferensi  [ ] Laporan
+
+Section Check:
+  [ ] Abstract — masalah, metode, hasil utama, kontribusi (max 250 kata)
+  [ ] Introduction — konteks → gap → RQ → kontribusi → struktur paper
+  [ ] Related Work — concept-centric, gap positioning
+  [ ] Method — reproducible: desain, variabel, metrik, setup, prosedur
+  [ ] Results — tabel + grafik + observasi (tanpa interpretasi)
+  [ ] Discussion — interpretasi, perbandingan, implikasi, limitation
+  [ ] Conclusion — jawaban RQ, kontribusi, future work
+
+Consistency Matrix:
+  [ ] RQ di Introduction = RQ di Method = RQ di Conclusion
+  [ ] Variabel di Method = variabel di Results
+  [ ] Klaim di Discussion didukung data di Results
+  [ ] Limitasi di Discussion di-address di Conclusion/Future Work
+
+Writing Quality:
+  [ ] Clarity — mudah dipahami tanpa re-read
+  [ ] Precision — tidak ada istilah ambigu
+  [ ] Conciseness — tidak ada kalimat redundan
+```
+
+---
+
+## Latihan 1 — Paper Outline
+
+Buat outline paper untuk riset Anda menggunakan struktur IMRAD.
+
+| Section | Konten Utama (2-3 kalimat) | Target Kata |
+|---------|---------------------------|------------|
+| Abstract | *Contoh: Sistem rekomendasi memiliki akurasi tinggi tapi satisfaction rendah. Studi ini menguji CF+context signal. Hasil: satisfaction naik 38% tanpa penurunan RMSE signifikan.* | 200-250 |
+| Introduction | *Contoh: Konteks: gap antara akurasi dan kepuasan pengguna. Gap: tidak ada studi yang mengkombinasikan CF+context. RQ: apakah CF+context meningkatkan satisfaction?* | 500-700 |
+| Related Work | | 700-1000 |
+| Method | | 800-1200 |
+| Results | | 500-800 |
+| Discussion | | 600-900 |
+| Conclusion | | 200-400 |
 
 ---
 
 ## Latihan 2 — Consistency Matrix
 
-| RQ | Introduction | Method | Results | Discussion | Conclusion |
+Buat consistency matrix untuk memverifikasi internal consistency paper Anda.
-|----|-------------|--------|---------|-----------|-----------|
+
+|  | Intro | Method | Result | Discussion | Conclusion |
+|--|-------|--------|--------|-----------|-----------|
+| *Contoh: RQ1* | *✓* | *✓* | *✓* | *✓* | *✓* |
+| *Contoh: Metrik-X* | *✗ ←* | *✗ ←* | *✓* | *✗ ←* | *✗ ←* |
 | RQ1 | | | | | |
-| RQ2 (jika ada) | | | | | |
+| RQ2 | | | | | |
+| Metrik utama | | | | | |
+| Variabel IV | | | | | |
+| Variabel DV | | | | | |
+| Klaim/kontribusi | | | | | |
+
+**Isi setiap sel:** ✓ (ada & konsisten), ✗ (missing), ~ (ada tapi inkonsisten)
 
 **Inkonsistensi yang ditemukan:**
 > ___________________________________________________
 
-**Perbaikan:**
+**Tindakan perbaikan:**
 > ___________________________________________________
 
 ---
 
-## Latihan 3 — Paragraph-Level Flow
+## Latihan 3 — Writing Quality Check
 
-**Section yang dipilih:** Discussion
+Ambil satu paragraf dari tulisan Anda (atau tulis paragraf baru) dan evaluasi kualitasnya.
 
-**Paragraf 1:**
+**Paragraf asli:**
-> Kalimat topik: ________________________________________
+> (tempel paragraf Anda di sini)
-> Bukti pendukung: ______________________________________
-> Transisi ke paragraf 2: ________________________________
 
-**Paragraf 2:**
+| Kriteria | Evaluasi | Perbaikan |
-> Kalimat topik: ________________________________________
+|----------|---------|-----------|
-> Bukti pendukung: ______________________________________
+| Clarity | *Contoh: kalimat ke-3 ambigu — "performa" bisa berarti accuracy atau speed* | *Ubah menjadi: "accuracy meningkat..."* |
-> Transisi ke paragraf 3: ________________________________
+| Precision | | |
+| Conciseness | | |
 
-**Paragraf 3:**
+**Paragraf setelah perbaikan:**
-> Kalimat topik: ________________________________________
+> (tulis paragraf yang sudah diperbaiki)
-> Bukti pendukung: ______________________________________
-
-**Evaluasi flow:** [ ] Logis / [ ] Perlu perbaikan transisi
 
 ---
 
 ## Refleksi
 
-> *"Jika saya membaca paper saya sebagai reviewer yang skeptis — di mana saya akan berhenti dan berkata 'ini tidak convincing'?"*
+> Apa perbedaan antara menulis "tentang" riset dan menulis sebagai "argumen" riset? Bagaimana urutan penulisan (Method → Discussion → Introduction) mengubah kualitas tulisan?
 
-**Jawaban refleksi:**
 > ___________________________________________________
-
+> ___________________________________________________
----
-<!-- Worksheet dari Bab 15 — Scientific Writing -->

worksheets/ws-16-presentation-defense.md

@@ -1,72 +1,177 @@
-# WS-16: Presentation & Defense
+# WS-16: Presentation & Defense (UAS)
-> **Bab Terkait:** Bab 16 — Presentation & Defense
+
-> **Tujuan:** Menyusun slide deck, mempersiapkan anticipatory defense, dan berlatih presentasi
+> **Bab 16 — Presentasi & Pertahanan Ilmiah**
-> **Referensi:** Lampiran B.16 | Template A.16
 
 ---
 
-## Latihan 1 — Slide Deck
+## Ringkasan Materi
 
-Prinsip: 1 slide = 1 pesan, visual > text, build progression.
+### Scientific Defense Model
 
-| Slide # | Judul | Pesan Utama | Visual/Data |
+```
-|---------|-------|------------|------------|
+Research Work → Presentation → Questioning → Defense → Evaluation → Acceptance
-| 1 | Title & Context | | |
+```
-| 2 | Problem & Gap | | |
-| 3 | Research Question | | |
-| 4 | Method Overview | | |
-| 5 | System Architecture | | |
-| 6 | Experiment Design | | |
-| 7 | Result — Tabel | | |
-| 8 | Result — Grafik | | |
-| 9 | Analysis & Interpretation | | |
-| 10 | Discussion & Limitation | | |
-| 11 | Conclusion & Contribution | | |
-| 12 | Future Work | | |
 
-**Total slide konten:** _________________________________
+### Presentasi ≠ Ringkasan Paper
+
+| Paper | Presentasi |
+|-------|-----------|
+| Dibaca (self-paced) | Didengar (presenter-paced) |
+| Detail lengkap | Ide kunci + highlight |
+| Tabel numerik detail | Grafik visual + angka kunci |
+| Pembaca bisa re-read | Audiens dengar sekali |
+
+**Prinsip:** Presentasi membutuhkan **reformulasi**, bukan kompresi. Medium berbeda = pendekatan berbeda.
+
+### Claim-Evidence-Reasoning (CER)
+
+Setiap jawaban defense harus memiliki:
+1. **Claim** — Pernyataan yang dijawab
+2. **Evidence** — Data/fakta pendukung
+3. **Reasoning** — Logika yang menghubungkan evidence ke claim
+
+**Contoh:**
+| Pertanyaan | Bad Answer | Good Answer (CER) |
+|-----------|-----------|-------------------|
+| "Kenapa hanya 3 dataset?" | "Tiga sudah cukup" | "3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy [E]. Generalisasi perlu validasi lanjut — listed as limitation [R]" |
+| "Hasil DS-3 menurun?" | "Itu outlier" | "Ya, karena distribusi heavy-tail melanggar asumsi Gaussian [E]. Ini menunjukkan boundary condition metode [R]" |
+| "Effect size?" | "p=0.003, jadi signifikan" | "Cohen's d=1.2 (large effect) [E] — bukan hanya signifikan tapi substansial [R]" |
+
+### Slide Design — One Slide, One Message
+
+**Optimal 9-Slide Plan (15 menit):**
+
+| # | Slide | Waktu | Pesan |
+|---|-------|-------|-------|
+| 1 | Title + context | 1 min | Apa ini tentang apa |
+| 2 | Problem + motivation | 2 min | Mengapa penting |
+| 3 | Gap + RQ | 1.5 min | Apa yang belum terjawab |
+| 4 | Method overview | 2 min | Bagaimana dijawab (diagram) |
+| 5 | Key result — tabel | 2 min | Temuan utama |
+| 6 | Key result — grafik | 2 min | Pola visual |
+| 7 | Interpretation + failure | 2 min | Apa artinya |
+| 8 | Limitation + future | 1.5 min | Batasan & arah |
+| 9 | Conclusion + contribution | 1 min | Closing message |
+
+### Anticipatory Defense
+
+Prediksi pertanyaan berdasarkan kategori:
+
+| Kategori | Contoh Pertanyaan |
+|---------|------------------|
+| Problem | "Mengapa masalah ini penting?" |
+| Gap | "Bagaimana dengan studi X yang sudah menjawab ini?" |
+| Method | "Mengapa metode ini, bukan Y?" |
+| Results | "Bagaimana menjelaskan anomali di DS-3?" |
+| Generalization | "Apakah bisa diterapkan di domain lain?" |
+
+### Tiga Prinsip Jawaban
+
+1. **Direct** — Jawab dulu, elaborasi kemudian
+2. **Data-based** — Tunjuk evidence spesifik
+3. **Honest** — Akui limitasi jika memang ada
+
+### Jebakan Kognitif
+
+1. "Presentasi = semua yang ada di paper" → terlalu padat
+2. "Slide cantik = presentasi bagus" → konten > estetika
+3. "Tidak bisa jawab = gagal" → "I don't know, but..." menunjukkan kejujuran
+4. "Tidak perlu latihan — saya paham riset saya" → latihan = menemukan celah
+
+---
+
+## Template A.16 — Defense Preparation Sheet
+
+```
+DEFENSE PREPARATION
+
+Slide Deck Plan:
+  Total slides   : ____ (target: 10-12 konten + title/closing)
+  Time per slide : ~2 min
+  Total time     : ____ menit
+
+Slide Outline:
+| # | Pesan Utama | Visual | Waktu |
+|---|-------------|--------|-------|
+| 1 | Title       |        | 30s   |
+| 2 | Problem     |        | 2min  |
+| 3 | Gap + RQ    |        | 2min  |
+| ..|             |        |       |
+
+Anticipatory Defense Matrix:
+| Kategori | Pertanyaan Potensial | Jawaban (CER) |
+|----------|---------------------|---------------|
+| Problem  |                     |               |
+| Gap      |                     |               |
+| Method   |                     |               |
+| Results  |                     |               |
+| Generalization |               |               |
+
+Latihan:
+  Latihan 1: [tanggal] — [catatan timing & feedback]
+  Latihan 2: [tanggal] — [catatan timing & feedback]
+  Latihan 3: [tanggal] — [catatan timing & feedback]
+```
+
+---
+
+## Latihan 1 — Slide Outline
+
+Rencanakan presentasi 15 menit untuk riset Anda.
+
+| # | Pesan Utama | Visual yang Digunakan | Waktu |
+|---|-------------|----------------------|-------|
+| 1 | *Contoh: Judul + konteks — rekomendasi vs kepuasan* | *Title slide, gambar sistem* | *1 min* |
+| 2 | *Contoh: Problem — RMSE tinggi tapi satisfaction rendah (45/100)* | *Bar chart: satisfaction vs RMSE per sistem* | *2 min* |
+| 3 | *Contoh: Gap + RQ — belum ada CF+context untuk satisfaction* | *Tabel gap literatur* | *1.5 min* |
+| 4 | | | |
+| 5 | | | |
+| 6 | | | |
+| 7 | | | |
+| 8 | | | |
+| 9 | | | |
+
+**Total waktu estimasi:** ____ menit
 
 ---
 
 ## Latihan 2 — Anticipatory Defense
 
-Gunakan framework CER: Claim-Evidence-Reasoning.
+Prediksi 5 pertanyaan yang mungkin diajukan penguji, lalu siapkan jawaban CER.
 
-| Kategori | Pertanyaan Potensial | Claim | Evidence | Reasoning |
+| # | Kategori | Pertanyaan | Claim | Evidence | Reasoning |
-|----------|---------------------|-------|---------|-----------|
+|---|----------|-----------|-------|----------|-----------|
-| Problem | | | | |
+| 1 | *Problem* | *Contoh: Mengapa fokus kepuasan, bukan akurasi?* | *Akurasi tinggi tidak menjamin kepuasan* | *Survey: 45/100 satisfaction meski RMSE 0.87* | *Gap antara metrik teknis dan pengalaman pengguna* |
-| Gap | | | | |
+| 2 | *Method* | *Contoh: Mengapa hanya 3 dataset?* | *3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy* | *Tabel karakteristik dataset di Bab Method* | *Generalisasi perlu validasi lanjut — tercatat sebagai limitasi* |
-| Method | | | | |
+| 3 | | | | | |
-| Results | | | | |
+| 4 | | | | | |
-| Generalization | | | | |
+| 5 | | | | | |
 
 ---
 
-## Latihan 3 — Presentasi & Feedback
+## Latihan 3 — Simulasi Q&A
 
-**Durasi presentasi:** __________________________________
+Minta teman/kolega mengajukan 3 pertanyaan tentang riset Anda. Catat pertanyaan dan evaluasi jawaban Anda.
-**Audience:** ___________________________________________
 
-| Aspek | Feedback | Perbaikan |
+| # | Pertanyaan | Jawaban Saya | Evaluasi |
-|-------|---------|----------|
+|---|-----------|-------------|---------|| *1* | *Contoh: "Mengapa tidak membandingkan dengan metode Y?"* | *Contoh: "Karena Y memerlukan dataset labeled yang tidak tersedia. Disebutkan sebagai limitasi di halaman X."* | *[✓] Direct [✓] Data-based [✓] Honest* || 1 | | | [ ] Direct [ ] Data-based [ ] Honest |
-| Timing | | |
+| 2 | | | [ ] Direct [ ] Data-based [ ] Honest |
-| Kejelasan narasi | | |
+| 3 | | | [ ] Direct [ ] Data-based [ ] Honest |
-| Slide yang membingungkan | | |
-| Pertanyaan dari audience | | |
 
-**Elevator pitch (2 menit, tanpa slide):**
+**Pertanyaan yang paling sulit dijawab:**
-> ___________________________________________________
 > ___________________________________________________
+
+**Apa yang perlu disiapkan lebih baik:**
 > ___________________________________________________
 
 ---
 
 ## Refleksi
 
-> *"Bisakah saya menjelaskan inti riset saya dalam 2 menit tanpa slide — dan tetap meyakinkan?"*
+> Dari seluruh proses WS-01 sampai WS-16 — dari paradigma riset hingga presentasi — bagian mana yang paling mengubah cara Anda berpikir tentang riset? Apa satu hal yang akan selalu Anda terapkan di riset berikutnya?
 
-**Jawaban refleksi:**
+**Insight terbesar:**
 > ___________________________________________________
 
----
+**Yang akan selalu diterapkan:**
-<!-- Worksheet dari Bab 16 — Presentation & Defense -->
+> ___________________________________________________