helmi-upb/riset-teknologi-informasi
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

feat: rewrite all 16 worksheets with full learning material

Browse source 
Each worksheet now includes Ringkasan Materi, Template A.x,
3 exercises with example answers, and reflection prompts.
Synced from rti-20252 student repo.
This commit is contained in:
hb_alim 2026-03-31 10:58:25 +07:00
parent 34b4a3fe78
commit b488de8a09
16 changed files with 2111 additions and 678 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

128
worksheets/ws-01-distorsi-paradigma.md
View file

@ -1,7 +1,78 @@
# WS-01: Distorsi & Paradigma
> **Bab Terkait:** Bab 1 — Research Mindset in IT
> **Tujuan:** Mengidentifikasi potensi distorsi dalam rantai riset dan menentukan posisi paradigma
> **Referensi:** Lampiran B.1 | Template A.1
> **Bab 1 — Research Mindset in IT**
---
## Ringkasan Materi
### Research Trust Model
Pengetahuan ilmiah tidak muncul langsung dari kenyataan. Ia melewati **6 tahap transformasi** yang masing-masing rawan distorsi:
```
Reality → Data → Processing → Analysis → Inference → Knowledge
```
Etika mencegah distorsi yang disengaja (fabrikasi, cherry-picking). Validitas mendeteksi distorsi yang tidak disengaja (confounding variable, sampling bias).
### Tiga Jenis Validitas
| Jenis | Pertanyaan | Contoh Ancaman |
|-------|-----------|----------------|
| **Internal Validity** | Apakah hubungan kausal benar ada? | Confounding variable |
| **External Validity** | Apakah bisa digeneralisasi? | Dataset terlalu homogen |
| **Construct Validity** | Apakah mengukur hal yang benar? | Metrik tidak sesuai klaim |
### Paradigma Riset
Mata kuliah ini menggunakan pendekatan **Positivist** (fenomena TI bisa diukur objektif melalui eksperimen terkontrol) diperkuat **Design Science Research** (artefak dibuat sebagai instrumen pengujian hipotesis, bukan tujuan akhir).
### Mode Berpikir Peneliti
**Curious** (mempertanyakan fenomena) → **Critical** (mengevaluasi klaim berdasarkan bukti) → **Systematic** (merancang investigasi terstruktur dan reproducible).
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan | Membuat sistem yang bekerja | Menghasilkan pengetahuan yang valid |
| Pertanyaan khas | "Bagaimana membuatnya jalan?" | "Apakah klaim ini benar?" |
| Ukuran sukses | Sistem berfungsi, client puas | Hipotesis terjawab, temuan tervalidasi |
| Kegagalan | Harus dihindari | Harus dilaporkan (negative result = kontribusi) |
### Istilah Penting
- **Research Mindset** — Pola pikir yang menuntut bukti dan mempertanyakan asumsi
- **Research Ethics** — Prinsip perilaku: kejujuran, objektivitas, keterbukaan, akuntabilitas
- **HARKing** — Hypothesizing After Results are Known — merumuskan hipotesis setelah melihat data
- **Falsifiability** — Hipotesis harus bisa dibuktikan salah
---
## Template A.1 — Research Mindset Self-Assessment
```
Nama Peneliti : ____________________
Tanggal : ____________________
1. Ketika membaca klaim "metode X 95% akurat":
- Pertanyaan pertama saya: ____________________
- Data yang dibutuhkan untuk verifikasi: ____________________
2. Posisi paradigma:
- Pendekatan: [ ] Positivis [ ] Interpretivis [ ] Design Science [ ] Mixed
- Alasan: ____________________
3. Identifikasi distorsi:
- Asumsi tersembunyi: ____________________
- Sumber bias potensial: ____________________
- Langkah mitigasi: ____________________
4. Komitmen etika:
- Data yang tidak akan dimanipulasi: ____________________
- Batasan yang diakui sejak awal: ____________________
```
---
@ -15,7 +86,7 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor
| Tahap | Apa yang Dilakukan | Potensi Distorsi |
|-------|-------------------|-----------------|
| Reality → Data | | |
| Reality → Data | *Contoh: Kumpulkan log server 30 hari* | *Contoh: Hanya ambil jam sibuk* |
| Data → Processing | | |
| Processing → Analysis | | |
| Analysis → Inference | | |
@ -33,11 +104,9 @@ Pilih satu paper riset di bidang TI yang mengklaim "metode X meningkatkan perfor
Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, hasil eksperimennya menjadi signifikan. Dengan outlier, hasilnya tidak signifikan.
**Apa yang seharusnya dilakukan?**
| Perspektif | Analisis |
|------------|---------|
| Kejujuran ilmiah | |
| Kejujuran ilmiah | *Contoh: Laporkan kedua versi (dengan dan tanpa outlier)* |
| Transparansi | |
| Peer review | |
@ -52,7 +121,7 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha
| Kriteria | Positivis | Interpretivis | Design Science |
|----------|-----------|---------------|----------------|
| Kesesuaian dengan topik (1–5) | | | |
| Kesesuaian dengan topik (1–5) | *Contoh: 4* | *Contoh: 2* | *Contoh: 5* |
| Jenis data yang dikumpulkan | | | |
| Limitasi paradigma | | | |
@ -63,47 +132,8 @@ Skenario: Seorang peneliti menemukan bahwa jika 3 data point outlier dihapus, ha
## Refleksi
> *"Sebelum membaca bab ini, apakah saya pernah mempertanyakan klaim '95% akurat'? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan saya ajukan?"*
> Sebelum membaca materi ini, apakah pernah mempertanyakan klaim "95% akurat"? Setelah memahami rantai distorsi, pertanyaan apa yang sekarang akan diajukan saat membaca paper?
**Jawaban refleksi:**
**Jawaban:**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 1 — Research Mindset in IT -->
---
## Bagian 2 — Masalah
**Apa masalahnya?**
> [Tulis masalah spesifik, bukan keluhan umum]
**Siapa yang terdampak?**
> [Stakeholder]
**Apa akibatnya jika tidak diselesaikan?**
> [Impact]
---
## Bagian 3 — Problem Statement
**Versi 1 (draft):**
> [Tulis problem statement pertama]
**Versi 2 (refined):**
> [Perbaiki setelah review]
---
## Checklist Validasi
- [ ] Spesifik (bukan terlalu luas)
- [ ] Measureable (bisa diukur)
- [ ] Relevan dengan bidang TI/SE
- [ ] Feasible (bisa diselesaikan dalam scope riset)
- [ ] Bukan sekedar "implementasi sistem"
---
<!-- Template ini akan di-expand saat Bab 2 selesai ditulis -->

172
worksheets/ws-02-problem-statement.md
View file

@ -1,71 +1,163 @@
# WS-02: Problem Statement
> **Bab Terkait:** Bab 2 — Problem Formulation & System Context
> **Tujuan:** Merumuskan problem statement yang tajam dan terukur
> **Referensi:** Lampiran B.2 | Template A.2
# WS-02: Problem Statement
> **Bab 2 — Problem Formulation & System Context**
---
## Refleksi 1 — Masalah atau Solusi?
## Ringkasan Materi
**Topik riset dalam satu kalimat:**
> ___________________________________________________
### Problem Formation Model
**Apakah ini masalah riset atau solusi yang disamarkan sebagai masalah?**
- [ ] Masalah riset
- [ ] Solusi yang disamarkan
Masalah riset melewati 5 tahap transformasi. Melompat langsung dari Reality ke Variable adalah kesalahan paling umum.
**Jika solusi — mundur satu langkah. Masalah yang mendasari:**
> ___________________________________________________
```
Reality → Observed Issue (Symptom) → Diagnosed Problem (Root Cause)
→ Researchable Problem (Scoped) → Measurable Variable (Operationalized)
```
### Topic ≠ Problem ≠ Research Problem
| Level | Contoh | Status |
|-------|--------|--------|
| **Topik** | Keamanan IoT | Terlalu luas, tidak bisa diuji |
| **Problem** | MQTT tidak terenkripsi | Spesifik tapi belum riset |
| **Research Problem** | Belum ada studi membandingkan overhead TLS 1.3 vs DTLS pada MQTT di IoT RAM < 64KB | Bisa dirancang eksperimennya |
### Symptom vs Root Cause
Apa yang diamati (gejala) ≠ mengapa terjadi (akar masalah). Gunakan **5 Whys** atau **Fishbone Diagram** untuk menggali.
Contoh: "User meninggalkan checkout" (symptom) → "Waktu loading > 8 detik karena API call sequential" (root cause).
### System Thinking
Setiap masalah riset TI harus terikat pada komponen sistem: **Input → Process → Output → Outcome → Constraints → Stakeholders**.
### Problem Quality Check
Masalah riset yang layak harus memenuhi 5 kriteria:
- **Clarity** — Satu orang membaca akan paham
- **Measurability** — Ada metrik kuantitatif
- **Relevance** — Penting untuk domain
- **Testability** — Bisa gagal (falsifiable)
- **Impact** — Ada kontribusi jika terjawab
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan | Menyelesaikan masalah (*solve*) | Memahami dan membuktikan (*understand & prove*) |
| Masalah | Bug, error, fitur belum ada | Gap dalam pengetahuan |
| Scope | Selesaikan semua yang perlu | Batasi agar bisa dibuktikan |
| Output | Working system | Evidence, paper, replicable findings |
### Istilah Penting
- **Problem Statement** — Formulasi tertulis: konteks sistem + gap + dampak + justifikasi
- **System Context** — Deskripsi lengkap: input, proses, output, outcome, constraints, stakeholders
- **Problem Drift** — Masalah "bermutasi" dari pendahuluan ke metodologi karena statement awal tidak presisi
- **Solution-First Thinking** — Memulai dari solusi tanpa masalah yang jelas — berbahaya dalam riset
- **Operational Definition** — Definisi variabel yang cukup jelas agar peneliti lain bisa mengukur hal yang sama
---
## Refleksi 2 — System Context
## Template A.2 — Problem Statement Builder
```
PROBLEM STATEMENT BUILDER
Domain & Konteks
Domain : ____________________
Konteks : ____________________
System Context
Input : ____________________
Process : ____________________
Output : ____________________
Outcome : ____________________
Constraints : ____________________
Stakeholders: ____________________
Fenomena → Problem
Fenomena yang diamati : ____________________
Gejala (symptom) yang terukur : ____________________
Masalah yang didiagnosis : ____________________
Masalah riset (researchable) : ____________________
Variabel yang terukur : ____________________
Problem Quality Check
[ ] Clarity — Apakah satu orang membaca akan paham?
[ ] Measurability — Apakah ada metrik kuantitatif?
[ ] Relevance — Apakah penting untuk domain?
[ ] Testability — Apakah bisa gagal?
[ ] Impact — Apakah ada kontribusi jika terjawab?
Problem Statement (1 paragraf):
____________________
```
---
## Latihan 1 — Dari Topik ke Masalah Riset
Pilih satu topik di bidang TI yang diminati. Transformasikan melalui 5 tahap Problem Formation Model.
**Topik awal:** ________________________________________
| Tahap | Hasil |
|-------|-------|
| Reality | *Contoh: Aplikasi e-commerce sering ditinggalkan saat checkout* |
| Observed Issue (Symptom) | *Contoh: Bounce rate checkout 68%* |
| Diagnosed Problem (Root Cause) | |
| Researchable Problem | |
| Measurable Variable | |
**Apakah terjebak solution-first thinking?** [ ] Ya / [ ] Tidak
> Jika ya, kembali ke tahap mana? ________________________
---
## Latihan 2 — System Context Decomposition
Gambarkan konteks sistem dari masalah riset di Latihan 1.
| Komponen | Deskripsi |
|----------|----------|
| Input | |
| Input | *Contoh: Request HTTP dari browser pengguna* |
| Process | |
| Output | |
| Outcome | |
| Constraints | |
| Stakeholders | |
**Komponen yang paling sulit diisi:** ______________________
**Mengapa:** ___________________________________________
**Komponen mana yang paling relevan dengan masalah riset?** _______________
---
## Praktis 1 — Problem Formation Model
## Latihan 3 — Problem Quality Check
| Tahap | Isian |
|-------|-------|
| Reality | |
| Symptom | |
| Diagnosed Problem | |
| Researchable Problem | |
| Measurable Variable | |
Evaluasi problem statement yang sudah dibuat menggunakan 5 kriteria.
---
## Praktis 2 — Problem Quality Evaluation
| Kriteria | Skor (1–5) | Catatan |
|----------|-----------|--------|
| Clarity | | |
| Kriteria | Skor (1-5) | Justifikasi |
|----------|-----------|-------------|
| Clarity | *Contoh: 4 — cukup jelas tapi perlu spesifikasi dataset* | |
| Measurability | | |
| Relevance | | |
| Testability | | |
| Impact | | |
**Skor rekan (independen):**
**Skor total:** _____ / 25
| Kriteria | Skor Sendiri | Skor Rekan | Selisih |
|----------|-------------|-----------|---------|
| Clarity | | | |
| Measurability | | | |
| Relevance | | | |
| Testability | | | |
| Impact | | | |
**Problem statement versi final (1 paragraf):**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 2 — Problem Formulation & System Context -->
## Refleksi
> Bandingkan "masalah" yang biasa ditemui saat coding (bug, error) dengan masalah riset. Apa perbedaan fundamental dalam cara mendefinisikan dan mendekati keduanya?
**Jawaban:**
> ___________________________________________________
> ___________________________________________________

158
worksheets/ws-03-literature-gap.md
View file

@ -1,26 +1,118 @@
# WS-03: Literature Mapping & Gap
> **Bab Terkait:** Bab 3 — Literature Review, Research Gap & Baseline
> **Tujuan:** Memetakan literatur secara sistematis dan mengidentifikasi gap
> **Referensi:** Lampiran B.3 | Template A.3
# WS-03: Literature Mapping & Gap
> **Bab 3 — Literature Review, Research Gap & Baseline**
---
## Ringkasan Materi
### Literature Review = Positioning, Bukan Ringkasan
Literature review bukan merangkum paper satu per satu. Pendekatan yang benar adalah **concept-centric** — organisasi berdasarkan tema, metode, atau variabel. Tujuan: menemukan **pola, kontradiksi, dan gap**.
### Empat Jenis Research Gap
| Jenis Gap | Deskripsi | Contoh |
|-----------|----------|--------|
| **Performance Gap** | Performa belum memadai | Akurasi deteksi hanya 78% pada kasus tertentu |
| **Method Gap** | Pendekatan belum diterapkan | Belum ada yang pakai transformer untuk task ini |
| **Data Gap** | Dataset terbatas/tidak representatif | Semua studi pakai dataset sintetis |
| **Context Gap** | Belum diuji pada konteks berbeda | Belum ada evaluasi di negara berkembang |
Gap terkuat = kombinasi 2+ jenis.
### Systematic Search Strategy
1. **Database**: IEEE Xplore, ACM DL, Scopus, Google Scholar
2. **Boolean query** yang terdokumentasi eksplisit
3. **Snowballing**: backward (telusuri referensi) + forward (cari yang mengutip)
4. Klaim "belum ada penelitian" harus didukung **bukti pencarian**
### Baseline Selection — 3 Kriteria
| Kriteria | Pertanyaan |
|----------|-----------|
| **Relevan** | Apakah menyelesaikan masalah yang sama? |
| **Representatif** | Apakah mewakili common practice? |
| **State-of-the-Art** | Apakah terbaru/terbaik? |
Membandingkan deep learning 2024 dengan decision tree sederhana tanpa justifikasi = **straw man comparison** (perbandingan tidak jujur).
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan baca literatur | Mencari solusi yang sudah ada | Memahami apa yang belum terjawab |
| Cara membaca paper | Tutorial, how-to | Metode, limitasi, gap |
| Baseline | Framework terpopuler | State-of-the-art yang rigorous |
| Dokumentasi pencarian | Tidak diperlukan | Wajib (reproducible) |
### Istilah Penting
- **Concept-centric** — Organisasi literatur berdasarkan konsep/metode, bukan per penulis
- **Snowballing** — Backward (telusuri referensi) + Forward (cari yang mengutip paper kunci)
- **Research Position** — Pernyataan eksplisit posisi riset terhadap studi sebelumnya
- **Straw man comparison** — Memilih baseline lemah agar metode sendiri terlihat lebih baik
---
## Template A.3 — Literature Mapping & Gap Identification
```
LITERATURE MAPPING
Topik : ____________________
Database : ____________________
Query : ____________________
Tahun : ____________________
Hasil awal : ____ paper → Screening → ____ paper final
Literature Matrix (concept-centric):
| Study | Tahun | Method | Data | Result | Limitation |
|-------|-------|--------|------|--------|------------|
| | | | | | |
Pola yang ditemukan:
Metode dominan : ____________________
Dataset umum : ____________________
Limitasi berulang : ____________________
GAP IDENTIFICATION
Gap 1: [Jenis: performance / method / data / context]
Deskripsi : ____________________
Bukti : ____________________
Signifikansi : ____________________
Gap 2: [Jenis: ____]
Deskripsi : ____________________
Bukti : ____________________
Signifikansi : ____________________
Baseline Selection:
| Baseline | Relevansi | Representatif | Source |
|----------|-----------|---------------|--------|
| | | | |
```
---
## Latihan 1 — Concept-Centric Literature Table
**Topik riset:** ________________________________________
Gunakan topik riset dari WS-02. Cari minimal 5 paper relevan menggunakan Google Scholar atau database lain.
| # | Study | Method | Dataset | Result | Limitasi |
|---|-------|--------|---------|--------|----------|
| 1 | | | | | |
| 2 | | | | | |
| 3 | | | | | |
| 4 | | | | | |
| 5 | | | | | |
| 6 | | | | | |
| 7 | | | | | |
| 8 | | | | | |
| 9 | | | | | |
| 10 | | | | | |
**Topik riset:** ________________________________________
**Query pencarian:** ____________________________________
**Database:** ___________________________________________
| # | Study | Tahun | Method | Dataset | Result | Limitasi |
|---|-------|-------|--------|---------|--------|----------|
| 1 | *Contoh: Rahman et al.* | *2023* | *CNN* | *ImageNet subset* | *Acc 91%* | *Hanya 3 kelas* |
| 2 | | | | | | |
| 3 | | | | | | |
| 4 | | | | | | |
| 5 | | | | | | |
**Pola yang terlihat — Metode dominan:** ___________________
**Limitasi yang berulang:** ______________________________
@ -29,39 +121,39 @@
## Latihan 2 — Gap Identification
Berdasarkan tabel di Latihan 1, identifikasi gap.
| Jenis Gap | Ditemukan? | Gap Statement |
|-----------|-----------|---------------|
| Performance Gap | [ ] Ya / [ ] Tidak | |
| Performance Gap | [ ] Ya / [ ] Tidak | *Contoh: Akurasi turun di bawah 80% untuk kelas minoritas* |
| Method Gap | [ ] Ya / [ ] Tidak | |
| Data Gap | [ ] Ya / [ ] Tidak | |
| Context Gap | [ ] Ya / [ ] Tidak | |
**Gap utama yang dipilih:** _____________________________
**Justifikasi mengapa gap ini penting:**
**Mengapa gap ini penting (bukan sekadar "belum ada yang meneliti")?**
> ___________________________________________________
---
## Latihan 3 — Baseline Selection Challenge
## Latihan 3 — Baseline Selection
| # | Baseline | Mengapa Relevan | Mengapa Representatif | Sumber Paper |
|---|----------|----------------|----------------------|-------------|
| 1 | | | | |
| 2 | | | | |
| 3 | | | | |
Pilih 2 baseline dari literatur yang sudah dibaca.
**Evaluasi fairness — Apakah ini straw man comparison?**
- [ ] Tidak — baseline cukup kuat
- [ ] Ya — perlu baseline yang lebih kompetitif
| # | Baseline | Mengapa Relevan | Mengapa Representatif | Apakah SOTA? | Sumber |
|---|----------|----------------|----------------------|-------------|--------|
| 1 | *Contoh: RF + TF-IDF* | *Task sama: klasifikasi teks* | *Dipakai 6 dari 10 paper* | *Bukan, tapi common practice* | *Lee et al., 2022* |
| 2 | | | | | |
**Apakah pemilihan baseline ini bisa dianggap straw man?** [ ] Ya / [ ] Tidak
> Justifikasi: ________________________________________
---
## Refleksi
> *"Sebelum membaca bab ini, bagaimana cara saya membaca paper? Apakah saya merangkum atau menganalisis? Apa yang akan saya ubah?"*
> Apa perbedaan antara "belum ada yang meneliti ini" (klaim tanpa bukti) dengan research gap yang valid? Bagaimana cara membuktikan bahwa sebuah gap benar-benar ada?
**Jawaban refleksi:**
**Jawaban:**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 3 — Literature Review, Research Gap & Baseline -->

184
worksheets/ws-04-rq-hypothesis.md
View file

@ -1,60 +1,168 @@
# WS-04: RQ & Hypothesis
> **Bab Terkait:** Bab 4 — Research Question, Contribution & Hypothesis
> **Tujuan:** Mentransformasi gap menjadi RQ dan merumuskan hipotesis
> **Referensi:** Lampiran B.4 | Template A.4
# WS-04: Research Question & Hypothesis
> **Bab 4 — Research Question, Contribution & Hypothesis**
---
## Ringkasan Materi
### RQ Bukan Pertanyaan Biasa
Research Question yang baik secara implisit mengandung cetak biru eksperimen: subjek, baseline, metrik, domain, dataset.
| Kualitas | Contoh |
|----------|--------|
| **Buruk** | "Bagaimana pengaruh deep learning terhadap deteksi malware?" |
| **Baik** | "Apakah CNN menghasilkan F1-Score lebih tinggi dari RF pada CIC-MalMem-2022?" |
Perbedaan: RQ yang baik menyebutkan **metode spesifik**, **metrik terukur**, **baseline**, dan **dataset**.
### Tiga Jenis RQ
| Jenis | Pola | Kebutuhan |
|-------|------|-----------|
| **Comparison** | A vs B → mana lebih baik? | ≥ 2 metode, metrik sama |
| **Improvement** | A' vs A → modifikasi lebih baik? | Pre/post, bukti perbaikan |
| **Exploratory** | Faktor X₁...Xₙ → pengaruh terhadap Y? | Multi-variabel, korelasi/regresi |
### Contribution Statement
Tiga jenis kontribusi: **Improvement** (metode terbukti lebih baik), **Comparison** (perbandingan sistematis yang belum ada), **Novel Approach** (pendekatan baru). Kontribusi harus terhubung langsung dengan gap — kontribusi tanpa gap = klaim tanpa justifikasi.
### Hypothesis H₀ / H₁
- **H₀** (Null) = Tidak ada perbedaan signifikan — asumsi default, harus dibuktikan salah
- **H₁** (Alternative) = Ada perbedaan signifikan — diterima hanya jika H₀ ditolak
- Harus **falsifiable**, mengandung **metrik terukur**, dirumuskan **SEBELUM eksperimen**
### Rantai Operasionalisasi
```
RQ → Variable → Metric → Data → Analysis
```
Jika rantai ini tidak lengkap, RQ belum mature. Bi-directional: RQ yang tidak bisa jadi hipotesis testable harus direvisi mundur.
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan pertanyaan | Apa yang harus dibangun? | Apa yang harus dibuktikan? |
| Bentuk jawaban | Sistem yang berfungsi | Bukti empiris terukur |
| Sukses diukur oleh | User satisfaction, uptime | Signifikansi statistik, effect size |
| Jika gagal | Debug dan perbaiki | Laporkan, analisis mengapa |
### Istilah Penting
- **Research Question (RQ)** — Pertanyaan spesifik: variabel terukur + metrik + konteks
- **Contribution Statement** — Apa yang diketahui setelah riset selesai yang sebelumnya belum ada
- **H₀ / H₁** — Null vs Alternative Hypothesis
- **Falsifiability** — Kondisi hipotesis ditolak harus bisa didefinisikan sebelum eksperimen
- **Operationalization** — Proses mewujudkan konsep abstrak menjadi variabel terukur
---
## Template A.4 — RQ-Contribution-Hypothesis
```
RQ-CONTRIBUTION-HYPOTHESIS
Gap Statement : ____________________
Research Question:
Tipe : [ ] Comparison [ ] Improvement [ ] Exploratory
Formulasi : ____________________
Variabel IV : ____________________
Variabel DV : ____________________
Metrik : ____________________
Dataset : ____________________
Baseline : ____________________
Quality Check RQ:
[ ] Variabel spesifik
[ ] Metrik jelas
[ ] Baseline ada
[ ] Konteks disebutkan
[ ] Memerlukan eksperimen (bukan hanya survei literatur)
Contribution Statement:
Apa yang baru diketahui : ____________________
Jenis kontribusi : [ ] Improvement [ ] Comparison [ ] Novel approach
Gap yang diisi : ____________________
Hypothesis Pair:
H₀ : ____________________
H₁ : ____________________
Threshold : ____________________
Justifikasi threshold : ____________________
```
---
## Latihan 1 — Dari Gap ke RQ
**Gap statement (dari WS-03 Latihan 2):**
Gunakan gap yang ditemukan di WS-03. Transformasikan menjadi Research Question.
**Gap dari WS-03:** ____________________________________
**RQ versi pertama (tulis bebas):**
> ___________________________________________________
**RQ Draft:**
**Evaluasi RQ:**
| Komponen | Ada? | Isi |
|----------|------|-----|
| Metode spesifik | *Contoh: Ya — CNN vs RF* | |
| Metrik terukur | | |
| Baseline | | |
| Dataset/konteks | | |
**Tipe RQ:** [ ] Comparison / [ ] Improvement / [ ] Exploratory
**RQ versi revisi (setelah evaluasi):**
> ___________________________________________________
**Checklist RQ:**
- [ ] Variabel spesifik disebutkan
- [ ] Metrik jelas
- [ ] Baseline ada
- [ ] Konteks disebutkan
- [ ] Memerlukan eksperimen untuk menjawab
**Jenis RQ:** [ ] Descriptive / [ ] Comparative / [ ] Relational
---
## Latihan 2 — Contribution Statement
## Latihan 2 — Hypothesis Pair
| Komponen | Isian |
|----------|-------|
| Apa yang akan diketahui setelah riset | |
| Jenis contribution | |
| Gap spesifik yang diisi | |
Rumuskan pasangan hipotesis dari RQ di Latihan 1.
---
## Latihan 3 — Hypothesis Pair
| Komponen | Isian |
|----------|-------|
| H$_0$ (Null Hypothesis) | |
| H$_1$ (Alternative Hypothesis) | |
| Komponen | Isi |
|----------|-----|
| H₀ | *Contoh: Tidak ada perbedaan signifikan F1-Score antara CNN dan RF pada dataset CIC-MalMem-2022* |
| H₁ | |
| Metrik | |
| Threshold | |
| Justifikasi threshold | |
**Apakah hipotesis bisa gagal?**
- [ ] Ya — jika hasil menunjukkan ________________________________
- [ ] Tidak → reformulasi diperlukan
**Apakah hipotesis ini falsifiable?** [ ] Ya / [ ] Tidak
> Bagaimana cara membuktikannya salah? ___________________
---
## Latihan 3 — Rantai Operasionalisasi
Lengkapi rantai dari RQ hingga metode analisis.
| Tahap | Isi |
|-------|-----|
| RQ | *Contoh: Apakah CNN menghasilkan F1-Score lebih tinggi dari RF...* |
| Variable (IV) | *Contoh: Jenis algoritma (CNN vs RF)* |
| Variable (DV) | |
| Metric | |
| Data source | |
| Analysis method | |
**Apakah rantai lengkap?** [ ] Ya / [ ] Tidak
> Jika tidak, tahap mana yang perlu direvisi? ______________
---
## Refleksi
> *"Apakah research question saya bisa dijawab dengan 'tergantung'? Jika ya, bagaimana saya membuatnya lebih spesifik?"*
> Ambil satu judul skripsi/paper yang pernah dibaca. Coba ekstrak RQ-nya. Apakah RQ tersebut memenuhi semua komponen (metode, metrik, baseline, konteks)? Jika tidak, apa yang hilang?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 4 — Research Question, Contribution & Hypothesis -->
**Judul:** _____________________________________________
**RQ yang diekstrak:** __________________________________
**Komponen yang hilang:** _______________________________

151
worksheets/ws-05-variabel-metrik.md
View file

@ -1,63 +1,140 @@
# WS-05: Variabel & Metrik
> **Bab Terkait:** Bab 5 — Metric, Measurement & Data
> **Tujuan:** Operasionalisasi variabel dan mendefinisikan metrik pengukuran
> **Referensi:** Lampiran B.5 | Template A.5
# WS-05: Variabel & Metrik
> **Bab 5 — Metric, Measurement & Data**
---
## Latihan 1 — Operasionalisasi Lengkap
## Ringkasan Materi
**RQ (dari WS-04):** ___________________________________
### Measurement Alignment Model
### Variabel Independen (IV)
Setiap pengukuran yang valid harus bisa ditelusuri melalui rantai ini tanpa lompatan logis:
| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur |
|--------|----------|--------|-------|--------|--------------|
| | | | | | |
| | | | | | |
```
Problem → Concept → Variable → Metric → Data → Result
```
### Variabel Dependen (DV)
### Operationalization = Keputusan Desain
| Konsep | Variabel | Metrik | Skala | Satuan | Cara Mengukur |
|--------|----------|--------|-------|--------|--------------|
| | | | | | |
| | | | | | |
Menerjemahkan konsep abstrak menjadi variabel terukur bukan proses mekanis. "Code quality" yang diukur via SonarQube code smells membawa asumsi implisit. Setiap operasionalisasi harus didokumentasikan dan dijustifikasi.
### Control Variable (CV)
### Empat Tipe Data (NOIR)
| Variabel | Nilai yang Dikontrol | Alasan |
|----------|---------------------|--------|
| | | |
| | | |
| Tipe | Ciri | Contoh | Operasi Valid |
|------|------|--------|---------------|
| **Nominal** | Kategori, tanpa urutan | Jenis algoritma (RF, SVM, CNN) | Modus, chi-square |
| **Ordinal** | Urutan, interval tidak sama | Skala Likert (1-5) | Median, Spearman |
| **Interval** | Jarak bermakna, tanpa nol absolut | Suhu Celsius | Mean, Pearson, t-test |
| **Ratio** | Jarak bermakna + nol absolut | Waktu eksekusi (ms) | Semua operasi |
Tipe data menentukan uji statistik yang valid. Kebanyakan metrik performa TI = ratio; persepsi pengguna = ordinal.
### Kriteria Pemilihan Metrik
- **Representative** — Mewakili konsep yang diteliti
- **Sensitive** — Cukup peka menangkap perbedaan bermakna (hindari ceiling effect)
- **Feasible** — Bisa dikumpulkan dalam batasan waktu dan biaya
### Pre-registration
Metrik harus ditentukan **sebelum** eksperimen. Memilih metrik setelah melihat data = **p-hacking**. Metrik tambahan yang ditemukan kemudian dilaporkan sebagai *exploratory*, bukan *confirmatory*.
### Primary vs Secondary Metric
- **Primary Metric** — Langsung terikat ke hipotesis, menentukan kesimpulan
- **Secondary Metric** — Pendukung, dilaporkan di samping primary; statusnya suplementer
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Pemilihan metrik | Berdasarkan kebiasaan/tool yang ada | Berdasarkan construct validity |
| Anomali | Dihapus untuk laporan bersih | Diinvestigasi — bisa jadi temuan |
| Kapan dipilih | Setelah sistem jadi (monitoring) | Sebelum eksperimen (by design) |
### Istilah Penting
- **Operationalization** — Transformasi konsep abstrak menjadi variabel terukur
- **Construct Validity** — Sejauh mana pengukuran benar-benar mengukur konsep yang dimaksud
- **Measurement Scale** — Klasifikasi data (NOIR) yang menentukan analisis valid
- **Multi-metric Evaluation** — Menggunakan beberapa metrik untuk menangkap konsep kompleks
---
## Latihan 2 — Construct Validity Check
## Template A.5 — Definisi Variabel, Metrik & Justifikasi
| Metrik | Apakah Mengukur Konsep yang Dimaksud? | Threat | Mitigasi |
|--------|--------------------------------------|--------|---------|
| | | | |
| | | | |
| | | | |
```
VARIABLE & METRIC DEFINITION
Research Question: ____________________
| Variabel | Tipe | Konsep | Metrik | Skala | Satuan | Cara Mengukur | Justifikasi |
|----------|------|--------|--------|-------|--------|---------------|-------------|
| | IV | | | | | | |
| | DV | | | | | | |
| | CV | | | | | | |
Alignment Check:
RQ → Concept → Variable → Metric → Data → Result
[ ] Setiap langkah terdokumentasi
[ ] Tidak ada "lompatan logis"
[ ] Metrik mengukur apa yang dimaksud (construct validity)
```
---
## Latihan 3 — Metric Conflict
## Latihan 1 — Operationalization Chain
**Apakah ada DV yang trade-off?** [ ] Ya / [ ] Tidak
Gunakan RQ dari WS-04. Definisikan variabel dan metriknya.
| DV Primer | DV Sekunder | Skenario Konflik | Keputusan |
|-----------|-------------|-----------------|-----------|
| | | | |
**RQ:** __________________________________________________
| Variabel | Tipe | Konsep Abstrak | Metrik Konkret | Skala (NOIR) | Satuan |
|----------|------|---------------|----------------|-------------|--------|
| *Contoh: Jenis model* | *IV* | *Pendekatan klasifikasi* | *Categorical: CNN vs RF* | *Nominal* | *—* |
| | DV | | | | |
| | CV | | | | |
**Apakah ada lompatan logis dalam rantai?** [ ] Ya / [ ] Tidak
> Jika ya, di mana? ____________________________________
---
## Latihan 2 — Evaluasi Metrik
Evaluasi metrik DV yang dipilih di Latihan 1 menggunakan 3 kriteria.
| Kriteria | Skor (1-5) | Justifikasi |
|----------|-----------|-------------|
| Representative | *Contoh: 4 — F1-Score mewakili keseimbangan precision-recall* | |
| Sensitive | | |
| Feasible | | |
**Apakah perlu secondary metric?** [ ] Ya / [ ] Tidak
> Jika ya, apa dan mengapa? _____________________________
**Contoh kasus ceiling effect untuk metrik ini:**
> ___________________________________________________
---
## Latihan 3 — Data Quality Check
Bayangkan data yang akan dikumpulkan dari eksperimen. Evaluasi 4 dimensi kualitas data.
| Dimensi | Pertanyaan | Jawaban | Strategi Mitigasi |
|---------|-----------|---------|------------------|
| Completeness | *Apakah semua data point terkumpul?* | | |
| Consistency | *Apakah ada kontradiksi internal?* | | |
| Validity | *Apakah benar-benar mengukur yang dimaksud?* | | |
| Representativeness | *Apakah sampel mewakili populasi target?* | | |
---
## Refleksi
> *"Jika seseorang mempertanyakan 'apa buktinya bahwa metrik Anda mengukur apa yang Anda klaim?' — bisakah saya menjawab?"*
> Mengapa memilih metrik setelah melihat data dianggap p-hacking? Apa bedanya dengan eksplorasi data yang sah?
**Jawaban refleksi:**
**Jawaban:**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 5 — Metric, Measurement & Data -->

163
worksheets/ws-06-system-experiment.md
View file

@ -1,61 +1,150 @@
# WS-06: System-Experiment Mapping
> **Bab Terkait:** Bab 6 — System Design sebagai Experimental Artifact
> **Tujuan:** Memetakan RQ dan variabel ke arsitektur sistem
> **Referensi:** Lampiran B.6 | Template A.6
# WS-06: System-Experiment Mapping
> **Bab 6 — System Design sebagai Experimental Artifact**
---
## Latihan 1 — Mapping RQ ke Arsitektur
## Ringkasan Materi
**RQ (dari WS-04):** ___________________________________
### Sistem = Instrumen Pengujian, Bukan Produk
| Variabel | Tipe (IV/DV/CV) | Komponen Sistem | Cara Pengukuran di Sistem |
|----------|----------------|----------------|--------------------------|
| | | | |
| | | | |
| | | | |
| | | | |
Seorang engineer bertanya "apakah sistem bekerja?" — seorang peneliti bertanya "apa yang bisa dibuktikan sistem ini?" Sistem dalam riset adalah **artifact** — objek yang sengaja dibuat untuk menguji klaim spesifik.
**Diagram arsitektur (gambar atau tempel di bawah):**
### System as Experiment Model
> [Ruang untuk diagram arsitektur]
```
RQ → Variable → System Component → Experimental Setup → Output
```
Setiap komponen sistem harus bisa ditelusuri ke variabel riset (top-down), dan setiap pengukuran harus menjawab RQ (bottom-up).
### Mapping Variabel ke Komponen
| Tipe Variabel | Peran di Sistem | Contoh |
|---------------|----------------|--------|
| **IV** (Independent) | Modul yang bisa di-toggle/swap | Algoritma A vs B |
| **DV** (Dependent) | Modul pengukuran | Logger, metrics collector |
| **CV** (Control) | Config yang dikunci | Dataset, parameter tetap |
Jika variabel tidak bisa di-map ke komponen apapun → arsitektur perlu didesain ulang.
### 4 Prinsip Desain Eksperimental
| Prinsip | Pertanyaan Kunci |
|---------|-----------------|
| **Traceability** | Komponen ini melayani variabel yang mana? |
| **Modularity** | Bisakah IV diubah tanpa memengaruhi yang lain? |
| **Controllability** | Apakah CV dieksternalisasi ke config file? |
| **Measurability** | Apakah sistem otomatis menghasilkan data yang dibutuhkan? |
### Variable Isolation melalui Arsitektur
- **Modular architecture** — Pisahkan berdasarkan variabel
- **Configuration-driven** — Ubah config (YAML/JSON), bukan code
- **Feature toggles** — On/off flag untuk ablation study
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan sistem | Memenuhi kebutuhan user | Menguji hipotesis, menghasilkan bukti |
| Arsitektur | Optimasi performa & skalabilitas | Optimasi isolasi variabel & reprodusibilitas |
| Konfigurasi | Sering hardcoded | Dieksternalisasi ke config file |
| Fitur tambahan | Menambah nilai user | Menambah noise jika tidak terkait RQ |
### Istilah Penting
- **Artifact** — Objek yang sengaja dibuat untuk memecahkan masalah atau menguji proposisi
- **Traceability** — Kemampuan menelusuri hubungan RQ → variabel → komponen → output
- **Variable Isolation** — Mengubah hanya satu variabel sambil menahan yang lain konstan
- **Ablation Study** — Menguji kontribusi tiap komponen dengan melepasnya satu per satu
- **Configuration-driven Execution** — Semua parameter di config file, bukan hardcoded
---
## Latihan 2 — Evaluasi 4 Prinsip
## Template A.6 — Mapping RQ ke Arsitektur Sistem
| Prinsip | Skor (1–3) | Evaluasi | Perlu Diperbaiki? |
|---------|-----------|---------|-------------------|
| Traceability | | | |
| Variable Isolation | | | |
| Measurement Integration | | | |
| Reproducibility | | | |
```
SYSTEM-EXPERIMENT MAPPING
**Prinsip dengan skor terendah:** __________________________
**Rencana perbaikan:** __________________________________
Research Question: ____________________
Variable → Component Mapping:
| Variabel | Tipe | Komponen Sistem | Cara Manipulasi/Pengukuran |
|----------|------|-----------------|---------------------------|
| | IV | | |
| | DV | | |
| | CV | | |
4 Prinsip Desain:
[ ] Traceability — Setiap komponen bisa ditelusuri ke variabel
[ ] Variable Isolation — IV bisa diubah tanpa mengubah CV
[ ] Measurement Integration — Pengukuran DV built-in
[ ] Reproducibility — Setup bisa direkonstruksi
Experimental Setup:
Input data : ____________________
Parameter : ____________________
Output format : ____________________
```
---
## Latihan 3 — Skenario "Bagaimana Jika"
## Latihan 1 — Variable-to-Component Mapping
| Skenario | Komponen yang Berubah | Dampak |
|----------|----------------------|--------|
| Dataset berubah | | |
| Metrik ditambah satu | | |
| Baseline baru ditambahkan | | |
Gunakan RQ dan variabel dari WS-05. Petakan ke komponen sistem.
**Apakah arsitektur mendukung perubahan tanpa redesign?**
- [ ] Ya
- [ ] Tidak → perlu redesign bagian: ______________________
**RQ:** __________________________________________________
| Variabel | Tipe | Komponen Sistem | Cara Manipulasi / Pengukuran |
|----------|------|-----------------|---------------------------|
| *Contoh: Jenis model* | *IV* | *Modul classifier (swap RF ↔ CNN)* | *Ganti config `model_type`* |
| | DV | | |
| | CV | | |
**Apakah semua variabel bisa di-map?** [ ] Ya / [ ] Tidak
> Jika tidak, komponen apa yang perlu ditambahkan? _________
---
## Latihan 2 — 4 Prinsip Desain
Evaluasi desain sistem terhadap 4 prinsip.
| Prinsip | Status | Bukti / Penjelasan |
|---------|--------|-------------------|
| Traceability | *Contoh: ✅ — setiap modul punya label variabel* | |
| Modularity | | |
| Controllability | | |
| Measurability | | |
**Prinsip mana yang paling sulit dipenuhi?** _______________
**Strategi untuk mengatasinya:**
> ___________________________________________________
---
## Latihan 3 — Ablation Study Planning
Jika sistem memiliki 3 komponen utama, rencanakan ablation study.
| Kondisi | Komponen A | Komponen B | Komponen C | Hasil yang Diharapkan |
|---------|-----------|-----------|-----------|----------------------|
| Full | *Contoh: ✅ CNN* | *Contoh: ✅ Temporal features* | *Contoh: ✅ Z-score norm* | *Baseline penuh* |
| – A | ❌ (ganti RF) | ✅ | ✅ | |
| – B | ✅ | ❌ (tanpa temporal) | ✅ | |
| – C | ✅ | ✅ | ❌ (tanpa normalisasi) | |
**Komponen mana yang diprediksi paling berkontribusi?** _____
**Mengapa?**
> ___________________________________________________
---
## Refleksi
> *"Apakah sistem yang saya bangun adalah produk yang kebetulan diujikan, atau instrumen yang sengaja dirancang untuk menguji hipotesis?"*
> Apa risiko jika sistem dibangun seperti produk (monolitik, fitur lengkap) lalu baru dilakukan eksperimen? Mengapa arsitektur modular penting untuk riset?
**Jawaban refleksi:**
**Jawaban:**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 6 — System Design sebagai Experimental Artifact -->

194
worksheets/ws-07-experiment-design.md
View file

@ -1,66 +1,160 @@
# WS-07: Experimental Design & Validity
> **Bab Terkait:** Bab 7 — Experimental Design & Validity
> **Tujuan:** Merancang eksperimen terkontrol dan mengidentifikasi ancaman validitas
> **Referensi:** Lampiran B.7 | Template A.7
# WS-07: Experimental Design & Validity
> **Bab 7 — Experimental Design & Validity**
---
## Latihan 1 — Identifikasi Ancaman Validitas
## Ringkasan Materi
**Paper yang dipilih:** _________________________________
### Correlation ≠ Causality
| Jenis Validitas | Ancaman yang Teridentifikasi | Mitigasi yang Diusulkan |
|----------------|------------------------------|------------------------|
| Internal | | |
Kausalitas membutuhkan 3 syarat:
1. **Covariance** — X dan Y bergerak bersama
2. **Temporal precedence** — X berubah sebelum Y
3. **Elimination of alternatives** — Tidak ada faktor lain yang menjelaskan Y
Controlled experiment adalah satu-satunya metode yang bisa membuktikan kausalitas.
### Empat Jenis Validitas
| Jenis | Pertanyaan | Ancaman Umum |
|-------|-----------|-------------|
| **Internal** | Apakah hubungan IV→DV nyata? | Confounding variable, selection bias |
| **External** | Apakah bisa digeneralisasi? | Dataset terlalu spesifik |
| **Construct** | Apakah mengukur konsep yang benar? | Metrik tidak sesuai |
| **Conclusion** | Apakah kesimpulan statistik valid? | Sample size kecil, uji salah |
Internal dan external validity sering berkonflik: semakin terkontrol (internal kuat) → semakin artificial (external lemah).
### Tiga Tipe Eksperimen dalam Riset TI
| Tipe | Deskripsi | Kapan Digunakan |
|------|----------|----------------|
| **Comparison Study** | Metode A vs B pada kondisi identik | Membandingkan pendekatan berbeda |
| **Ablation Study** | Full system → lepas komponen satu per satu | Mengukur kontribusi tiap komponen |
| **Parameter Study** | Variasikan satu parameter, amati dampak | Uji sensitifitas/robustness |
### Fairness dalam Perbandingan
Perbandingan yang adil = **kondisi identik** untuk semua metode: dataset sama, preprocessing sama, tuning effort sebanding, environment sama, metrik sama.
Contoh tidak adil: Transformer (30 fitur tambahan + Bayesian optimization) vs RF (default params) → hasilnya misleading.
### Threats to Validity = Diidentifikasi Sebelum Eksperimen
Ancaman validitas harus diidentifikasi **sebelum** eksperimen dan mitigasinya dirancang sebagai bagian dari desain — bukan ditulis sebagai boilerplate setelah selesai.
### Research vs Engineering
| Aspek | Engineering | Research |
|-------|------------|----------|
| Tujuan testing | Memastikan sistem memenuhi requirement | Membuktikan hubungan kausal antar variabel |
| Baseline | Versi sebelumnya (last release) | Metode tervalidasi dari literatur |
| Kegagalan | Bug → fix → release | H₀ tidak ditolak → tetap kontribusi ilmiah |
| Sukses | 100% test pass | Evidence valid — mendukung atau menolak hipotesis |
### Istilah Penting
- **Causality** — Hubungan sebab-akibat (covariance + temporal + elimination)
- **Controlled Experiment** — Ubah satu variabel, kontrol sisanya, amati efek
- **Fairness** — Semua metode diuji pada kondisi yang benar-benar identik
- **Threats to Validity** — Faktor yang bisa melemahkan kesimpulan jika tidak dimitigasi
- **Conclusion Validity** — Validitas statistik: power, sample size, uji yang tepat
---
## Template A.7 — Desain Eksperimen Lengkap
```
EXPERIMENT DESIGN
Research Question : ____________________
Hypothesis : ____________________
Tipe Eksperimen : [ ] Comparison [ ] Ablation [ ] Parameter
Kondisi Eksperimen:
| Kondisi | Deskripsi | IV Value | CV Settings |
|---------|-----------|----------|-------------|
| Control | | | |
| Treatment | | | |
Fairness Checklist:
[ ] Dataset identik untuk semua kondisi
[ ] Preprocessing setara
[ ] Tuning effort setara
[ ] Environment identik
[ ] Metrik evaluasi sama
Threat Analysis:
| Threat Type | Ancaman Spesifik | Mitigasi |
|-------------|-----------------|----------|
| Internal | | |
| External | | |
| Construct | | |
| Conclusion | | |
Statistical Plan:
Uji statistik : ____________________
Justifikasi : ____________________
Alpha : ____________________
Effect size min : ____________________
```
---
## Latihan 1 — Desain Eksperimen
Susun desain eksperimen berdasarkan RQ, variabel, dan sistem dari WS-04 sampai WS-06.
**RQ:** __________________________________________________
**Tipe eksperimen:** [ ] Comparison / [ ] Ablation / [ ] Parameter
| Kondisi | Deskripsi | IV Value | CV Settings |
|---------|-----------|----------|-------------|
| Control | *Contoh: RF baseline dari literatur* | *RF* | *Dataset X, 80:20 split, seed 42* |
| Treatment | | | |
---
## Latihan 2 — Fairness Checklist
Evaluasi apakah desain eksperimen di Latihan 1 sudah fair.
| Kriteria | Status | Detail |
|----------|--------|--------|
| Dataset identik | *Contoh: ✅ — sama-sama pakai CIC-MalMem-2022* | |
| Preprocessing setara | | |
| Tuning effort setara | | |
| Environment identik | | |
| Metrik evaluasi sama | | |
**Ada yang tidak fair?** [ ] Ya / [ ] Tidak
> Jika ya, bagaimana cara memperbaikinya? ________________
---
## Latihan 3 — Threat Analysis
Identifikasi ancaman validitas untuk desain eksperimen ini.
| Threat Type | Ancaman Spesifik | Mitigasi |
|-------------|-----------------|----------|
| Internal | *Contoh: Data leakage antara train-test* | *Contoh: Gunakan stratified split, validasi tidak ada overlap* |
| External | | |
| Construct | | |
| Conclusion | | |
---
## Latihan 2 — Desain Perbandingan yang Fair
**RQ (dari WS-04):** ___________________________________
| Komponen | Isian |
|----------|-------|
| Kondisi 1 (treatment) | |
| Kondisi 2 (baseline/control) | |
| IV yang dimanipulasi | |
| DV yang diukur | |
| CV yang dikontrol | |
| Jumlah run per kondisi | |
| Seed/randomization strategy | |
**Fairness Checklist:**
- [ ] Kedua kondisi menggunakan dataset yang sama
- [ ] Hanya satu variabel yang berbeda antar-kondisi
- [ ] Metrik evaluasi sama untuk kedua kondisi
- [ ] Jumlah run cukup untuk variabilitas
- [ ] Threshold ditentukan sebelum eksperimen
---
## Latihan 3 — Kausalitas vs Korelasi
| Syarat Kausalitas | Terpenuhi? | Bukti |
|-------------------|-----------|-------|
| Kovariansi | [ ] Ya / [ ] Tidak | |
| Temporal precedence | [ ] Ya / [ ] Tidak | |
| Eliminasi alternatif | [ ] Ya / [ ] Tidak | |
**Apakah desain mendukung klaim kausal?** [ ] Ya / [ ] Tidak
**Jika tidak — perbaikan yang diperlukan:**
**Ancaman mana yang paling sulit dimitigasi?** _____________
**Mengapa?**
> ___________________________________________________
---
## Refleksi
> *"Jika reviewer bertanya 'bagaimana Anda tahu ini bukan kebetulan?' — apakah desain eksperimen saya memberikan jawaban yang meyakinkan?"*
> Sebuah paper melaporkan "metode kami mengalahkan semua baseline." Apa 3 pertanyaan pertama yang harus diajukan untuk mengevaluasi klaim ini?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 7 — Experimental Design & Validity -->
**Jawaban:**
1. ___________________________________________________
2. ___________________________________________________
3. ___________________________________________________

172
worksheets/ws-08-proposal-integration.md
View file

@ -1,65 +1,151 @@
# WS-08: Proposal Integration
> **Bab Terkait:** Bab 8 — Proposal & Checkpoint
> **Tujuan:** Merakit proposal dari output WS-02 hingga WS-07 dan mengevaluasi koherensi
> **Referensi:** Lampiran B.8 | Template A.8
# WS-08: Proposal Integration (UTS)
> **Bab 8 — Proposal & Checkpoint**
---
## Latihan 1 — Integration Map
## Ringkasan Materi
Ambil output dari WS-02 (problem statement), WS-03 (gap), WS-04 (RQ & hipotesis), WS-05 (metrik), WS-06 (arsitektur), WS-07 (desain eksperimen). Susun ke dalam satu dokumen proposal.
### Proposal = Satu Argumen Utuh
| Bagian Proposal | Sumber Worksheet | Status |
|----------------|------------------|--------|
| Problem Statement | WS-02 | [ ] Lengkap |
| Literature Gap | WS-03 | [ ] Lengkap |
| Research Question | WS-04 | [ ] Lengkap |
| Hipotesis | WS-04 | [ ] Lengkap |
| Variabel & Metrik | WS-05 | [ ] Lengkap |
| Arsitektur Sistem | WS-06 | [ ] Lengkap |
| Desain Eksperimen | WS-07 | [ ] Lengkap |
Proposal riset bukan kumpulan bab yang independen. Ia adalah **satu argumen** yang mengalir dari masalah ke rencana solusi. Jika satu koneksi putus, seluruh proposal kehilangan koherensi.
**Koneksi yang terputus (jika ada):**
### Integration Map — 6 Koneksi Kritis
```
Problem (Bab 2) → Gap (Bab 3) → RQ & H (Bab 4) → Metrik (Bab 5) → Sistem (Bab 6) → Eksperimen (Bab 7)
```
| Koneksi | Pertanyaan Verifikasi |
|---------|----------------------|
| Problem → Gap | Apakah gap muncul dari analisis literatur terhadap masalah? |
| Gap → RQ | Apakah RQ langsung menjawab gap yang teridentifikasi? |
| RQ → Metrik | Apakah setiap variabel di RQ punya metrik terdefinisi? |
| Metrik → Sistem | Apakah setiap metrik bisa diukur oleh komponen sistem? |
| Sistem → Eksperimen | Apakah desain eksperimen menggunakan sistem sebagai instrumen? |
### Koherensi Vertikal + Horizontal
- **Vertikal** — Alur logis atas-ke-bawah (problem → experiment)
- **Horizontal** — Konsistensi terminologi (nama variabel di RQ = di hipotesis = di metrik = di desain)
### Jebakan Kognitif
| Jebakan | Deskripsi |
|---------|----------|
| "Selling" Introduction | Menulis promosi, bukan menyajikan data dan gap |
| Copy-paste Methodology | Menyalin deskripsi tekstbook tanpa menyesuaikan ke RQ |
| Optimistic Timeline | Meremehkan waktu implementasi; selalu tambah buffer 30-50% |
| No Possibility of Failure | Mengimplikasikan hasil pasti sukses — proposal jujur mengakui H₀ mungkin tidak ditolak |
### Struktur Proposal
1. **Pendahuluan** — Latar belakang + problem statement (Bab 1-2)
2. **Tinjauan Pustaka** — Literature review + gap + baseline (Bab 3)
3. **RQ / Kontribusi / Hipotesis** — (Bab 4)
4. **Metodologi** — Metrik + sistem + desain eksperimen (Bab 5-7)
5. **Timeline & Output**
### Istilah Penting
- **Integration Map** — Diagram 6 koneksi kritis antar komponen proposal
- **Vertical Coherence** — Alur logis atas-ke-bawah
- **Horizontal Coherence** — Konsistensi terminologi di semua bagian
- **Checkpoint** — Titik self-assessment sebelum transisi dari desain ke eksekusi
---
## Template A.8 — Integration Checklist
```
PROPOSAL INTEGRATION CHECKLIST
Koneksi Vertikal (Flow Atas-Bawah):
[ ] Problem → Gap: masalah terdokumentasi di literatur
[ ] Gap → RQ: pertanyaan menjawab gap spesifik
[ ] RQ → Hypothesis: hipotesis memprediksi jawaban
[ ] Hypothesis → Metric: metrik mengukur variabel dalam hipotesis
[ ] Metric → System: komponen sistem menghasilkan/mengukur metrik
[ ] System → Experiment: desain eksperimen menggunakan sistem
Koneksi Horizontal (Konsistensi):
[ ] Istilah sama di semua bagian
[ ] Variabel di RQ = variabel di hipotesis = metrik di desain
[ ] Scope tidak berubah dari masalah ke eksperimen
Rubrik Self-Assessment:
| Kriteria | 1 (Lemah) | 2 (Cukup) | 3 (Baik) | Skor |
|----------|-----------|-----------|----------|------|
| Koherensi | | | | |
| Specificity | | | | |
| Feasibility | | | | |
| Rigor | | | | |
```
---
## Latihan 1 — Kompilasi Proposal Mini
Kumpulkan hasil dari WS-02 sampai WS-07 menjadi satu ringkasan proposal.
| Komponen | Sumber | Isi (1-2 kalimat) |
|----------|--------|-------------------|
| Problem Statement | WS-02 | *Contoh: Sistem rekomendasi memiliki akurasi tinggi (RMSE 0.87) tetapi satisfaction score rendah (45/100). Gap antara metrik teknis dan kepuasan pengguna belum diteliti.* |
| Gap | WS-03 | *Contoh: Tidak ada studi yang mengintegrasikan collaborative filtering dengan user-context signals untuk meningkatkan satisfaction.* |
| RQ | WS-04 | *Contoh: Apakah penambahan context-aware signals pada collaborative filtering meningkatkan satisfaction score tanpa menurunkan RMSE?* |
| Hipotesis | WS-04 | *Contoh: H₁: Sistem CF+context menghasilkan satisfaction ≥ 70/100 dengan RMSE ≤ 0.90 dibanding baseline CF murni.* |
| Variabel & Metrik | WS-05 | *Contoh: IV = jenis sistem (CF vs CF+context); DV = satisfaction score (skala 0-100) + RMSE (regresi).* |
| Sistem | WS-06 | |
| Desain Eksperimen | WS-07 | |
---
## Latihan 2 — Integration Checklist
Verifikasi 6 koneksi kritis. Isi dengan merujuk tabel di Latihan 1.
| Koneksi | Status | Bukti |
|---------|--------|-------|
| Problem → Gap | *Contoh: ✅ — gap muncul dari 15 paper Bab 3 yang tidak ada yang mengkombinasikan CF + context untuk satisfaction* | |
| Gap → RQ | *Contoh: ✅ — RQ langsung menanyakan apakah CF+context meningkatkan satisfaction* | |
| RQ → Hypothesis | *Contoh: ✅ — H₁ memprediksi satisfaction ≥ 70 dengan threshold RMSE ≤ 0.90* | |
| Hypothesis → Metric | | |
| Metric → System | | |
| System → Experiment | | |
**Koneksi mana yang paling lemah?** _______________________
**Bagaimana cara memperkuatnya?**
> ___________________________________________________
**Konsistensi horizontal — apakah istilah dan scope konsisten?** [ ] Ya / [ ] Tidak
> Jika tidak, di bagian mana terjadi inkonsistensi? _________
---
## Latihan 2 — Self-Assessment
## Latihan 3 — Rubrik Self-Assessment
| Kriteria | Skor (1–5) | Catatan |
|----------|-----------|--------|
| Koherensi | | |
| Specificity | | |
Evaluasi proposal mini menggunakan rubrik.
| Kriteria | Skor (1-3) | Justifikasi |
|----------|-----------|-------------|
| Koherensi | *Contoh: 2 — koneksi gap→RQ masih lemah karena gap belum cukup narrow* | |
| Specificity | *Contoh: 3 — metrik (satisfaction 0-100, RMSE) sudah terdefinisi numerik* | |
| Feasibility | | |
| Rigor | | |
**Dua kriteria dengan skor terendah:**
1. __________________ → Rencana perbaikan: ________________
2. __________________ → Rencana perbaikan: ________________
**Skor total:** _____ / 12
---
## Latihan 3 — Peer Review
**Nama reviewer:** ______________________________________
| Item Checklist | Terpenuhi? | Rekomendasi |
|---------------|-----------|-------------|
| Problem → Gap terhubung | [ ] Ya / [ ] Tidak | |
| Gap → RQ terhubung | [ ] Ya / [ ] Tidak | |
| RQ → Hipotesis terhubung | [ ] Ya / [ ] Tidak | |
| Hipotesis → Metrik terhubung | [ ] Ya / [ ] Tidak | |
| Metrik → Arsitektur terhubung | [ ] Ya / [ ] Tidak | |
| Arsitektur → Eksperimen terhubung | [ ] Ya / [ ] Tidak | |
**Apakah proposal siap untuk fase eksekusi?** [ ] Ya / [ ] Belum
> Jika belum, apa yang perlu diperbaiki? __________________
---
## Refleksi
> *"Jika proposal saya dievaluasi bukan dari panjangnya, melainkan dari koherensi koneksi antar-bagian — apakah ia akan lulus?"*
> Dari seluruh proses WS-01 sampai WS-08, bagian mana yang paling mudah dan paling sulit? Mengapa? Apa yang akan dilakukan berbeda jika mengulang dari awal?
**Jawaban refleksi:**
**Bagian termudah:** ____________________________________
**Bagian tersulit:** ____________________________________
**Yang akan dilakukan berbeda:**
> ___________________________________________________
> ___________________________________________________
---
<!-- Worksheet dari Bab 8 — Proposal & Checkpoint -->

194
worksheets/ws-09-implementation.md
View file

@ -1,79 +1,177 @@
# WS-09: Implementation & Reproducibility
> **Bab Terkait:** Bab 9 — Implementation & Environment
> **Tujuan:** Mendokumentasikan setup implementasi untuk reprodusibilitas
> **Referensi:** Lampiran B.9 | Template A.9
# WS-09: Implementation & Environment
> **Bab 9 — Implementasi Riset & Kontrol Lingkungan**
---
## Latihan 1 — Environment Audit
## Ringkasan Materi
### Hardware
### Implementasi Riset ≠ Coding Biasa
Tujuan implementasi riset bukan membuat software yang berfungsi, melainkan membangun **instrumen pengukuran yang konsisten**. Setiap modul harus di-mapping ke variabel (dari Bab 6), parameter harus config-driven, dan logging aktif dari hari pertama.
### Reproducible Implementation Model
```
Design → Implementation → Environment Setup → Execution Consistency → Reproducibility → Trustworthy Result
```
Setiap transisi memiliki syarat:
- Design → Implementation: kode sesuai mapping variabel-ke-komponen
- Implementation → Environment: versi, dependency, seed, path, OS eksplisit
- Environment → Consistency: seed terkunci, urutan deterministik
- Consistency → Reproducibility: dokumentasi lengkap
- Reproducibility → Trust: siapa pun ikuti dokumentasi → hasil sama/serupa
### Repeatability vs Reproducibility
| Level | Peneliti | Environment | Hasil |
|-------|---------|-------------|-------|
| **Repeatability** | Sama | Sama | Sama persis |
| **Reproducibility** | Berbeda | Berbeda (ikuti docs) | Sama/serupa |
Capai **repeatability** dulu, baru **reproducibility**.
### Engineering vs Research Perspective
| Aspek | Engineering | Research |
|-------|-----------|---------|
| Tujuan | Sistem berfungsi untuk user | Instrumen pengukuran konsisten |
| Dependency | Update ke terbaru | Lock di versi spesifik |
| Testing | Unit, integration, E2E | Repeatability test (run ulang → sama?) |
| Dokumentasi | User guide, API docs | Environment spec, execution steps, expected output |
| Config | Default masuk akal | Setiap parameter eksplisit & adjustable |
### Jebakan Kognitif
1. Menunda environment setup → bug sulit dilacak
2. Tidak pakai version control → hasil tidak bisa direkonstruksi
3. Menolak Docker/container → "di laptop saya bisa" saat review
4. 3× hasil sama ≠ repeatable (bisa cache/state tersimpan)
### Istilah Penting
- **Environment Specification** — Deskripsi lengkap: hardware, OS, runtime, library + versi, config, seed
- **Dependency** — Komponen eksternal yang harus di-lock versinya
- **Config-driven** — Parameter dieksternalisasi ke file konfigurasi, bukan hardcode
---
## Template A.9 — Dokumentasi Setup Eksperimen
```
EXPERIMENT SETUP DOCUMENTATION
Hardware:
CPU : ____________________
RAM : ____________________
GPU : ____________________
Storage : ____________________
Software:
OS : ____________________
Runtime : ____________________
Framework : ____________________
Dependencies:
| Library | Version | Sumber | Hash/Checksum |
|---------|---------|--------|---------------|
| | | | |
| | | | |
Konfigurasi:
Config file : ____________________
Random seed : ____________________
Hyperparameters : ____________________
Reproducibility Check:
[ ] Dependency terdokumentasi (requirements.txt / lock file)
[ ] Seed ditetapkan di semua level (Python, NumPy, framework)
[ ] Config di version control
[ ] README instruksi reproduksi lengkap
```
---
## Latihan 1 — Environment Specification
Dokumentasikan environment untuk eksperimen Anda (boleh environment saat ini atau yang direncanakan).
| Komponen | Spesifikasi |
|----------|------------|
| CPU | |
| RAM | |
| GPU (jika relevan) | |
| Storage | |
| CPU | *Contoh: Intel Core i7-12700H, 14 Core* |
| RAM | *Contoh: 32 GB DDR5* |
| GPU | *Contoh: NVIDIA RTX 3060 6GB / CPU-only jika tidak ada GPU* |
| OS | *Contoh: Ubuntu 22.04 LTS / Windows 11* |
| Runtime | |
| Framework | |
| Random Seed | |
### Software & Dependencies
**Dependencies (minimal 5):**
| Software/Library | Versi Spesifik | Sumber | Keterangan |
|-----------------|---------------|--------|-----------|
| OS | | | |
| Runtime/Compiler | | | |
| Framework | | | |
| Library 1 | | | |
| Library 2 | | | |
| Library 3 | | | |
| Database | | | |
### Configuration
| Parameter | Nilai | Justifikasi |
|-----------|-------|------------|
| Library | Version | Alasan Dibutuhkan |
|---------|---------|-------------------|
| *Contoh: scikit-learn* | *1.3.2* | *Klasifikasi + evaluasi metrik* |
| | | |
| | | |
| | | |
| | | |
---
## Latihan 2 — Reproducibility Test
## Latihan 2 — Repeatability Test Plan
**Nama rekan yang mereproduksi:** __________________________
Rancang tes repeatability sederhana: jalankan kode yang sama 3× di environment yang sama.
| Aspek | Berhasil? | Waktu | Catatan |
|-------|----------|-------|--------|
| Clone repository | [ ] Ya / [ ] Tidak | | |
| Install dependencies | [ ] Ya / [ ] Tidak | | |
| Jalankan kode | [ ] Ya / [ ] Tidak | | |
| Hasil sesuai | [ ] Ya / [ ] Tidak | | |
| Run | Seed | Metrik Utama | Hasil Sama? |
|-----|------|-------------|-------------|
| 1 | *Contoh: 42* | *Contoh: Accuracy* | — |
| 2 | | | [ ] Ya / [ ] Tidak |
| 3 | | | [ ] Ya / [ ] Tidak |
**Total waktu setup:** ___________________________________
**Perbaikan dokumentasi berdasarkan feedback:**
**Jika hasil berbeda, kemungkinan penyebab:**
> ___________________________________________________
**Checklist kontrol yang sudah diterapkan:**
- [ ] Random seed di-set di semua level
- [ ] Tidak ada background process yang mengganggu
- [ ] Cache dibersihkan antar-run
- [ ] Config file yang sama untuk semua run
---
## Latihan 3 — Configuration Versioning
## Latihan 3 — README Eksperimen
**Repository URL:** _____________________________________
Tulis README minimum untuk eksperimen Anda (6 komponen wajib).
**Checklist:**
- [ ] Konfigurasi terpisah dari kode (config file)
- [ ] Setiap eksperimen bisa dijalankan ulang dari commit tertentu
- [ ] README berisi instruksi reproduksi minimal
- [ ] requirements.txt / go.mod / package.json tersedia
- [ ] .gitignore dikonfigurasi (tidak ada data besar di repo)
```
# Judul Eksperimen: ____________________
## 1. Environment
> (Salin spesifikasi dari Latihan 1)
## 2. Installation
> (Langkah instalasi, misal: "pip install -r requirements.txt")
## 3. Data
> (Deskripsi data: sumber, format, ukuran)
## 4. Execution
> (Command untuk menjalankan eksperimen)
## 5. Configuration
> (File config yang digunakan + parameter kunci)
## 6. Expected Output
> (Contoh output yang diharapkan + format)
```
---
## Refleksi
> *"Jika laptop saya hilang besok, bisakah saya merekonstruksi seluruh eksperimen dari dokumentasi yang ada?"*
> Apakah eksperimen Anda saat ini bisa direproduksi oleh orang lain tanpa bantuan Anda? Komponen apa yang masih hilang?
**Jawaban refleksi:**
**Level saat ini:** [ ] Repeatability / [ ] Reproducibility / [ ] Belum keduanya
**Komponen yang belum terdokumentasi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 9 — Implementation & Environment -->

176
worksheets/ws-10-execution-data.md
View file

@ -1,64 +1,162 @@
# WS-10: Execution & Data Collection
> **Bab Terkait:** Bab 10 — Experiment Execution & Data Collection
> **Tujuan:** Menyusun execution plan dan menjalankan pilot run
> **Referensi:** Lampiran B.10 | Template A.10
# WS-10: Experiment Execution & Data Collection
> **Bab 10 — Eksekusi Eksperimen & Pengumpulan Data**
---
## Latihan 1 — Execution Plan Lengkap
## Ringkasan Materi
| Skenario | Deskripsi | Jumlah Run | Seeds | Parameter | Format Output |
|----------|----------|-----------|-------|-----------|--------------|
| S1 | | min. 5 | | | |
| S2 | | min. 5 | | | |
| S3 | | min. 5 | | | |
### Experiment Execution Pipeline
**Total run yang direncanakan:** __________________________
```
Design → Execution Plan → Controlled Execution → Data Collection → Data Logging → Dataset for Analysis
```
### Multiple Run = Non-Negotiable
Single run **tidak pernah cukup** untuk klaim ilmiah. Minimum 5-10 run per skenario dengan seed berbeda. Multiple run menghasilkan:
- Mean, std, confidence interval
- Distribusi hasil → uji statistik
- Variabilitas → error bar di grafik
### Execution Plan
Setiap eksperimen harus memiliki plan sebelum eksekusi:
- Daftar skenario
- Jumlah run per skenario
- Random seed per run (pre-determined!)
- Urutan eksekusi (randomisasi/counterbalancing)
- Pre-execution checklist
### Data Logging Komprehensif
Setiap run menghasilkan log terstruktur:
1. **Identitas** — Run ID, timestamp, skenario
2. **Konfigurasi** — Semua parameter, seed, code version
3. **Hasil** — Semua metrik, output detail
4. **Metadata** — Waktu eksekusi, resource usage, warning/error
Format: CSV/JSON/database — **bukan stdout yang di-copy-paste**.
### Engineering vs Research Execution
| Aspek | Engineering | Research |
|-------|-----------|---------|
| Run | Sekali (deploy) | Multiple (min 5-10, seed berbeda) |
| Logging | Error log, access log | Semua parameter, metrik, metadata |
| Anomali | Bug → fix → redeploy | Investigasi → dokumentasi → analisis |
| Urutan | Tidak penting | Bisa bias — perlu randomisasi |
### Anomali = Dokumentasi, Bukan Hapus
Run gagal/anomali tidak boleh dihapus tanpa dokumentasi. Bisa jadi:
- **Bug** → fix & re-run (dokumentasikan!)
- **Batas kemampuan metode** → DNF = temuan
- **Data yang bias** jika hanya simpan run "berhasil"
### Jebakan Kognitif
1. "Satu angka cukup" → tanpa distribusi, tidak bisa diuji
2. "Seed tidak penting" → bahkan algoritma deterministik bisa dipengaruhi library stokastik
3. "Run gagal langsung hapus" → kehilangan temuan potensial
4. "Semua run harus hari ini" → thermal throttling, fatigue
---
## Latihan 2 — Pilot Run & Anomaly
## Template A.10 — Execution Plan & Data Log
**Skenario pilot:** _____________________________________
```
EXECUTION PLAN
| Check | Hasil | Status |
|-------|-------|--------|
| Output sesuai format? | | [ ] OK / [ ] Fix |
| Data point lengkap? | | [ ] OK / [ ] Fix |
| Waktu eksekusi masuk akal? | | [ ] OK / [ ] Fix |
| Run # | Skenario | Seed | Parameter | Status | Waktu | Output File |
|-------|----------|------|-----------|--------|-------|-------------|
| 1 | | | | | | |
| 2 | | | | | | |
| 3 | | | | | | |
| ... | | | | | | |
**Anomali yang ditemukan:**
1. ___________________________________________________
2. ___________________________________________________
Jumlah runs per skenario : ____
Total runs : ____
**Tindakan koreksi:**
> ___________________________________________________
DATA LOG (per run):
Run ID : ____________________
Timestamp : ____________________
Skenario : ____________________
Input : ____________________
Output : ____________________
Anomali : ____________________
Catatan : ____________________
```
---
## Latihan 3 — Data Integrity Check
## Latihan 1 — Execution Plan
| Data Point | Run ID | File Output | Traceable? |
|-----------|--------|------------|-----------|
| | | | [ ] Ya / [ ] Tidak |
| | | | [ ] Ya / [ ] Tidak |
| | | | [ ] Ya / [ ] Tidak |
Susun execution plan untuk eksperimen Anda. Tentukan skenario, jumlah run, dan seed sebelum eksekusi.
**Apakah semua data point bisa ditelusuri ke run spesifik?**
- [ ] Ya, semua traceable
- [ ] Tidak — data point yang hilang: ______________________
| Run # | Skenario | Seed | Parameter Kunci | Status |
|-------|----------|------|----------------|--------|
| *1* | *Contoh: BERT-base, DS-1* | *42* | *lr=2e-5, epoch=10* | *Planned* |
| *2* | *BERT-base, DS-1* | *123* | *lr=2e-5, epoch=10* | *Planned* |
| 3 | | | | |
| 4 | | | | |
| 5 | | | | |
**Laporan integritas:**
> ___________________________________________________
**Total skenario:** ____
**Run per skenario:** ____
**Total run keseluruhan:** ____
---
## Latihan 2 — Data Log Terstruktur
Desain format data log untuk eksperimen Anda. Tentukan field apa saja yang akan dicatat.
**Identitas:**
| Field | Contoh |
|-------|--------|
| Run ID | *run-001* |
| Timestamp | *2025-03-15T10:30:00* |
| | |
**Konfigurasi:**
| Field | Contoh |
|-------|--------|
| Seed | *42* |
| Code version | *commit abc1234* |
| | |
**Hasil:**
| Metrik | Tipe Data | Range Valid |
|--------|----------|-------------|
| *Contoh: Accuracy* | *float* | *0.0 – 1.0* |
| | | |
| | | |
**Format output:** [ ] CSV / [ ] JSON / [ ] Database / [ ] Lainnya: ____
---
## Latihan 3 — Anomaly Protocol
Rencanakan bagaimana menangani anomali. Untuk setiap jenis, tentukan langkah yang diambil.
| Jenis Anomali | Contoh | Tindakan |
|---------------|--------|----------|
| Run gagal (crash) | *Contoh: OOM pada batch_size=64* | *Contoh: Dokumentasi, re-run batch_size=32, catat perubahan* |
| Hasil ekstrem | | |
| Waktu eksekusi anomali | | |
| Inkonsistensi dengan run lain | | |
**Prinsip:** Detect → Investigate → Document → Decide
---
## Refleksi
> *"Jika saya mengklaim '30 run per skenario' — bisakah saya menunjukkan 30 file output yang masing-masing bisa ditelusuri ke run spesifik?"*
> Pernahkah Anda melaporkan hasil riset/tugas dari single run? Apa risikonya? Bagaimana multiple run mengubah kepercayaan terhadap hasil?
**Jawaban refleksi:**
**Pengalaman sebelumnya:**
> ___________________________________________________
**Yang akan dilakukan berbeda:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 10 — Experiment Execution & Data Collection -->

176
worksheets/ws-11-data-validation.md
View file

@ -1,67 +1,161 @@
# WS-11: Data Validation
> **Bab Terkait:** Bab 11 — Data Validation & Integrity
> **Tujuan:** Memvalidasi kelengkapan, konsistensi, dan keandalan data eksperimen
> **Referensi:** Lampiran B.11 | Template A.11
# WS-11: Data Validation & Integrity
> **Bab 11 — Validasi Data & Integritas**
---
## Ringkasan Materi
### Data Trust Model
```
Raw Data → Data Cleaning → Consistency Check → Validation Process → Trusted Data
```
Data mentah belum bisa dipercaya. Harus melewati pipeline validasi sebelum siap untuk analisis statistik.
### Empat Pilar Data Quality
| Pilar | Deskripsi | Contoh Pelanggaran |
|-------|----------|-------------------|
| **Accuracy** | Nilai dalam range masuk akal | Akurasi = 1.5 (di luar [0,1]) |
| **Consistency** | Format seragam di semua run | Run 1: CSV, Run 2: JSON |
| **Completeness** | Tidak ada data hilang dari plan | 97 dari 100 run tercatat |
| **Validity** | Data sesuai desain eksperimen | Parameter baseline tercampur treatment |
### Proses Validasi Progresif
1. **Format validation** — Tipe file, header, kolom
2. **Range validation** — Nilai dalam batas logis
3. **Consistency validation** — Format seragam antar-run
4. **Logic validation** — Data cocok dengan desain eksperimen
Jika gagal di langkah awal → tidak perlu lanjut.
### Anomaly Detection — 3 Jenis
| Jenis | Deskripsi | Deteksi |
|-------|----------|---------|
| **Statistical outlier** | Nilai di luar distribusi normal | IQR: < Q1-1.5×IQR atau > Q3+1.5×IQR |
| **Contextual anomaly** | Normal absolut, abnormal dalam konteks | Run 1-10: ~91%, Run 11-20: ~88% |
| **Pattern anomaly** | Pola sistematis (bukan random) | Performa menurun berurutan |
**Prinsip:** Detect → Investigate → Document → Decide — **JANGAN langsung hapus.**
### Engineering vs Research Validation
| Aspek | Engineering | Research |
|-------|-----------|---------|
| Tujuan | Data sesuai spesifikasi bisnis | Data layak untuk analisis statistik |
| Missing data | Impute / set default | Investigasi penyebab → dokumentasi |
| Outlier | Bug → fix | Mungkin temuan → investigasi |
| Dokumentasi | Minimal (log error) | Komprehensif (anomali + keputusan) |
### Jebakan Kognitif
1. "Logging otomatis ≠ data benar" → bisa ada bug di logger
2. "Outlier = hapus" → bisa jadi temuan penting
3. "Dataset kecil tidak perlu validasi" → justru lebih rentan
4. "Mean normal = data benar" → [94, 95, 93, **44**, 94] → mean 84% terlihat wajar
---
## Template A.11 — Data Validation Checklist
```
DATA VALIDATION CHECKLIST
Completeness:
[ ] Semua skenario tercakup
[ ] Jumlah run sesuai rencana
[ ] Tidak ada file output hilang
Missing: ____ dari ____ data points
Format Consistency:
[ ] Semua file format sama (CSV/JSON/...)
[ ] Header konsisten
[ ] Tipe data konsisten (numerik tetap numerik)
Range & Logic:
[ ] Nilai dalam range masuk akal
[ ] Tidak ada waktu negatif
[ ] Metrik 0–100%, tidak di luar range
Anomali ditemukan: ____________________
Cross-Validation:
[ ] Run identik → hasil mendekati
[ ] Trend konsisten dengan ekspektasi teori
Keputusan:
[ ] Data siap analisis
[ ] Perlu cleaning
[ ] Perlu re-run (skenario: ____)
```
---
## Latihan 1 — Completeness Check
| Skenario | Data Point Diharapkan | Data Point Tersedia | Hilang | Penanganan |
|----------|----------------------|--------------------|---------|-----------|
| S1 | | | | |
| S2 | | | | |
| S3 | | | | |
Verifikasi apakah semua data yang direncanakan sudah terkumpul.
**Simulasi: 2 run hilang (timeout). Dampak:**
| Skenario | Run Direncanakan | Run Tercatat | Missing | Alasan |
|----------|-----------------|-------------|---------|--------|
| *Contoh: BERT, DS-1* | *10* | *10* | *0* | *—* |
| *LSTM, DS-3* | *10* | *8* | *2* | *OOM pada run 7 & 9* |
| | | | | |
| | | | | |
**Total expected:** ____ | **Total actual:** ____ | **Missing:** ____
**Keputusan untuk data missing:**
> ___________________________________________________
**Keputusan penanganan data hilang:**
- [ ] Re-run
- [ ] Hapus skenario
- [ ] Lanjutkan dengan catatan
---
## Latihan 2 — Anomaly Investigation
**Skenario anomali:** Satu skenario menunjukkan performa 10x lebih baik dari rata-rata.
Periksa data Anda untuk anomali. Gunakan metode IQR atau z-score.
| Langkah Investigasi | Temuan |
|--------------------|--------|
| 1. Cek apakah bug di kode | |
| 2. Cek cache effect | |
| 3. Cek parameter input | |
| 4. Cek environment (background process) | |
| 5. Re-run dengan seed berbeda | |
**Dataset sampel (atau data Anda sendiri):**
**Keputusan:** [ ] Bug / [ ] Cache effect / [ ] Genuine result
**Justifikasi:** ________________________________________
| Run | Accuracy (%) |
|-----|-------------|
| 1 | *91.2* |
| 2 | *90.8* |
| 3 | *91.5* |
| 4 | *78.3* |
| 5 | *91.0* |
**Deteksi outlier:**
- Q1 = ____ | Q3 = ____ | IQR = ____
- Batas bawah (Q1 - 1.5×IQR) = ____
- Batas atas (Q3 + 1.5×IQR) = ____
- Outlier terdeteksi: ____
**Investigasi (untuk setiap outlier):**
| Outlier | Nilai | Kemungkinan Penyebab | Keputusan |
|---------|-------|---------------------|-----------|
| *Run 4* | *78.3* | *Contoh: thermal throttling setelah 3 run berturut* | *Re-run dengan cooling interval* |
---
## Latihan 3 — Full Validation Report
## Latihan 3 — Validation Report
| Aspek Validasi | Status | Catatan |
|---------------|--------|--------|
| Completeness | [ ] Pass / [ ] Fail | |
| Consistency | [ ] Pass / [ ] Fail | |
| Range check | [ ] Pass / [ ] Fail | |
| Logical validity | [ ] Pass / [ ] Fail | |
Buat laporan validasi ringkas untuk dataset eksperimen Anda.
**Keputusan final:**
- [ ] Data siap analisis
- [ ] Perlu cleaning (detail: _________________________)
- [ ] Perlu re-run (detail: ___________________________)
**1. Completeness:** ____% data terkumpul
**2. Format:** [ ] Konsisten / [ ] Ada inkonsistensi: ____
**3. Range check (anomali):** ____
**4. Logic check:** [ ] Parameter sesuai plan / [ ] Ada ketidaksesuaian: ____
**Kesimpulan:** [ ] Data siap analisis / [ ] Perlu tindakan: ____
---
## Refleksi
> *"Jika reviewer meminta raw data dan log eksperimen — apakah saya bisa menyediakannya dalam 10 menit?"*
> Apa perbedaan antara "data yang benar" dan "data yang dipercaya"? Mengapa proses validasi formal diperlukan meskipun data dikumpulkan secara otomatis?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 11 — Data Validation & Integrity -->
> ___________________________________________________

162
worksheets/ws-12-result-presentation.md
View file

@ -1,65 +1,145 @@
# WS-12: Result Presentation
> **Bab Terkait:** Bab 12 — Result Presentation & Visualization
> **Tujuan:** Menyajikan hasil eksperimen dalam tabel dan visualisasi yang efektif
> **Referensi:** Lampiran B.12 | Template A.12
# WS-12: Result Presentation & Visualization
> **Bab 12 — Penyajian Hasil & Visualisasi**
---
## Ringkasan Materi
### Data → Insight Model
```
Validated Data → Structured Presentation → Visualization → Pattern Recognition → Insight
```
Penyajian **mendahului** analisis. Tabel dan grafik membantu peneliti "melihat" data sebelum menghitung. Langsung ke uji statistik tanpa visualisasi berisiko kesimpulan yang secara teknis benar tapi kontekstual salah (Anscombe's Quartet, 1973).
### Tabel = Presisi, Grafik = Pola
Keduanya **saling melengkapi**:
- Tabel: angka presisi, self-contained (dipahami tanpa teks), sortable
- Grafik: pola visual, tren, perbandingan cepat
### Jenis Grafik Berdasarkan Tujuan
| Tujuan | Jenis Grafik |
|--------|-------------|
| Perbandingan antar-skenario | Bar chart (grouped/stacked) |
| Distribusi per-skenario | Box plot / violin plot |
| Tren temporal | Line chart |
| Korelasi dua variabel | Scatter plot |
| Proporsi (total = 100%) | Pie chart (hati-hati!) |
### Contoh Tabel Hasil yang Baik
| Model | Accuracy (%) | F1-Score (%) | Training Time (min) |
|-------|-------------|-------------|---------------------|
| BERT | 88.4 ± 1.2 | 87.1 ± 1.4 | 45.2 ± 3.1 |
| LSTM | 86.1 ± 1.8 | 84.5 ± 2.0 | 12.8 ± 1.2 |
| SVM | 82.3 ± 0.9 | 80.7 ± 1.1 | 0.3 ± 0.1 |
*N=10 per model. Mean ± std. Diurutkan berdasarkan Accuracy.*
### Visualization Bias — Yang Harus Dihindari
| Bias | Deskripsi | Dampak |
|------|----------|--------|
| Truncated axis | Y tidak dari 0 | Memperbesar perbedaan kecil |
| Inconsistent scale | Dua grafik skala beda | Perbandingan menyesatkan |
| Cherry-picked data | Hanya tampilkan yang "menang" | Selektif, tidak jujur |
| 3D effects | Efek 3D tanpa dimensi data ke-3 | Distorsi tanpa informasi |
| Missing error bar | Tidak ada variabilitas | Menyembunyikan ketidakpastian |
### Engineering vs Research Presentation
| Aspek | Engineering | Research |
|-------|-----------|---------|
| Tujuan grafik | Dashboard monitoring | Mendukung argumen ilmiah |
| Informasi wajib | KPI, threshold | Mean, std, CI, N, p-value |
| Bias handling | Less critical | Wajib dihindari (peer-review) |
---
## Template A.12 — Result Presentation Plan
```
RESULT PRESENTATION PLAN
Research Question : ____________________
Metrik Utama : ____________________
Tabel Hasil:
| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n |
|----------|----------------------|----------------------|---|
| | | | |
Visualisasi yang Direncanakan:
| # | Jenis Grafik | Pesan Utama | Metrik |
|---|-------------|-------------|--------|
| 1 | | | |
| 2 | | | |
Bias Check:
[ ] Y-axis mulai dari 0 (atau dijustifikasi)
[ ] Error bar/CI ditampilkan
[ ] Semua data disertakan (tidak cherry-picked)
[ ] Tidak menggunakan 3D tanpa alasan
```
---
## Latihan 1 — Tabel Hasil
| Skenario | Metrik 1 (mean +/- std) | Metrik 2 (mean +/- std) | Runs | Rank |
|----------|------------------------|------------------------|------|------|
| | | | | |
| | | | | |
| | | | | |
| | | | | |
Buat tabel hasil eksperimen Anda (boleh dengan data simulasi jika belum punya data riil).
**Apakah tabel self-contained (bisa dipahami tanpa teks)?** [ ] Ya / [ ] Tidak
| Skenario | Metrik 1 (mean ± std) | Metrik 2 (mean ± std) | n |
|----------|----------------------|----------------------|---|
| *Contoh: BERT-base* | *88.4 ± 1.2%* | *45.2 ± 3.1 min* | *10* |
| | | | |
| | | | |
**Checklist tabel:**
- [ ] Self-contained (judul jelas, satuan ada, N tercantum)
- [ ] Mean ± std (bukan single number)
- [ ] Diurutkan berdasarkan metrik utama
- [ ] Format konsisten di semua baris
---
## Latihan 2 — Visualisasi Multi-Metrik
## Latihan 2 — Rencana Visualisasi
### Grafik 1
Rencanakan 2-3 grafik untuk menyajikan data dari Latihan 1. Setiap grafik = satu pesan.
**Jenis grafik:** _______________________________________
**Pesan utama:** ________________________________________
**Alasan pemilihan jenis grafik:** ________________________
**Observasi awal:** _____________________________________
> [Ruang untuk grafik atau referensi file]
### Grafik 2
**Jenis grafik:** _______________________________________
**Pesan utama:** ________________________________________
**Alasan pemilihan jenis grafik:** ________________________
**Observasi awal:** _____________________________________
> [Ruang untuk grafik atau referensi file]
| # | Jenis Grafik | Pesan | Data yang Digunakan |
|---|-------------|-------|---------------------|
| 1 | *Contoh: Bar chart + error bar* | *Perbandingan accuracy antar 3 model* | *Mean accuracy ± std* |
| 2 | *Box plot* | *Distribusi F1 per model* | *Semua run F1* |
| 3 | *Scatter plot* | *Trade-off accuracy vs training time* | *Mean accuracy vs mean time* |
---
## Latihan 3 — Bias Detection
| Bias | Grafik 1 | Grafik 2 |
|------|---------|---------|
| Truncated axis? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
| Missing error bar? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
| Cherry-picked data? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
| Misleading scale? | [ ] Ya / [ ] Tidak | [ ] Ya / [ ] Tidak |
Evaluasi visualisasi berikut untuk bias (skenario dari contoh):
**Perbaikan yang dilakukan:**
> ___________________________________________________
**Skenario:** Metode A = 91.2%, Metode B = 90.8%. Bar chart dengan Y-axis mulai dari 90%.
| Pertanyaan | Jawaban |
|-----------|---------|
| Apakah Y-axis menyesatkan? | *Contoh: Ya — A terlihat 2× B padahal beda 0.4%* |
| Apakah error bar ditampilkan? | |
| Apakah semua kondisi ditampilkan? | |
| Apa solusinya? | |
**Evaluasi grafik Anda sendiri dari Latihan 2:**
- [ ] Semua bias check lulus
- [ ] Ada yang perlu diperbaiki: ____
---
## Refleksi
> *"Jika grafik saya dilihat tanpa caption — apakah pesannya tetap jelas? Jika tidak, grafik perlu diperbaiki."*
> Mengapa tabel dan grafik keduanya diperlukan — tidak cukup salah satu saja? Pernahkah Anda membuat grafik yang (tanpa sengaja) menyesatkan?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 12 — Result Presentation & Visualization -->
> ___________________________________________________

176
worksheets/ws-13-preprocessing.md
View file

@ -1,62 +1,162 @@
# WS-13: Preprocessing
> **Bab Terkait:** Bab 13 — Data Preprocessing
> **Tujuan:** Menangani missing values, membuat pipeline preprocessing, dan mendeteksi leakage
> **Referensi:** Lampiran B.13 | Template A.13
# WS-13: Data Preprocessing
> **Bab 13 — Preprocessing & Persiapan Data untuk Analisis**
---
## Latihan 1 — Missing Value Strategy
## Ringkasan Materi
**Dataset:** ____________________________________________
**Persentase missing values:** __________________________
### Data Refinement Pipeline
| Strategi | Rata-rata Setelah | Kesimpulan Perbandingan Berubah? |
|----------|------------------|-------------------------------|
| Listwise deletion | | [ ] Ya / [ ] Tidak |
| Mean imputation | | [ ] Ya / [ ] Tidak |
| Flag & report | | [ ] Ya / [ ] Tidak |
```
Raw Data → Cleaning → Transformation → Normalization → Processed Data → Analysis Ready
```
**Strategi yang dipilih:** _______________________________
**Justifikasi:** ________________________________________
Setiap tahap memiliki tujuan berbeda. **Preprocessing bukan langkah teknis biasa** — setiap keputusan preprocessing adalah keputusan riset yang bisa mengubah kesimpulan.
### Empat Prinsip Preprocessing
| Prinsip | Deskripsi |
|---------|----------|
| **Consistency** | Metode sama untuk data yang sama |
| **Transparency** | Setiap langkah terdokumentasi |
| **Reproducibility** | Orang lain bisa mengulang dengan hasil sama |
| **Minimal Distortion** | Ubah sesedikit mungkin; jika normalisasi tidak perlu, jangan lakukan |
### Cleaning Triad
| Masalah | Strategi | Risiko |
|---------|---------|--------|
| **Missing values** | | |
| — Listwise deletion | Missing < 5%, random | Data loss |
| — Mean/median imputation | Sedikit missing, dist. normal | Mengurangi variabilitas |
| — Model-based imputation | Banyak missing, pola sistematis | Introduces dependency |
| — Flag & separate | Missing karena alasan substantif | Kompleksitas analisis |
| **Duplikat** | Identifikasi → verifikasi → hapus | False positive (data mirip ≠ duplikat) |
| **Error format** | Standardisasi tipe, encoding | Kehilangan informasi saat konversi |
### Normalisasi — Kapan & Metode Mana
| Metode | Formula | Output | Sensitif Outlier? |
|--------|---------|--------|-------------------|
| Min-max | (x-min)/(max-min) | [0, 1] | Ya |
| Z-score | (x-mean)/std | Unbounded | Lebih robust |
| Robust scaling | (x-median)/IQR | Unbounded | Paling robust |
**Kunci:** Parameter normalisasi harus dihitung dari **training set saja** — bukan seluruh data. Pelanggaran = **data leakage**.
### Data Leakage Prevention
Data leakage terjadi ketika informasi dari test set "bocor" ke preprocessing:
- Normalisasi parameter dari seluruh dataset ← **SALAH**
- Cross-validation dilakukan sebelum split ← **SALAH**
- Feature selection menggunakan label test set ← **SALAH**
### Jebakan Kognitif
1. "Preprocessing cuma teknis — tidak perlu detail" → bisa ubah kesimpulan
2. "Lebih banyak preprocessing = lebih bersih = lebih baik" → over-processing distorsi data
3. "Normalisasi selalu diperlukan" → belum tentu, tergantung metode analisis
4. "Imputation sama untuk semua situasi" → strategi harus sesuai konteks
---
## Latihan 2 — Preprocessing Pipeline
## Template A.13 — Preprocessing Documentation Log
**Bahasa/tool yang digunakan:** __________________________
```
PREPROCESSING LOG
| Step | Operasi | Input | Output | Komentar |
|------|---------|-------|--------|---------|
| 1 | Cleaning | | | |
| 2 | Encoding (jika perlu) | | | |
| 3 | Normalisasi (jika perlu) | | | |
| 4 | Feature engineering (jika perlu) | | | |
Dataset : ____________________
Jumlah data awal : ____________________
**Script/file referensi:** ______________________________
Cleaning:
| Masalah | Jumlah Kasus | Penanganan | Justifikasi |
|---------|-------------|------------|-------------|
| Missing | | | |
| Duplikat| | | |
| Error | | | |
Transformation:
| Transformasi | Variabel | Detail | Alasan |
|-------------|----------|--------|--------|
| | | | |
Normalization:
Metode : ____________________
Alasan : ____________________
Parameter : (dihitung dari: training set / seluruh data)
Leakage Check:
[ ] Parameter normalisasi dari training set saja
[ ] Tidak ada informasi test set dalam preprocessing
[ ] Cross-validation dilakukan setelah split
Jumlah data akhir : ____________________
Script tersedia : [ ] Ya → path: ____ | [ ] Belum
```
---
## Latihan 3 — Leakage Detection
## Latihan 1 — Cleaning Plan
| Potensi Leakage | Ditemukan? | Perbaikan |
|----------------|-----------|----------|
| Test data masuk ke training | [ ] Ya / [ ] Tidak | |
| Future information di features | [ ] Ya / [ ] Tidak | |
| Target variable di preprocessing | [ ] Ya / [ ] Tidak | |
| Normalisasi sebelum split | [ ] Ya / [ ] Tidak | |
Periksa dataset Anda (atau dataset contoh) dan dokumentasikan masalah yang ditemukan.
**Kesimpulan leakage check:**
- [ ] Tidak ada leakage — karena: _______________________
- [ ] Ada leakage — diperbaiki dengan: ___________________
| Masalah | Jumlah Kasus | Penanganan | Justifikasi |
|---------|-------------|------------|-------------|
| *Contoh: Missing di kolom "label"* | *12 dari 500 (2.4%)* | *Listwise deletion* | *< 5%, distribusi random (MCAR)* |
| | | | |
| | | | |
| | | | |
**Jumlah data sebelum cleaning:** ____
**Jumlah data setelah cleaning:** ____
**Persentase data yang hilang/berubah:** ____%
---
## Latihan 2 — Normalisasi Decision
Tentukan apakah data Anda perlu normalisasi, dan jika ya, metode apa yang tepat.
| Variabel | Range Asli | Distribusi | Outlier? | Metode Normalisasi | Alasan |
|----------|-----------|-----------|----------|-------------------|--------|
| *Contoh: response_time* | *0.1 – 45.2s* | *Right-skewed* | *Ya (45.2s)* | *Robust scaling* | *Ada outlier, perlu robust* || *Contoh: accuracy_score* | *0.72 – 0.95* | *Normal, narrow* | *Tidak* | *Tidak perlu* | *Sudah dalam [0,1], metode berbasis distance tidak digunakan* || | | | | | |
| | | | | | |
**Apakah normalisasi diperlukan?** [ ] Ya / [ ] Tidak
**Justifikasi:**
> ___________________________________________________
**Leakage check:**
- [ ] Parameter dihitung dari training set saja
- [ ] Normalisasi diterapkan setelah train-test split
---
## Latihan 3 — Preprocessing Report
Buat ringkasan preprocessing lengkap — dokumentasi yang cukup bagi orang lain untuk mereplikasi.
```
PREPROCESSING SUMMARY
1. Dataset: ____________________
2. Data awal: ____ records, ____ features
3. Cleaning:
- Missing values: ____ kasus, metode: ____
- Duplikat: ____ kasus, tindakan: ____
- Error: ____ kasus, tindakan: ____
4. Transformation: ____________________
5. Normalisasi: ____ (metode), parameter dari ____
6. Data akhir: ____ records, ____ features
7. Leakage check: [ ] Lulus / [ ] Ada masalah
```
---
## Refleksi
> *"Jika saya menghapus satu baris data — bisakah saya menjelaskan mengapa, dan apakah orang lain akan setuju?"*
> Apakah Anda pernah melakukan normalisasi "karena biasa dilakukan" tanpa mempertimbangkan apakah benar-benar diperlukan? Apa risiko over-preprocessing?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 13 — Data Preprocessing -->
> ___________________________________________________

188
worksheets/ws-14-analysis-interpretation.md
View file

@ -1,75 +1,179 @@
# WS-14: Analysis & Interpretation
> **Bab Terkait:** Bab 14 — Data Analysis, Interpretation & Failure Analysis
> **Tujuan:** Menganalisis data, menginterpretasi hasil, dan melakukan failure analysis
> **Referensi:** Lampiran B.14 | Template A.14
# WS-14: Analysis, Interpretation & Failure Analysis
> **Bab 14 — Analisis Data, Interpretasi & Failure Analysis**
---
## Latihan 1 — From Data to Decision
## Ringkasan Materi
### Statistik Deskriptif
### Data → Knowledge Model
| Metrik | Mean | Std Dev | Min | Max | Median |
|--------|------|---------|-----|-----|--------|
| | | | | | |
| | | | | | |
```
Data → Analysis → Interpretation → Explanation → Knowledge
```
### Uji Hipotesis
Tiga level yang berbeda:
- **Analysis** — "Apa yang terjadi?" (deskriptif + inferensial)
- **Interpretation** — "Apa artinya?" (konteks RQ + literatur)
- **Failure Analysis** — "Mengapa tidak berhasil?" (boundary conditions)
| Uji | Nilai Statistik | p-value | Keputusan |
|-----|----------------|---------|-----------|
| | | | [ ] Tolak H0 / [ ] Gagal tolak H0 |
### Beyond p-value
### Effect Size
**Statistical significance ≠ practical significance.** Selalu laporkan:
1. p-value (signifikansi statistik)
2. Effect size (besarnya efek)
3. Confidence interval (rentang ketidakpastian)
| Metrik | Effect Size | Kategori (small/medium/large) |
|--------|------------|------------------------------|
| | | |
| Effect Size (Cohen's d) | Interpretasi |
|-------------------------|-------------|
| < 0.2 | Small |
| 0.2 – 0.8 | Medium |
| > 0.8 | Large |
### Confidence Interval
### Pemilihan Uji Statistik
| Metrik | CI 95% | Interpretasi |
|--------|--------|-------------|
| | [ __ , __ ] | |
| Kondisi | Uji yang Tepat |
|---------|---------------|
| 2 grup, normal, paired | Paired t-test |
| 2 grup, non-normal | Wilcoxon signed-rank |
| > 2 grup, normal | One-way ANOVA + post-hoc |
| > 2 grup, non-normal | Kruskal-Wallis + post-hoc |
| 2 variabel kontinu | Pearson (normal) / Spearman (rank) |
### Failure Analysis as Contribution
Hipotesis yang ditolak adalah **temuan yang berharga**:
| Dataset | New (F1) | Baseline (F1) | p-value | Cohen's d |
|---------|---------|--------------|---------|-----------|
| DS-1 (small, clean) | 94.2±1.1 | 89.3±1.5 | <0.001 | **3.7** |
| DS-4 (medium, noisy) | 78.3±3.2 | 82.1±2.8 | 0.008 | **-1.3** |
| DS-5 (large, noisy) | 71.6±4.1 | 80.5±3.0 | <0.001 | **-2.5** |
**Insight:** Metode baru unggul di data bersih tapi gagal di data noisy → asumsi Gaussian dilanggar → **boundary condition** ditemukan → hybrid approach direkomendasikan.
**Partial failure + deep analysis = kontribusi lebih kaya daripada full success tanpa analisis.**
### Limitation Types
| Jenis | Contoh |
|-------|--------|
| Internal validity | Confounders yang tidak dikontrol |
| External validity | Generalisasi ke domain lain |
| Construct validity | Metrik mengukur apa yang dimaksud? |
| Statistical limitation | Sample size, asumsi distribusi |
### Jebakan Kognitif
1. "Signifikan statistik = penting secara praktis" → cek effect size
2. "Hipotesis tidak didukung → cari sudut baru" → p-hacking
3. "Kegagalan tidak perlu dilaporkan detail" → missed insight
4. "Limitasi cukup disebutkan, tidak perlu dianalisis" → kedalaman hilang
---
## Latihan 2 — Beyond p-Value
## Template A.14 — Analysis & Interpretation Report
```
ANALYSIS & INTERPRETATION
1. Statistik Deskriptif:
| Skenario | Mean | Std | Median | Min | Max | n |
|----------|------|-----|--------|-----|-----|---|
| | | | | | | |
2. Uji Hipotesis:
Uji yang digunakan : ____________________
Justifikasi : ____________________
Hasil: p = ____, effect size (d/r/η²) = ____
CI 95% : [____, ____]
3. Keputusan:
[ ] H₀ ditolak → H₁ diterima
[ ] H₀ tidak ditolak
4. Interpretasi:
Hubungan ke RQ : ____________________
Practical significance: ____________________
Perbandingan literatur: ____________________
5. Limitation:
| Jenis | Ancaman | Dampak | Mitigasi |
|-------|---------|--------|----------|
| | | | |
6. Failure Analysis (jika H₀ tidak ditolak):
Penyebab potensial : ____________________
Boundary condition : ____________________
Insight : ____________________
```
---
## Latihan 1 — Pemilihan Uji Statistik
Tentukan uji statistik yang tepat untuk eksperimen Anda.
| Pertanyaan | Jawaban |
|-----------|---------|
| Arti praktis (bukan hanya statistik)? | |
| Apakah perbedaan cukup besar untuk bermakna? | |
| Bagaimana dibandingkan temuan di literatur? | |
| Berapa grup yang dibandingkan? | *Contoh: 3 (BERT, LSTM, SVM)* |
| Apakah data berpasangan (paired)? | |
| Apakah distribusi normal? (uji normalitas) | |
| **Uji yang dipilih:** | |
| **Justifikasi:** | |
**Effect size yang akan dilaporkan:** [ ] Cohen's d / [ ] Eta-squared / [ ] Lainnya: ____
---
## Latihan 2 — Interpretasi Hasil
Gunakan data berikut (atau data riil Anda) untuk berlatih interpretasi.
**Data:**
| Model | Accuracy (mean ± std) | n |
|-------|----------------------|---|
| A | 89.2 ± 1.5 | 10 |
| B | 87.8 ± 2.1 | 10 |
p = 0.045, Cohen's d = 0.74, CI 95% = [0.03, 2.77]
| Aspek | Interpretasi |
|-------|-------------|
| Signifikansi statistik | *Contoh: p < 0.05 → signifikan pada α=0.05* |
| Effect size | *Contoh: d=0.74 → medium-to-large effect* |
| Practical significance | |
| Hubungan ke RQ | |
| Perbandingan literatur | |
---
## Latihan 3 — Failure Analysis
### Jika Hipotesis Ditolak:
Latih kemampuan failure analysis: hipotesis TIDAK didukung. Apa yang bisa dipelajari?
**Skenario:** Metode baru Anda mendapat F1 = 83.2%, baseline = 84.7%. p = 0.12 (tidak signifikan).
| Pertanyaan | Jawaban |
|-----------|---------|
| Apakah ada boundary condition? | |
| Apakah kegagalan mengungkap insight baru? | |
| Apa yang bisa dipelajari? | |
| Apakah ini "gagal"? | *Contoh: Bukan gagal total — hipotesis tidak terdukung adalah temuan yang valid dan bisa menjadi kontribusi.* |
| Kemungkinan penyebab? | *Contoh: Metode baru menambah kompleksitas komputasi (+40% waktu) tanpa peningkatan F1 yang cukup — overhead tidak sebanding.* |
| Boundary condition? | *Contoh: Metode ini hanya efektif ketika data ≥ 10.000 record; di dataset kecil (<1.000), baseline lebih stabil.* |
| Insight yang bisa diambil? | *Contoh: Ada trade-off ukuran data vs kompleksitas — rekomendasikan hybrid approach yang adaptif berdasarkan ukuran dataset.* |
| Apakah layak dilaporkan? Mengapa? | *Contoh: Ya — negative result + boundary condition analysis adalah kontribusi riset yang diakui komunitas (ex: ACL, SIGIR). Mencegah riset duplikasi yang berulang.* |
### Jika Hipotesis Diterima:
| Pertanyaan | Jawaban |
|-----------|---------|
| Limitation yang mengurangi kekuatan klaim? | |
| Apa yang tidak bisa disimpulkan? | |
| Perlu replikasi di konteks lain? | |
**Limitation terkait:**
| Jenis | Ancaman | Dampak |
|-------|---------|--------|
| *Contoh: Statistical* | *Contoh: Hanya 5 run per skenario* | *Power test rendah* |
| | | |
| | | |
---
## Refleksi
> *"p < 0.05 artinya apa secara konkret? Jika efeknya sangat kecil meski signifikan — apakah masih berarti?"*
> Apakah "failure" dalam riset benar-benar gagal, atau justru kontribusi? Bagaimana failure analysis mengubah cara Anda melihat hasil negatif?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 14 — Data Analysis, Interpretation & Failure Analysis -->
> ___________________________________________________

202
worksheets/ws-15-scientific-writing.md
View file

@ -1,91 +1,177 @@
# WS-15: Scientific Writing
> **Bab Terkait:** Bab 15 — Scientific Writing
> **Tujuan:** Menyusun outline paper IMRAD, memeriksa konsistensi, dan melatih alur paragraf
> **Referensi:** Lampiran B.15 | Template A.15
# WS-15: Scientific Writing
> **Bab 15 — Penulisan Ilmiah**
---
## Latihan 1 — IMRAD Outline
## Ringkasan Materi
### Introduction
| # | Konten Utama | Target Kata |
|---|-------------|------------|
| 1 | | |
| 2 | | |
| 3 | | |
### Scientific Argument Flow
### Method
| # | Konten Utama | Target Kata |
|---|-------------|------------|
| 1 | | |
| 2 | | |
| 3 | | |
```
Problem → Gap → RQ → Method → Result → Analysis → Conclusion → Contribution
```
### Results
| # | Konten Utama | Target Kata |
|---|-------------|------------|
| 1 | | |
| 2 | | |
| 3 | | |
Paper ilmiah adalah **satu argumen utuh** dari masalah ke kontribusi. Setiap node harus terhubung logis ke node sebelum dan sesudahnya.
### Discussion
| # | Konten Utama | Target Kata |
|---|-------------|------------|
| 1 | | |
| 2 | | |
| 3 | | |
### Struktur IMRAD
### Conclusion
| # | Konten Utama | Target Kata |
|---|-------------|------------|
| 1 | | |
| 2 | | |
| Section | Peran | Pertanyaan Kunci |
|---------|-------|-----------------|
| **Introduction** | Motivasi + frame | Why is this needed? |
| **Method** | Deskripsi (reproducible) | How was it done? |
| **Results** | Laporan objektif | What was found? |
| **Discussion** | Interpretasi + refleksi | What does it mean? |
| **Conclusion** | Ringkasan + kontribusi | So what? |
### Logical Flow — "Red Thread"
Setiap paragraf menjawab satu pertanyaan dan memicu pertanyaan berikutnya. Alur logis ini harus terasa di tiga level:
1. **Antar-kalimat** dalam paragraf
2. **Antar-paragraf** dalam section
3. **Antar-section** dalam paper
### Internal Consistency
Setiap elemen yang dijanjikan di Introduction harus hadir di Discussion/Conclusion.
**Consistency Matrix:**
```
Intro Method Result Discuss Conclude
RQ1 ✓ ✓ ✓ ✓ ✓
RQ2 ✓ ✓ ✓ ✗ ← ✓
Metrik-X ✗ ✗ ✓ ← ✗ ✗
```
**Masalah:** RQ2 dibahas di semua bagian kecuali Discussion. Metrik-X muncul di Result tapi tidak diperkenalkan di Method.
### Writing Quality Triad
| Kualitas | Deskripsi | Contoh Buruk → Baik |
|----------|----------|---------------------|
| **Clarity** | Dipahami sekali baca | "Performa meningkat" → "Accuracy meningkat dari 85.3% ke 89.7%" |
| **Precision** | Istilah eksak, tanpa ambiguitas | "signifikan" → "signifikan secara statistik (p=0.003, d=1.2)" |
| **Conciseness** | Setiap kata menambah informasi | Hapus kalimat redundan, filler words |
### Urutan Penulisan yang Disarankan
1. **Method & Results** — paling stabil, tulis pertama
2. **Discussion** — interpretasi berdasarkan hasil
3. **Introduction** — frame sesuai temuan aktual
4. **Abstract & Conclusion** — terakhir
### Target Jumlah Kata
| Section | Target |
|---------|--------|
| Introduction | 500–700 |
| Related Work | 700–1000 |
| Method | 800–1200 |
| Results | 500–800 |
| Discussion | 600–900 |
| Conclusion | 200–400 |
### Jebakan Kognitif
1. "Lebih panjang = lebih lengkap" → conciseness lebih berharga
2. "Introduction harus ditulis pertama" → justru ditulis terakhir
3. "Jargon teknis = lebih ilmiah" → clarity lebih penting
4. "Discussion = ringkasan Results" → Discussion = interpretasi + konteks
---
## Template A.15 — Paper Structure Checklist
```
PAPER STRUCTURE CHECKLIST
Title : ____________________
Target : [ ] Jurnal [ ] Konferensi [ ] Laporan
Section Check:
[ ] Abstract — masalah, metode, hasil utama, kontribusi (max 250 kata)
[ ] Introduction — konteks → gap → RQ → kontribusi → struktur paper
[ ] Related Work — concept-centric, gap positioning
[ ] Method — reproducible: desain, variabel, metrik, setup, prosedur
[ ] Results — tabel + grafik + observasi (tanpa interpretasi)
[ ] Discussion — interpretasi, perbandingan, implikasi, limitation
[ ] Conclusion — jawaban RQ, kontribusi, future work
Consistency Matrix:
[ ] RQ di Introduction = RQ di Method = RQ di Conclusion
[ ] Variabel di Method = variabel di Results
[ ] Klaim di Discussion didukung data di Results
[ ] Limitasi di Discussion di-address di Conclusion/Future Work
Writing Quality:
[ ] Clarity — mudah dipahami tanpa re-read
[ ] Precision — tidak ada istilah ambigu
[ ] Conciseness — tidak ada kalimat redundan
```
---
## Latihan 1 — Paper Outline
Buat outline paper untuk riset Anda menggunakan struktur IMRAD.
| Section | Konten Utama (2-3 kalimat) | Target Kata |
|---------|---------------------------|------------|
| Abstract | *Contoh: Sistem rekomendasi memiliki akurasi tinggi tapi satisfaction rendah. Studi ini menguji CF+context signal. Hasil: satisfaction naik 38% tanpa penurunan RMSE signifikan.* | 200-250 |
| Introduction | *Contoh: Konteks: gap antara akurasi dan kepuasan pengguna. Gap: tidak ada studi yang mengkombinasikan CF+context. RQ: apakah CF+context meningkatkan satisfaction?* | 500-700 |
| Related Work | | 700-1000 |
| Method | | 800-1200 |
| Results | | 500-800 |
| Discussion | | 600-900 |
| Conclusion | | 200-400 |
---
## Latihan 2 — Consistency Matrix
| RQ | Introduction | Method | Results | Discussion | Conclusion |
|----|-------------|--------|---------|-----------|-----------|
Buat consistency matrix untuk memverifikasi internal consistency paper Anda.
| | Intro | Method | Result | Discussion | Conclusion |
|--|-------|--------|--------|-----------|-----------|
| *Contoh: RQ1* | *✓* | *✓* | *✓* | *✓* | *✓* |
| *Contoh: Metrik-X* | *✗ ←* | *✗ ←* | *✓* | *✗ ←* | *✗ ←* |
| RQ1 | | | | | |
| RQ2 (jika ada) | | | | | |
| RQ2 | | | | | |
| Metrik utama | | | | | |
| Variabel IV | | | | | |
| Variabel DV | | | | | |
| Klaim/kontribusi | | | | | |
**Isi setiap sel:** ✓ (ada & konsisten), ✗ (missing), ~ (ada tapi inkonsisten)
**Inkonsistensi yang ditemukan:**
> ___________________________________________________
**Perbaikan:**
**Tindakan perbaikan:**
> ___________________________________________________
---
## Latihan 3 — Paragraph-Level Flow
## Latihan 3 — Writing Quality Check
**Section yang dipilih:** Discussion
Ambil satu paragraf dari tulisan Anda (atau tulis paragraf baru) dan evaluasi kualitasnya.
**Paragraf 1:**
> Kalimat topik: ________________________________________
> Bukti pendukung: ______________________________________
> Transisi ke paragraf 2: ________________________________
**Paragraf asli:**
> (tempel paragraf Anda di sini)
**Paragraf 2:**
> Kalimat topik: ________________________________________
> Bukti pendukung: ______________________________________
> Transisi ke paragraf 3: ________________________________
| Kriteria | Evaluasi | Perbaikan |
|----------|---------|-----------|
| Clarity | *Contoh: kalimat ke-3 ambigu — "performa" bisa berarti accuracy atau speed* | *Ubah menjadi: "accuracy meningkat..."* |
| Precision | | |
| Conciseness | | |
**Paragraf 3:**
> Kalimat topik: ________________________________________
> Bukti pendukung: ______________________________________
**Evaluasi flow:** [ ] Logis / [ ] Perlu perbaikan transisi
**Paragraf setelah perbaikan:**
> (tulis paragraf yang sudah diperbaiki)
---
## Refleksi
> *"Jika saya membaca paper saya sebagai reviewer yang skeptis — di mana saya akan berhenti dan berkata 'ini tidak convincing'?"*
> Apa perbedaan antara menulis "tentang" riset dan menulis sebagai "argumen" riset? Bagaimana urutan penulisan (Method → Discussion → Introduction) mengubah kualitas tulisan?
**Jawaban refleksi:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 15 — Scientific Writing -->
> ___________________________________________________

193
worksheets/ws-16-presentation-defense.md
View file

@ -1,72 +1,177 @@
# WS-16: Presentation & Defense
> **Bab Terkait:** Bab 16 — Presentation & Defense
> **Tujuan:** Menyusun slide deck, mempersiapkan anticipatory defense, dan berlatih presentasi
> **Referensi:** Lampiran B.16 | Template A.16
# WS-16: Presentation & Defense (UAS)
> **Bab 16 — Presentasi & Pertahanan Ilmiah**
---
## Latihan 1 — Slide Deck
## Ringkasan Materi
Prinsip: 1 slide = 1 pesan, visual > text, build progression.
### Scientific Defense Model
| Slide # | Judul | Pesan Utama | Visual/Data |
|---------|-------|------------|------------|
| 1 | Title & Context | | |
| 2 | Problem & Gap | | |
| 3 | Research Question | | |
| 4 | Method Overview | | |
| 5 | System Architecture | | |
| 6 | Experiment Design | | |
| 7 | Result — Tabel | | |
| 8 | Result — Grafik | | |
| 9 | Analysis & Interpretation | | |
| 10 | Discussion & Limitation | | |
| 11 | Conclusion & Contribution | | |
| 12 | Future Work | | |
```
Research Work → Presentation → Questioning → Defense → Evaluation → Acceptance
```
**Total slide konten:** _________________________________
### Presentasi ≠ Ringkasan Paper
| Paper | Presentasi |
|-------|-----------|
| Dibaca (self-paced) | Didengar (presenter-paced) |
| Detail lengkap | Ide kunci + highlight |
| Tabel numerik detail | Grafik visual + angka kunci |
| Pembaca bisa re-read | Audiens dengar sekali |
**Prinsip:** Presentasi membutuhkan **reformulasi**, bukan kompresi. Medium berbeda = pendekatan berbeda.
### Claim-Evidence-Reasoning (CER)
Setiap jawaban defense harus memiliki:
1. **Claim** — Pernyataan yang dijawab
2. **Evidence** — Data/fakta pendukung
3. **Reasoning** — Logika yang menghubungkan evidence ke claim
**Contoh:**
| Pertanyaan | Bad Answer | Good Answer (CER) |
|-----------|-----------|-------------------|
| "Kenapa hanya 3 dataset?" | "Tiga sudah cukup" | "3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy [E]. Generalisasi perlu validasi lanjut — listed as limitation [R]" |
| "Hasil DS-3 menurun?" | "Itu outlier" | "Ya, karena distribusi heavy-tail melanggar asumsi Gaussian [E]. Ini menunjukkan boundary condition metode [R]" |
| "Effect size?" | "p=0.003, jadi signifikan" | "Cohen's d=1.2 (large effect) [E] — bukan hanya signifikan tapi substansial [R]" |
### Slide Design — One Slide, One Message
**Optimal 9-Slide Plan (15 menit):**
| # | Slide | Waktu | Pesan |
|---|-------|-------|-------|
| 1 | Title + context | 1 min | Apa ini tentang apa |
| 2 | Problem + motivation | 2 min | Mengapa penting |
| 3 | Gap + RQ | 1.5 min | Apa yang belum terjawab |
| 4 | Method overview | 2 min | Bagaimana dijawab (diagram) |
| 5 | Key result — tabel | 2 min | Temuan utama |
| 6 | Key result — grafik | 2 min | Pola visual |
| 7 | Interpretation + failure | 2 min | Apa artinya |
| 8 | Limitation + future | 1.5 min | Batasan & arah |
| 9 | Conclusion + contribution | 1 min | Closing message |
### Anticipatory Defense
Prediksi pertanyaan berdasarkan kategori:
| Kategori | Contoh Pertanyaan |
|---------|------------------|
| Problem | "Mengapa masalah ini penting?" |
| Gap | "Bagaimana dengan studi X yang sudah menjawab ini?" |
| Method | "Mengapa metode ini, bukan Y?" |
| Results | "Bagaimana menjelaskan anomali di DS-3?" |
| Generalization | "Apakah bisa diterapkan di domain lain?" |
### Tiga Prinsip Jawaban
1. **Direct** — Jawab dulu, elaborasi kemudian
2. **Data-based** — Tunjuk evidence spesifik
3. **Honest** — Akui limitasi jika memang ada
### Jebakan Kognitif
1. "Presentasi = semua yang ada di paper" → terlalu padat
2. "Slide cantik = presentasi bagus" → konten > estetika
3. "Tidak bisa jawab = gagal" → "I don't know, but..." menunjukkan kejujuran
4. "Tidak perlu latihan — saya paham riset saya" → latihan = menemukan celah
---
## Template A.16 — Defense Preparation Sheet
```
DEFENSE PREPARATION
Slide Deck Plan:
Total slides : ____ (target: 10-12 konten + title/closing)
Time per slide : ~2 min
Total time : ____ menit
Slide Outline:
| # | Pesan Utama | Visual | Waktu |
|---|-------------|--------|-------|
| 1 | Title | | 30s |
| 2 | Problem | | 2min |
| 3 | Gap + RQ | | 2min |
| ..| | | |
Anticipatory Defense Matrix:
| Kategori | Pertanyaan Potensial | Jawaban (CER) |
|----------|---------------------|---------------|
| Problem | | |
| Gap | | |
| Method | | |
| Results | | |
| Generalization | | |
Latihan:
Latihan 1: [tanggal] — [catatan timing & feedback]
Latihan 2: [tanggal] — [catatan timing & feedback]
Latihan 3: [tanggal] — [catatan timing & feedback]
```
---
## Latihan 1 — Slide Outline
Rencanakan presentasi 15 menit untuk riset Anda.
| # | Pesan Utama | Visual yang Digunakan | Waktu |
|---|-------------|----------------------|-------|
| 1 | *Contoh: Judul + konteks — rekomendasi vs kepuasan* | *Title slide, gambar sistem* | *1 min* |
| 2 | *Contoh: Problem — RMSE tinggi tapi satisfaction rendah (45/100)* | *Bar chart: satisfaction vs RMSE per sistem* | *2 min* |
| 3 | *Contoh: Gap + RQ — belum ada CF+context untuk satisfaction* | *Tabel gap literatur* | *1.5 min* |
| 4 | | | |
| 5 | | | |
| 6 | | | |
| 7 | | | |
| 8 | | | |
| 9 | | | |
**Total waktu estimasi:** ____ menit
---
## Latihan 2 — Anticipatory Defense
Gunakan framework CER: Claim-Evidence-Reasoning.
Prediksi 5 pertanyaan yang mungkin diajukan penguji, lalu siapkan jawaban CER.
| Kategori | Pertanyaan Potensial | Claim | Evidence | Reasoning |
|----------|---------------------|-------|---------|-----------|
| Problem | | | | |
| Gap | | | | |
| Method | | | | |
| Results | | | | |
| Generalization | | | | |
| # | Kategori | Pertanyaan | Claim | Evidence | Reasoning |
|---|----------|-----------|-------|----------|-----------|
| 1 | *Problem* | *Contoh: Mengapa fokus kepuasan, bukan akurasi?* | *Akurasi tinggi tidak menjamin kepuasan* | *Survey: 45/100 satisfaction meski RMSE 0.87* | *Gap antara metrik teknis dan pengalaman pengguna* |
| 2 | *Method* | *Contoh: Mengapa hanya 3 dataset?* | *3 dataset mewakili variasi: small-clean, medium-clean, medium-noisy* | *Tabel karakteristik dataset di Bab Method* | *Generalisasi perlu validasi lanjut — tercatat sebagai limitasi* |
| 3 | | | | | |
| 4 | | | | | |
| 5 | | | | | |
---
## Latihan 3 — Presentasi & Feedback
## Latihan 3 — Simulasi Q&A
**Durasi presentasi:** __________________________________
**Audience:** ___________________________________________
Minta teman/kolega mengajukan 3 pertanyaan tentang riset Anda. Catat pertanyaan dan evaluasi jawaban Anda.
| Aspek | Feedback | Perbaikan |
|-------|---------|----------|
| Timing | | |
| Kejelasan narasi | | |
| Slide yang membingungkan | | |
| Pertanyaan dari audience | | |
| # | Pertanyaan | Jawaban Saya | Evaluasi |
|---|-----------|-------------|---------|| *1* | *Contoh: "Mengapa tidak membandingkan dengan metode Y?"* | *Contoh: "Karena Y memerlukan dataset labeled yang tidak tersedia. Disebutkan sebagai limitasi di halaman X."* | *[✓] Direct [✓] Data-based [✓] Honest* || 1 | | | [ ] Direct [ ] Data-based [ ] Honest |
| 2 | | | [ ] Direct [ ] Data-based [ ] Honest |
| 3 | | | [ ] Direct [ ] Data-based [ ] Honest |
**Elevator pitch (2 menit, tanpa slide):**
> ___________________________________________________
**Pertanyaan yang paling sulit dijawab:**
> ___________________________________________________
**Apa yang perlu disiapkan lebih baik:**
> ___________________________________________________
---
## Refleksi
> *"Bisakah saya menjelaskan inti riset saya dalam 2 menit tanpa slide — dan tetap meyakinkan?"*
> Dari seluruh proses WS-01 sampai WS-16 — dari paradigma riset hingga presentasi — bagian mana yang paling mengubah cara Anda berpikir tentang riset? Apa satu hal yang akan selalu Anda terapkan di riset berikutnya?
**Jawaban refleksi:**
**Insight terbesar:**
> ___________________________________________________
---
<!-- Worksheet dari Bab 16 — Presentation & Defense -->
**Yang akan selalu diterapkan:**
> ___________________________________________________