Each worksheet now includes Ringkasan Materi, Template A.x, 3 exercises with example answers, and reflection prompts. Synced from rti-20252 student repo.
5.3 KiB
WS-06: System-Experiment Mapping
Bab 6 — System Design sebagai Experimental Artifact
Ringkasan Materi
Sistem = Instrumen Pengujian, Bukan Produk
Seorang engineer bertanya "apakah sistem bekerja?" — seorang peneliti bertanya "apa yang bisa dibuktikan sistem ini?" Sistem dalam riset adalah artifact — objek yang sengaja dibuat untuk menguji klaim spesifik.
System as Experiment Model
RQ → Variable → System Component → Experimental Setup → Output
Setiap komponen sistem harus bisa ditelusuri ke variabel riset (top-down), dan setiap pengukuran harus menjawab RQ (bottom-up).
Mapping Variabel ke Komponen
| Tipe Variabel | Peran di Sistem | Contoh |
|---|---|---|
| IV (Independent) | Modul yang bisa di-toggle/swap | Algoritma A vs B |
| DV (Dependent) | Modul pengukuran | Logger, metrics collector |
| CV (Control) | Config yang dikunci | Dataset, parameter tetap |
Jika variabel tidak bisa di-map ke komponen apapun → arsitektur perlu didesain ulang.
4 Prinsip Desain Eksperimental
| Prinsip | Pertanyaan Kunci |
|---|---|
| Traceability | Komponen ini melayani variabel yang mana? |
| Modularity | Bisakah IV diubah tanpa memengaruhi yang lain? |
| Controllability | Apakah CV dieksternalisasi ke config file? |
| Measurability | Apakah sistem otomatis menghasilkan data yang dibutuhkan? |
Variable Isolation melalui Arsitektur
- Modular architecture — Pisahkan berdasarkan variabel
- Configuration-driven — Ubah config (YAML/JSON), bukan code
- Feature toggles — On/off flag untuk ablation study
Research vs Engineering
| Aspek | Engineering | Research |
|---|---|---|
| Tujuan sistem | Memenuhi kebutuhan user | Menguji hipotesis, menghasilkan bukti |
| Arsitektur | Optimasi performa & skalabilitas | Optimasi isolasi variabel & reprodusibilitas |
| Konfigurasi | Sering hardcoded | Dieksternalisasi ke config file |
| Fitur tambahan | Menambah nilai user | Menambah noise jika tidak terkait RQ |
Istilah Penting
- Artifact — Objek yang sengaja dibuat untuk memecahkan masalah atau menguji proposisi
- Traceability — Kemampuan menelusuri hubungan RQ → variabel → komponen → output
- Variable Isolation — Mengubah hanya satu variabel sambil menahan yang lain konstan
- Ablation Study — Menguji kontribusi tiap komponen dengan melepasnya satu per satu
- Configuration-driven Execution — Semua parameter di config file, bukan hardcoded
Template A.6 — Mapping RQ ke Arsitektur Sistem
SYSTEM-EXPERIMENT MAPPING
Research Question: ____________________
Variable → Component Mapping:
| Variabel | Tipe | Komponen Sistem | Cara Manipulasi/Pengukuran |
|----------|------|-----------------|---------------------------|
| | IV | | |
| | DV | | |
| | CV | | |
4 Prinsip Desain:
[ ] Traceability — Setiap komponen bisa ditelusuri ke variabel
[ ] Variable Isolation — IV bisa diubah tanpa mengubah CV
[ ] Measurement Integration — Pengukuran DV built-in
[ ] Reproducibility — Setup bisa direkonstruksi
Experimental Setup:
Input data : ____________________
Parameter : ____________________
Output format : ____________________
Latihan 1 — Variable-to-Component Mapping
Gunakan RQ dan variabel dari WS-05. Petakan ke komponen sistem.
RQ: __________________________________________________
| Variabel | Tipe | Komponen Sistem | Cara Manipulasi / Pengukuran |
|---|---|---|---|
| Contoh: Jenis model | IV | Modul classifier (swap RF ↔ CNN) | Ganti config model_type |
| DV | |||
| CV |
Apakah semua variabel bisa di-map? [ ] Ya / [ ] Tidak
Jika tidak, komponen apa yang perlu ditambahkan? _________
Latihan 2 — 4 Prinsip Desain
Evaluasi desain sistem terhadap 4 prinsip.
| Prinsip | Status | Bukti / Penjelasan |
|---|---|---|
| Traceability | Contoh: ✅ — setiap modul punya label variabel | |
| Modularity | ||
| Controllability | ||
| Measurability |
Prinsip mana yang paling sulit dipenuhi? _______________ Strategi untuk mengatasinya:
Latihan 3 — Ablation Study Planning
Jika sistem memiliki 3 komponen utama, rencanakan ablation study.
| Kondisi | Komponen A | Komponen B | Komponen C | Hasil yang Diharapkan |
|---|---|---|---|---|
| Full | Contoh: ✅ CNN | Contoh: ✅ Temporal features | Contoh: ✅ Z-score norm | Baseline penuh |
| – A | ❌ (ganti RF) | ✅ | ✅ | |
| – B | ✅ | ❌ (tanpa temporal) | ✅ | |
| – C | ✅ | ✅ | ❌ (tanpa normalisasi) |
Komponen mana yang diprediksi paling berkontribusi? _____ Mengapa?
Refleksi
Apa risiko jika sistem dibangun seperti produk (monolitik, fitur lengkap) lalu baru dilakukan eksperimen? Mengapa arsitektur modular penting untuk riset?
Jawaban: