CS 319 · Pertemuan 8 dari 10
Bab yang mengubah coder yang kebetulan pakai AI menjadi mandor — dan katalog untuk dibaca saat loop bermasalah.
Agenda · 100 menit
Bacaan: bab 16–17 · glosarium
Konsep inti · bab 16
Prompting
Menginstruksikan satu run. Perlu, fana, dan bagian terkecil dari pekerjaan.
~20% awal, →5%
Coaching
Meninggalkan catatan pada output agar run berikutnya lebih baik. Mode default mandor.
~60% tengah
Codifying
Menaikkan catatan berulang menjadi playbook, eval, dan skill yang ditemukan agen sendiri.
→dominan akhir
Aturan 30%
Saat sekitar 30% run menempa sebuah catatan coaching tanpa gagal karenanya, catatan itu naik kelas ke playbook. Di bawah itu masih derau; di atas itu Anda terlambat.
Tangga kenaikan kelas · bab 16
# catatan coaching (kali ke-3 bulan ini) → SKILL.md
---
name: pembulatan-mata-uang-idr
when: output memuat nominal uang dalam IDR
body: bulatkan HALF_UP ke rupiah utuh SETELAH cek jendela/kelayakan,
tidak pernah sebelum. tampilkan nilai pra-pembulatan di komentar.
verify: input emas 003, 004 harus lolos exec-match
---
Catatan yang Anda berikan tiga kali dan tidak dikodekan adalah pilihan terus membayar pajak yang sama selamanya.
Katalog · bab 17 · namai kegagalannya agar berhenti menebak perbaikannya
prompt stuffing — lima pekerjaan dalam satu prompt 3000 token; ekstrak spesialisnya
groupthink dewan — konvergensi tanpa debat; anonimkan, campur keluarga model
ketidaksetujuan berlarut — ronde tak berakhir; chairman + batas ronde
persetujuan paksa — tunduk pada rekan yang percaya diri; pass pertama independen
scope creep agen tunggal — "agen"-nya menumbuhkan sub-judul; migrasi (P5)
ledakan biaya tersembunyi — tanpa anggaran; batas per run dan per hari
penipuan diri verifier — maker menilai PR sendiri; pisahkan checker
kebusukan konteks — window TPA; anggaran 60–80%, isolasi sub-agent
kebusukan spec — spec melenceng dari realitas; baseline ulang, versikan
automation theater — run ≠ nilai; kolom hasil-landed
Tes di bawah katalog
Kasus terdokumentasi: loop balasan berjalan 140 kali, semua ok — dan tidak melandingkan apa pun selama seminggu, karena bug CLI membuat tiap run diam-diam skip. Metrik aktivitas bilang andal. Kolom landed bilang mati.
Studi kasus · bagian 8 dari 10
Minggu 9: skor LLM-judge loop digest naik terus sebulan — 8.1, 8.4, 8.6. Grafiknya cantik. Mandornya (Rasa, kini menghabiskan pagi untuk review) memperhatikan manusia mengedit 3 dari 5 digest dengan tangan.
Diagnosis terhadap katalog: penipuan diri verifier — judge satu keluarga model dengan penulisnya, konteks bersama, dan calibration set-nya satu contoh. Sejak bulan kedua, maker dan judge diam-diam saling melenceng. Skor gerbang sudah terlepas dari hal yang ia proksikan.
Perbaikan: keluarga model berbeda untuk judge, calibration set 5 item (2 buruk), versi dipin. Skor turun ke 6.9 — dan editan manusia jatuh ke nol. Skor lebih rendah, loop lebih baik. Catatan coachingnya menjadi skill judge-independence; aturan 30% terpicu dalam tiga minggu.
Klinik diagnosis · 30 menit
Loop A
Jalan harian, 6 minggu. Dashboard hijau. Tak ada yang meng-merge PR-nya dalam 12 hari. Tim membela: "ini andal 90%."
Loop B
Agen "penasihat arsitektur" brilian, tapi tiap sesi biayanya 8× anggaran dan 40 menit — ia membaca ulang seluruh repo tiap kali.
Loop C
Dewan empat agen. Output selalu tertulis rapi, mencurigakan mirip, dan selalu setuju — keputusan terasa sudah diputuskan.
Untuk masing-masing: namai anti-pattern-nya, sebut babnya, resep perbaikannya satu baris, dan sebut sinyal observabilitas yang akan menangkapnya lebih awal. (Jawabannya ada di katalog — disiplinnya ada pada penamaan.)
Tugas A8 · dikumpulkan sebelum Pertemuan 9
Bagian 1 — post-mortem
Ambil hal terburuk yang dilakukan loop A6/A7 Anda. Namai terhadap katalog (atau argumen bahwa ia layak entri baru — tulis entrinya: nama, deskripsi, contoh, workaround).
Bagian 2 — kenaikan kelas
Temukan catatan coaching yang paling sering Anda berikan. Naikkan kelas menjadi prompt kelas-SOP atau file skill, dengan field when dan verify terisi.
Rubrik
Diagnosis benar (atau entri baru yang bisa dibela) 50% · kualitas kenaikan kelas: bisa dipanggil agen lain secara dingin? 50%.
Pekan depan: insinyur masa depan dan graf — lapisan di atas loop, plus kickoff capstone Anda. Baca bab 18–19.