bab 4 AKS

BAB 4 EVALUASI KINERJA - HAL 1 DARI 35
ANALISIS KINERJA SISTEM
1. Defenisi Kinerja dari sistem komputasi
“Suatu tingkatan dari sistem komputasi yang diharapkan manusia.” (Doherty,
W.J.(1970), Schedulling TSS/360 for Responsiveness, AFIPS Proc. FJCC,
1970, pp. 97-111)
“Menunjukkan keefektifitasan sumber (sistem komputer ‘host’) yang
digunakan bersamaan dengan obyek sistem perangkat lunak.” (Graham, R,
M. (1973). Performance prediction, Advances Courses on Software
Engineering, Springer Verlagn, 1974, pp.395-463.)
Dapat kita definisikan dengan :
“Sejauh mana suatu sistem dapat membuat kita melakukan apa yang ingin
kita lakukan” lalu dapat diartikan “Sejauh mana sistem dapat melakukan apa
yang kita harapkan untuk melakukannya"
2. Kesalahan Umum dalam Evaluasi
Tidak ada tujuan
• Tidak ada model yang memiliki tujuan yang umum. Model dibuat
dengan tujuan yang jelas.
• Contoh : model sistem kinerja memori yang dapat menangani operasi
komunikasi pada sistem paralel.
• Sangat sulit mengidentifikasi masalah kinerja, ini membuat sulit untuk
mendefinisikan tujuan (yang biasanya selalu ada perubahan).
Tujuan yang bias
• Menunjukkan sistem kami lebih baik dari sistem mereka.
• Analist kinerja sering berlaku sebagai juri yang subyektif.
Pendekatan yang tidak sistematik
• Parameter yang berubah atau terus berkembang, lebih luas
dibandingkan jawabannya.
Analisis tanpa memahami permasalahan.
• Masalah yang dipahami dengan baik adalah setengah dari
penyelesaian. 40 % mendefenisikan masalah, 60 % -nya untuk melihat
alternatif penyelesaian, memilih alternatif tersebut,
menginterpretasikannya, lalu menyimpulkan. Pelanggan akhir hanya
butuh jawaban, tidak butuh sekedar model saja.
Metrik kinerja yang tidak tepat
• Dalam membandingkan MIPS (Million Instruction per second) untu
CPU CISC melawan MIPS CPU RISC, orang-orang biasanya
melakukan dengan metrik yang mudah seperti Clock frekuensi dalam
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 2 DARI 35
ANALISIS KINERJA SISTEM
MHz daripada sesuatu yang lebih relevan.
Beban kerja yang tidak representatif
• Workload memiliki pengaruh yang sangat tinggi pada hasil yang
dicapai. Adalah sangat menarik untuk membangun workload yang
akurat untuk evaluasi.
• Contoh : barch (percabangan) pada SPEC (< 3000 percabangan), kalau
pada versi PRO / Engineer (70.000 percabangan ), dua hal yang tidak
berimbang ini kadang diperbandingkan.
Teknik evaluasi yang salah
• Pengukuran
• Simulasi
• Model analitik
Orang-orang biasanya memilih yang mereka ketahui yang paling terbaik,
daripada memilih yang paling sesuai dengan permasalahan yang dihadapi. 3
teknik berbeda di atas memiliki perbedaan keuntungan dan keterbatasan.
Memilih parameter penting terlalu mendetail
• Dalam membuat daftar kebutuhan dari suatu sistem dan karakteristik
workload mesti dapat memastikan untuk tidak melupakan setiap
karakteristik yang memungkinkan memiliki pengaruh pada kinerja.
• Namun tidak semua dalam daftar yang digunakan dalam simulasi dan
analisis, kita mesti mengetahui mana yang penting saja.
Tidak menghiraukan faktor-faktor penting
• Faktor adalah parameter yang dikelompokkan berdasarkan studi
tertentu.
o Parameter sistem dapat termasuk ukuran CPU quantum, area
kerja memori dan jumlah user.
o Faktor dapat saja hanya jumlah user dan area kerja memori
saja.
• Pemilihan faktor dapat dilakukan oleh user, namun janganlah
membuang waktu dengan membandingkan banyak faktor alternatif
yang seringkali tidak realistis.
• Pastikan bahwa semua faktor yang signifikan sudah dipilih, misalnya :
Analist dapat saja mengukur referensi pola VM, namun tidak referensi
pola disk.
Desain eksperimen yang tidak tepat
Desain adalah pertanyaan yang meliputi area parameter. Pemilihan desain
yang tepat haruslah berhasil mendapatkan informasi maksimal dari beberapa
kali eksperimen yang dilakukan.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 3 DARI 35
ANALISIS KINERJA SISTEM
Level detail yang tidak tepat
• Model high level yang tidak mendalam akan membawa banyak
alternatif kemungkinan kinerja sistem.
• Keterbatasan dalam detail suatu model akan menghalangi investegasi
yang dilakukan mendapatkan alternatif jawaban yang luas.
• Contoh :
• Membandingkan kinerja keluasan dan keterbatasan SCSI .. Perbedaan
kinerja level rendah dari sistem , harus mebuat model detail yang fair.
• Membandingkan perangkat lunak proses cache dan disk cache ..
perbedaan kinerja yang amat tinggi dan sangat kecil model detailnya
Tidak ada analisa
• Studi berakhir dengan kebanjiran data namun kekurangan penjelasan.
• Analisa data tersebut terlebih dahulu !
• Semuanya pengukuran, tidak ada analisis.
Analisis yang mengandung kekeliruan
Ini adalah kesalahan klasik seperti rata-rata dari suatu rasio tertentu, dan
sebagainya.
Analisis yang tidak sensitif
• Ahli komputer biasanya memberi terlalu banyak penekanan pada hasil
sebagai suatu fakta, daripada penekanan pada faktanya itu sendiri dan
bagaimana mengolahnya.
• Menentukan sensitivitas model untuk berbagai variasi pengukuran -
jangan memperlakukan analisis sebagai suatu fakta tertentu.
• Analisis yang sensitif juga menentukan pentingnya parameter yang
berbeda.
Mengabaikan kesalahan pada input
Kita sering membutuhkan pengambilan data input yang berasal dari suatu data
lain.
Misalnya kita dapat saja menghitung jumlah paket, namun tidak dapat
menghitung besar paketnya. Sesuatu yang amat penting pada perangkat
jaringan.
Perlakuan yang tidak benar pada faktor luar(outliers)
• Dalam memutuskan faktor luar yang menjadi sifat suatu sistem sangat
sulit. Ini Adalah salah satu yang amat dibutuhkan dalam memahami
sistem dan membuat modelnya.
• Faktor luar adalah nilai yang kadangkala terlalu tinggi atau terlalu
rendah.
• Jika disebabkan oleh fenomena real, faktor ini dapat dipahami dan
diambil. Jika tidak dapat diabaikan.
• Harus diputuskan apakah faktor luar itu valid untuk dapat membuat
analisis sebagai suatu seni.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 4 DARI 35
ANALISIS KINERJA SISTEM
Asumsi tidak ada perubahan di masa yang akan datang
• Masa depan mungkin saja akan berbeda, analisis yang baik dapat
mengatasi perubahan yang yang terjadi.
• Perbedaan kinerja dapat menimbulkan perbedaan dalam penggunaan.
Contoh : CPU yang lebih cepat berarti orang-orang akan menggunakan
siklus CPU yang lebih banyak pula.
• Perhitungan kasar kenaikan siklus CPU jika didasarkan pada workload
yang tetap akan menghasilkan kesalaha.
Mengabaikan keberadaan variabel variasi input.
Dengan berfokus pada mean, max atau min, upaya untuk membuat variabel
yang terkendali (secara statistik) belumlah cukup. Perlu diperhatikan pula
variasinya.
Analisis yang terlalu kompleks
Analisis yang sederhana akan menuntun pada hasil yang sudah pasti sama.
Dengan kepastian ini selalu lebih baik dari pada analisis yang terlalu
kompleks.
Penyajian hasil yang tidak pantas
Pemilihan media penyajian, apakanh menggunakan diagram batang, diagram
pie atau yang lainnya harus dapat menjelaskan sistem secara utuh.
Mengabaikan aspek sosial
Model dan analisis adalah keahlian teknis yang substansial. Menulis dan
menyampaikan dengan kata-kata adalah keahlian sosial, keduanya harus
dikombinasikan.
Menghilangkan asumsi dan limitasi (pembatasan/ruang lingkup)
Dapat mengakibatkan penjelasan menjadi terlalu luas dan tidak fokus, bahkan
tidak ada hubungannya sama sekali.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 5 DARI 35
ANALISIS KINERJA SISTEM
3. Pendekatan Sistematik pada Evaluasi Sistem
Penetapan Tujuan dan Definisi Sistem
Menggambarkan batasan sistem, misalnya : suatu sistem bisa terdiri
dari CPU dan jaringan, namun tidak termasuk disk-nya. Jika diberikan
perangkat keras dan perangkat lunak yang sama. Perbedaan defenisi
tergantung pada tujuannya.
Membuat Daftar Layanan dan Hasil
Sistem menyediakan layanan, misal : jaringan mengirimkan paket.
Ketika layanan digunakan, terdapat beberapa jenis hasil, misalnya : bandwidth
jaringan, latency, variabel layanan, deadlock, correctness
Contoh :
Layanan :
• Jaringan mentransportasikan paket user
• Sistem database merespon query.
Hasil :
• Paket hilang atau mengalami delay
• Query database memberikan jawaban yang salah
atau terjadi deadlock.
Defenisikan mengapa bisa terjadi seperti contoh di atas?
Daftar layanan dan hasil akan sangat membantu pada saat
memilih metrik dan workload.
Tanggal :
Lokasi :
Susun!
Contoh :
1.
Yang diberikan : 2 CPU
Yang dituju : pengaruh waktu respon pada user interaktif.
Yang diinginkan : sistem time sharing (berbagi waktu) yang lebih baik.
(komponen eksternal)
2.
yang diberikan : 2 CPU dengan ALU yang berbeda
Yang dituju : kinerja ALU
Yang diinginkan : implementaasi yang paling baik pada arsitektur
(komponen internal)
Dari 2 contoh di atas dimana batasannya ?
BAB 4 EVALUASI KINERJA - HAL 6 DARI 35
ANALISIS KINERJA SISTEM
Memilih Metrik
• Metrik digunakan untuk membandingkan kinerja
• Kriteria untuk membandingkan kinerja antara lain :
1. Kecepatan
2. Akurasi
3. Ketersediaan layanan
Membuat Daftar Parameter
• Daftar semua parameter sistem sangat berpengaruh pada kinerja.
• Termasuk di sana parameter perangkat keras, perangkat lunak dan
parameter workload.
• Daftar parameter dapat saja berubah setelah melewati suatu studi
tertentu.
• Macam parameter :
1. Parameter sistem :
Karakteristik perangkat lunak dan perangkat keras secara
umum biasanya tidak berubah-ubah di antara berbagai macam
metode instalasi sistem.
2. Parameter workload :
Karakteristik yang diminta user biasanya berbeda-beda pada
suatu instalasi sistem dengan instalasi yang lainnya.
• Jagalah daftar tersebut tetap dapat menjangkau banyak hal dari sistem
yang diukur.
Memilih Faktor
• Pemisahan parameter dalam suatu studi dalam klasifikasi tertentu akan
meluaskan jangkauan studi.
• Faktor adalah parameter yang berubah-ubah selama evaluasi, nilai
dari suatu faktor disebut level.
• Parameter dengan pengaruh yang kuat pada kinerja sistem harus
dijadikan suatu faktor.
Memilih Teknik Evaluasi
• Model analitik
• Simulasi
• Pengukuran sistem real
Memilih Workload
• Model analitik : probabilitas / distribusi suatu request.
• Simulasi : menjejaki suatu request.
• Pengukuran : script user, contoh masalah.
Desain Eksperimen
• Urutan langkah (simulasi, pengukuran) harus dapat memberikan
informasi yang maksimal, cakupan maksimal dengan minimal upaya.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 7 DARI 35
ANALISIS KINERJA SISTEM
• Desain eksperimen faktorial yang sedikit.
• Melewati 2 fase :
o Banyak faktor, sedikit level. (desain eksperimen faktorial)
o Mengurangi faktor, menambah level. (analisis sensitif)
Analisa dan Interpretasi data
• Diuraikan dengan tidak acak dan berdasarkan variabel tertentu.
• Menafsirkan hasil dari analisis
• Mempersiapkan kesimpulan
Presentasi data secara pantas
• Tujuan utamanya adalah agar hasil pengukuran mudah dipahami.
• Dengan spreadsheet, grafik dan gambar.
• Tidak ada istilah statistikal lagi.
Proyek yang lengkap terdiri dari berbagai siklus yang melewati langkahlangkah
seperti di atas.
4. Memilih teknik Evaluasi
No Kriteria Model Simulasi Pengukuran
1 Tingkatan Semua Semua prototipe
2 Waktu Sedikit Menengah Bervariasi
3 Alat bantu Manusia Bahasa pemrog. Instrumentasi
4 Akurasi Rendah Menengah Bervariasi
5 Metode evaluasi Mudah Menengah Sulit
6 Biaya Rendah Menengah Tinggi
7 Kemudahan dijual Rendah Menengah Tinggi
Pertimbangan Kunci :
Siklus hidup sistem dan sistem sudah tersedia.
Pertimbangan lebih lanjut :
• Ketersediaan waktu
• Ketersediaan alat bantu dan keahlian
• Level akurasi, tidak identik dengan kesimpulan yang benar.
• Temukan parameter atau membandingkan alternatif yang berbeda.
• Biaya
• Kemudahan dijual, justifikasi pengeluaran.
Faktor pada teknik evaluasi
• Jika ini adalah konsep yang baru, maka analisis dan simulasi adalah
alternatif pilihannya. (pengukuran langsung tidak akan valid).
• Analisis yang lengkap didapat jika modelnya akurat.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 8 DARI 35
ANALISIS KINERJA SISTEM
• Pengukuran dapat memperdaya karena biasa terdiri dari banyak
macam parameter lingkungan yang terkait secara langsung.
• Istilah akurat dan kesimpulan yang benar tidaklah sama :
o Kita dapat mendapatkan kesimpulan yang salah, walau dengan
data yang akurat.
• Tujuan setiap analisis kinerja adalah mempelajari berbagai macam
alternatif.
o Singkatnya : pengukuran adalah kumpulan masalah.
• Seringkali sangat berguna untuk menggunakan dua teknik :
o Simulasi dan model analitik - masing-masing dapat saling
memvalidasi.
o Simulasi lebih berarti lagi jika dilakukan setelah pengukuran
dan pengukuran pun dapat digunakan pula untuk mengkalibrasi
simulasi.
Jenis Studi Evaluasi
1. Evaluasi Perbandingan (Comparatif Evaluation)
• Membandingkan sistem yang satu dengan sistem lain yang
berbeda (relatif)
• Tujuan : menyeleksi layanan komputasi, mengevaluasi
perubahan sistem, persiapan untuk melakukan pembelian atau
penyewaan perangkat keras atau perangkat lunak yang baru.
2. Evaluasi analitik (Analytic Evaluation)
• Sistem yang akan dievaluasi dengan berbagai macam parameter
tertentu .
• Tujuan : memperbaiki keberadaan kinerja sistem, memelihara
sistem operasi, mendesain dan mengimplementasikan sistem
baru.
Klasifikasi studi evaluasi
1. Selection studies : problem pada instalasi desain dan usaha untuk
mendapatkannya.
Problem : mode proses seleksi, memilih sistem yang akan diinstalasi.
Tujuan : mendapatkan obyek yang sesuai dengan kriteria.
2. Improvement studies : modifikasi sistem agar kinerja bertambah atau
biaya menurun.
3. Desain studies : mencoba menjawab pertanyaan yang timbul ketika desain
sistem.
Pengaruh sistem kinerja dapat dilihat dari dua titik pandang :
1. Keefektifitasan (user) : dapat menangani aplikasi yang spesifik.
2. Efisiensi internal : sumber digunakan pada proses beban kerja secara
efisien.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 9 DARI 35
ANALISIS KINERJA SISTEM
Gambar Evaluasi Perbandingan
Masalah yang ada pada kinerja dalam suatu sistem :
1. Tidak cukupnya kecepatan atau kapasitas dari beberapa komponen
sistem yang dapat menjaga komponen sistem lainnya untuk tetap dapat
beroperasi dalam kecepatan maksimal.
2. Interferensi yang diakibatkan oleh permintaan layanan dari dua atau
lebih komponen sistem untuk berkomunikasi secara sekuensial.
3. Karakteristik workload yang tidak tepat.
Langkah proses evaluasi :
1. Menetapkan pengukuran kinerja.
2. Menentukan nilai kuantitatif sistem kinerja dan analisa sistem kinerja
dengan sistem beban kerja.
3. Memberikan nilai untuk level yang berbeda.
Karakteristik kinerja dibuat berdasarkan himpunan kuantitas parameter
pengukuran kinerja. Mengukur kinerja adalah sesuatu yang ditekankan secara
terus menerus sebagai suatu nilai mean tertentu. Dalam beberapa kasus, nilai
Beban Kerja
(W)
Sistem
1
Sistem
2
Sistem
n
Kinerja
P1
Kinerja
P2
Kinerja
Pn
Perbanding
an kinerja
P2 lebih
baik dari
P1
P1 lebih
baik dari
P2
P1 similiar P2
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 10 DARI 35
ANALISIS KINERJA SISTEM
mean kadangkala sangat tidak mencukupi. Sebagai contoh variasi waktu
respon yang terlalu besar.
Pengukuran kinerja dapat dispesifikasikan berdasarkan tipe dan
kegunaan sistem yang dievaluasi, workload dan kegunaan evaluasi.
Pengukuran kinerja harus dapat didefinisikan dengan baik, muali menentukan
lingkup pekerjaan pengukuran samapai ke semua proses evaluasi yang
dilakukan.
Contoh Tabel pengukuran kinerja
Pengukuran kinerja Deskripsi
Efektifitas Sistem
Throughput Jumlah pekerjaan yang dapat diselesaikan per unit waktu
dengan workload yang diberikan
Relatif throughput Waktu yang dibutuhkan untuk memproses workload yang
diberikan dalam sistem 1, relatif dengan waktu yang
dibutuhkan pada sistem 2.
Capabilitas (Kapasitas) Maksimum pekerjaan yang dapat dikerjakan per unit
waktu dengan workload yang diberikan
Waktu Turnaround Waktu antara pengiriman job ke dalam sistem sampai kita
menerima hasilnya.
Waktu Respon Waktu Turnaround atau waktu permintaan transaksi
tertentu sampai dilayani oleh suatu sistem
Availibilitas Persentasi waktu sistem yang disediakan untuk user.
Efisiensi Sistem
Faktor delay Eksternal Waktu turnaround untuk suatu job /waktu proses suatu job
Elapsed time
multiprogramming factor
(ETMF)
Waktu Turnaround dari suatu job dalam
multiprogramming / waktu turnaround dari suatu job
ketika hanya itulah job yang terdapat dalam sistem
Gain factor Waktu total yang dibutuhkan sistem untuk mengeksekusi
himpunan job dalam multiprogramming / waktu total yang
dibuthkan sistem untuk mengeksekusi himpunan yang
sama secara sekuensial.
CPU produktivitas Persentasi waktu CPU untuk melakukan suatu pekerjaan
(digunakan sebagai pengukur throughput)
Komponen overlap Persentasi waktu dua atau lebih komponen sistem yang
beroperasi secara simultan
Sistem utiliti Bobot penambahan kegunaan dasi sumberdaya sistem.
Overhead Persentasi waktu CPU yang dibutuhkan oleh sistem
operasi
Faktor delay Internal Waktu pemrosesan job dalam multiprogramming / waktu
pemrosesan job ketika hanya job tersebut yang berada
dalam sistem.
Waktu Reaksi Waktu antara pemasukan karakter terakhir pada terminal
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 11 DARI 35
ANALISIS KINERJA SISTEM
atau menerima input sampai waktu menerima pertama kali
CPU.
Wait time for I/O Waktu yang dibutuhkan untuk memproses tugas di I/O
Wait time for CPU Waktu yang dibutuhkan untuk memproses tugas di CPU
Frekuensi Page fault Jumlah fault per unit waktu
Banyak nilai akurat dihasilkan ketika sistem justru diukur dalam workload
yang nyata, numun kadangkala variabel tersebut tidak tersedia, jadi
digunakanlah simulasi dan analisa.
Kinerja sistem komputer berdasarkan aplikasi tertentu adalah fungsi dari :
• Konfigurasi sistem
• Kebijakan manajemen sumberdaya
• Efisiensi program sistem
• Efektif dalam set instruksi di prosesor
5. Membuat Aturan Validasi
1. Jangan percaya hasil model simulasi sampai divalidasi oleh model
analitik atau pengukuran.
2. Jangan percaya hasil model analitik sampai divalidasi oleh simulasi
atau pengukuran.
3. Jangan percaya hasil pengukuran sampai divalidasi oleh simulasi dan
model analitik.
4. Khusus aturan no 3 di atas biasanya diabaikan !
5. Paling tidak ada intuisi ahli.
6. Kadangkala adalah ide yang baik untuk menggunakan dua teknik
6. Memilih Metrik Kinerja
Tiga kemungkinan hasil layanan suatu permintaan :
1. Selesai dengan benar – metrik kecepatan : waktu (kecepatan respon),
rate (produktivitas), resource (utilization)
2. Selesai namun tidak sesuai – metrik relibilitas : probabilitas, waktu
antara kesalahan.
3. Tidak dapat dilaksanakan – metrik availabilitas : durasi even, waktu
antara even
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 12 DARI 35
ANALISIS KINERJA SISTEM
Ilustrasi tiga kemungkinan hasil dari layanan suatu permintaan :
Contoh :
Gateway pada jaringan komputer memiliki 3 kemungkinan kegiatan :
• Akan melanjutkan paket dengan benar.
• Akan melanjutkan paket ke tujuan yang salah.
• Akan menjatuhkan paket
7. Studi kasus Memilih Metrik untuk jaringan
User mengirim paket antara end sistem.
• Di antar sesuai keinginan.
• Di antar tidak sesuai keinginan
• Di antar lebih dari sekali
• Paket jatuh (hilang)
Metrik yang dipilih untuk paket yang
dikirim :
• Waktu respon (delay paket) –
metrik ke-1
• Throughput (n paket per unit waktu)
- metrik ke-2
• Waktu prosesor per paket pada
source, tujuan dan sistem yang ada
di antara mereka. – metrik ke-3,4,5
• Waktu respon yang rendah lebih baik.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 13 DARI 35
ANALISIS KINERJA SISTEM
• Throughput adalah ‘kinerja jaringan’ (Mb / detik)
• Penggunaan variabel sangat penting sejak variabel pada hasil waktu
respon dalam keadaan re-transmisi. – metrik ke-6
• Paket yang diantar namun tidak sesuai dengan keinginan, probabilitas
kedatangan yang tidak diinginkan – metrik ke-7
• Paket yang terduplikasi akan mengkonsumsi bandwidth ekstra.,
probabilitas terjadinya duplikasi - metrik ke-8
• Paket yang hilang – metrik ke-9
• Fairness – jika jaringan ini mendukung multi user
• Berikan thrughput xi untuk i user :
• Untuk semua xi yang negatif, range fairness 0..1
• Jika semua user menerima throughput yang sama, f = 1
Memodifikasi Metrik
• Setelah eksperimen di atas dapat kita lihat korelasi antara throughput
dan delay.
• Pada metrik baru, power didefinisikan sebagai rasio throughput pada
waktu respon.
• Power yang lebih tinggi berarti pula throughput yang tinggi atau delay
yang rendah.
• Perbedaan waktu respon pada saat paket drop disebabkan adanya
redudansi, yaitu adanya probabilitas duplikasi paket atau diskoneksi.
• Pada studi di atas, terdapat 9 metrik yang digunakan.
8. Metrik Kinerja yang Umum digunakan
• Waktu respon adalah interval antara permintaan user dan respon
sistem terhadap permintaan tersebut. Bersifat tunggal, karena
permintaan dan respon belum tentu serta merta dilakasanakan. Ada
dua alternatif defenisi waktu respon :
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 14 DARI 35
ANALISIS KINERJA SISTEM
Ilustrasi Waktu respon dan waktu reaksi :
• Waktu turn around adalah waktu antara diberikannnya suatu job
sampai waktu dikeluarkannya output.
• Waktu reaksi adalah waktu sebelum sistem mulai memproses job
(waktu tunggu).
• Faktor uluran (stretch factor) adalah rasio waktu eksekusi
multiprogramming menjadi single programming.
• Throughput adalah jumlah job yang diproses per unit waktu (biasanya
diukur dalam bentuk MIPS,MFLOPS,TPS)
• Kapasitas nominal adalah maksimum throughput yang tercapai dalam
workload yang ideal (tidak optimal).
• Bandwidth adalah kapasitas nominal jaringan komputer, biasanya
dinyatakan dalam bit / detik.
• Kapasitas yang dapat digunakan :
o Waktu respon pada throughput yang maksimal seringkali
terlalu tinggi
o Kapasitas yang dapat digunakan adalah throughput yang
mempertahankan limit waktu respon pada waktu yang telah
ditentukan
• Kapasitas Knee adalah throughput pada knee :
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 15 DARI 35
ANALISIS KINERJA SISTEM
• Utilization adalah pecahan waktu ketika menggunakan resource :
o Seberapa sering resource dalam keadaan sibuk.
o Bukan ‘seberapa sibuk pendekatan yang dilakukan dan
menemukan itu sedang dalam keadaan sibuk’
• Efisiensi (%) adalah rasio maksimum throughput pada kapasitas
nominal : sering digunakan pada komputasi paralel.
• Waktu idle adalah periode selama resource tidak digunakan
• Rasio biaya/kinerja adalah banyak digunakan pada keputusan
pendapatan
• Reliabilitas adalah dapat diulang dan tetap mendapatkan hasil yang
sama.
o Reliabilitas adalah probabilitas kesalahan
o Biasanya untuk mengukur over time
o MTBF – mean time between failures
• Availabilitas adalah ketersediaan sistem untuk melayani suatu job.
o Kemungkinan sistem tidak tersedia disebut down time
o Kemungkinan sistem tersedia disebut up time atau sering
disebut juga Mean time to Failure (MTTF),
Klasifikasi alat bantu untuk Metrik
• Lebih tinggi lebih baik – High is better (HB)
• Lebih rendah lebih baik – lower is better (LB)
• Nominal lebih baik – nominal is better (NB) :
o Nilai tinggi dan rendah tidak mungkin muncul bersamaan
o Pertimbangkan uitilization :
1. Jika terlalu tinggi, waktu respon menjadi lama.
2. Jika terlalu rendah, resource tidak digunakan secara
baik.
3. Yang benar adalah pada range 50 – 75 %
Setting kebutuhan kinerja
SMART :
• Spesific – jangan katakan probabilitas rendah untuk nilai state.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 16 DARI 35
ANALISIS KINERJA SISTEM
• Measureable – kalau kebutuhan kinerja itu dapat terukur, bagaimana
dapat diketahui itu dapat dicapai dengan baik.
• Acceptable – jangan merendahkan standar kebutuhan, sistem harus
dapat berguna.
• Realizable – jangan berlebihan pula dalam menentukan standar
kebutuhan.
• Thorough – jangan lupakan parameter yang tidak terspesifikasi,
termasuk pula mode kesalahan.
2. Representasi kinerja
Semua teknik pengukuran akan mengumpulkan data yang
memperlihatkan adanya aktifitas komponen-komponen evaluasi dan demikian
pula identifikasi in-efisiensi sistem tersebut. Jumlahnya bervariasi tergantung
dari teknik pengukuran serta tujuan evaluasi. Contoh :
• Suatu studi tentang kerja alokasi file pada disk, memerlukan data yang
menyangkut aktifitas disk.
• Studi tentang tuning sistem secara global akan memerlukan data dari
seluruh komponen-komponen sistem.
Representasi dari data yang terukur tersebut, digunakan untuk
mengidentifikasi area dan komponen yang diperlukan. Dengan demikian
untuk memudahkan diperlukan diagram yang dapat digunakan sebagai alat
diagnosis. Indeks kinerja : pengenal yang digunakan untuk merepresentasikan
kinerja sistem atau sejumlah aspek tertentu pada sistem tersebut.. Indeks ini
didefinisikan secara obyektif dari pengukuran yang dilakukan pada aspekaspek
kinerja (Ferrari, 1978)
Kelas Indeks Contoh Indeks
Rerata Throughput (Volume informasi
yang diproses sistem dalam unit waktu0
Rerata Produksi
Kapasitas (rerata maksimum throughput)
Rerata eksekusi intruksi
Produktivitas
Rerata pemrosesan Data
Waktu Respon (Waktu antara presentasi
input ke dalam sistem dan keberadaannya
pada output)
Waktu Turnaround
Responsibilitas
Waktu Reaksi
Modul Hardware (Rasio antara waktu
yang digunakan sistem (untuk tujuan
spesifik tertentu) sampai memberikan
waktu interval dan durasidari interval
tersebut.)
Kegunaan
Modul sistem operasi
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 17 DARI 35
ANALISIS KINERJA SISTEM
Tabel dan diagram
Digunakan untuk memudahkan dalam diagnosis.
1. Histogram : Representasi CPU utilization secara global
100
90
80
CPU 70
Utilization 60
(%) 50
40
30
20
10
1 2 3 4 5 6 7 8 9 10
Time (hour)
2. Grant Chart : untuk merepresentasikan secara simultan dari aktifitas
sistem dengan cara melakukan pengambaran kegunaan karakteristik
komponen sistem pada graph garis. Diagram ini memperlihatkan sesuatu yang
komprehensif, yaitu gambaran dari aktifitas komponen-komponen sistem yang
dimasukkan. Contoh : utilization profile, yang memperlihatkan utilization dari
CPU dan channel.
0 20 40 60 80 100
CPU busy 50 %
Channel 1 busy 60 %
CPU&Chn busy 20 %
3. Kiviat Graph : grafik ini amat populer dalam penggunaan untuk studi
evaluasi kinerja (kolence dan Kiviat, 1973). Kiviat menyediakan beberapa
variabel pada semi aksisnya yang menjauh dari satu titik pusat yang
dinamakan pole. Titik inilah yang berhubungan dengan nilai-nilai yang
kemudian dihubungkan sehingga membentuk poligon. Contoh : soal yang
sama dengan utilization profile seperti di atas, yang memperlihatkan
utilization dari CPU dan channel.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 18 DARI 35
ANALISIS KINERJA SISTEM
Bentuk optimum secara teorikal kondisi dari kondisi pada contoh soal di atas
adalah :
Grant Chart :
0 20 40 60 80 100
CPU busy 100 %
Channel 1 busy 100 %
CPU&Chn busy 100 %
Kiviat Graph :
CPU busy (50%)
Channel 1
CPU&Chn busy busy (60%)
(20%)
CPU busy (100%)
Channel 1
CPU&Chn busy busy (100%)
(100%)
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 19 DARI 35
ANALISIS KINERJA SISTEM
Figure Of Merit (FOM)
Digunakan untuk menganalisa Kiviat Graph, dirumuskan sebagai berikut :
2n = Jumlah Axes
X1 = X2i+1
Besarnya antara 0 - 100
Bentuk Kiviat Graph yang baik
Bentuk Kiviat Graph yang baik adalah menyerupai ‘STAR’ (bintang) seperti
yang ditunjukkan pada gambar berikut ini :
Grant Chart :
0 20 40 60 80 100
CPU busy 90 %
Any Channel busy 80 %
CPU&Chn busy 78 %
CPU only busy 12 %
Supervisor CPU 13 %
User program CPU 77 %
Axes Good Performance Indexes Formula
1 CPU busy CPU
3 CPU and Chn busy CPU * CH
5 Any chn busy CH
7 User program PPB
Axes Bad Performance Indexes Formula
2 CPU only busy CPU * CH’
4 Channel only busy CPU’ * CH
6 CPU idle CPU’
8 Supervisor CPU SUP
1 n 1/2
FOM = ------ S (X2i-1 – X2i+1)( 100 – X2i )
2n i=1
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 20 DARI 35
ANALISIS KINERJA SISTEM
Kiviat Graph :
FOM I/O STAR :
CPU (90%)
SUP (13%)
CPU*CH’
(12%)
PPB CPU*CH
(77%) (78%)
CPU’
(10%) CPU’*CH
(6%)
CH (84%)
1 n 1/2
FOM = ------ S (X2i-1 – X2i+1)( 100 – X2i )
2n i=1
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 21 DARI 35
ANALISIS KINERJA SISTEM
Bentuk standar dari Kiviat Graph :
1. I/O Arrow : menggambarkan karakteristik sistem yang terpaku pada
penggunaan I/I sehingga kerja CPU menjadi berat.
FOM I/O ARROW :
CPU (50%)
SUP (20%)
CPU*CH’
(15%)
PPB CPU*CH
(30%) (35%)
CPU’
(50%) CPU’*CH
(44%)
CH (79%)
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 22 DARI 35
ANALISIS KINERJA SISTEM
2. CPU Sailbook : Adalah bentuk karakteristik sistem dan beban kerja
dengan permintaan ke CPU tinggi dan penggunaan channel yang rendah.
FOM I/O SAILBOOK :
CPU (96%)
SUP (6%)
CPU*CH’
(83%)
PPB CPU*CH
(90%) (13%)
CPU’
(4%) CPU’*CH
(2%)
CH (19%)
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 23 DARI 35
ANALISIS KINERJA SISTEM
3. I/O Wedge : Bentuk karakteristik sistem dengan utilization dari I/O yang
tinggi dan penggunaan CPU yang rendah
FOM I/O WEDGE :
CPU (16%)
SUP (5%)
CPU*CH’
(7%)
PPB CPU*CH
(11%) (9%)
CPU’
(84%) CPU’*CH
(66%)
CH (75%)
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 24 DARI 35
ANALISIS KINERJA SISTEM
Contoh Penggunaan Kiviat Graph dalam Networking :
FOM I/O NETWORKING :
1 3 1/2
= ------ S (X2i-1 – X2i+1)( 100 – X2i )
2.3 i=1
1 1/2
= ------ (X1+ X3)( 100 – X2 ) + (X3+ X5)( 100 – X4 ) + (X5+ X7)( 100 – X6 )
6
1 1/2
= ------ (80+ 70)( 100 – 5 ) + (70+ 90)( 100 – 5 ) + (90+ 80)( 100 – 10 )
6
1 1/2
= ------ (150)(95) + (160)(95) + (170)(90)
8
1 1/2
= ------ (14250) + (15200) + (15300)
6
1
= v ------ (44750)
6
= v 7458.33
= 86.36
Application throughput (80%)
Link overload
(10%) Packet with
error (5%)
Link Empiric
Utilization (90%) Acknowledgement
(70%)
Duplicate Packet (5%)
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 25 DARI 35
ANALISIS KINERJA SISTEM
Contoh soal :
Kasus mencari bentuk Kiviat graph pada suatu networking Application,
berdasarkan data-data sebagai berikut :
HIGH INDEX (%) LOW INDEX (%)
Application throughput (85%) Application response time (10%)
Link Utilization (85%) Link overhead (15%)
Routers Utilization (95%) Routing overhead (5%)
Percentage of Package no requiring
rentransmission (90%)
Percentage of packets duplicated
(5%)
Percentage of packets with implicit
acknowledgement (70%)
Percentage of packets delivered with
error (5%)
Berdasarkan data-data tersebut di atas :
a. Buatlah bentuk Kiviat graph-nya
b. Carilah FOM-nya
Jawaban :
a. Kiviat Graph :
Application throughput (85%)
Package deliver Application
With error (5%) respon time
(10%)
Package with
Implicit Link
Acknowledge Utilization
(70%) (85%)
Package Link Over
Duplicate (5%) head(15%)
Package no requiring Router
Retransmission (90%) Utilization (95%)
Routing overhead (5%)
BAB 4 EVALUASI KINERJA - HAL 26 DARI 35
ANALISIS KINERJA SISTEM
b. Figure Of Merit (FOM) :
Beberapa masalah yang harus diperhatikan pada Kiviat Graph dan
Evaluasi FOM :
• Setiap sudut pandang di pertimbangkan sama, padahal kasusnya
biasanya belum tentu sama.
• Nilai-nilai ekstrim diasumsikan agar menjadi lebih baik. Nilai
maksimum dalam suatu metrik yang baik tidak selalu dibutuhkan.
• Utilitas dari suatu sistem bukan merupakan fungsi linier dari FOM.
Sistem dengan FOM 50% belum tentu dua kali lebih baik dari sistem
dengan FOM 25%.
• Dua sistem dengan FOM yang equal tidak selalu sama baiknya.
• Adalah mungkin yang suatu sistem dengan FOM yang lebih rendah
kadang-kadang adalah lebih baik dari sistem dengan FOM yang lebih
tinggi. Sebagai contoh suatu sistem FOM 63% mungkin saja lebih baik
daripada sistem dengan FOM 64%. Hal ini menandai bahwa FOM itu
dihitung hanya untuk digit penting yang pertama saja.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 27 DARI 35
ANALISIS KINERJA SISTEM
3. Seni Presentasi Data
1. Tujuan Tabel Quartet Anscombe
Mean X adalah 9, Y adalah 7.5
Regresi Y= 3+ 0.5X, standar error slope= 0.118
dalam berbagai tes statistik, dataset biasanya sama.
Akan menjadi 4 data set yang sangat berbeda :
2. Tipe Variabel
Variabel Mutlak (Kualitatif) atau Variabel berdasarkan kategori
• Status Diskrit, yang di order (diperintahkan) atau unorder (tidak
dipesan / diperintahkan)
• Contoh: Jenis prosesor, merk mobil
Variabel kuantitatif
• Nilai-Nilai yang dinyatakan secara numerik
• Baik continuos (berlanjut) maupun diskrit (terpisah)
Secara umum:
• Menggunakan tabel line (tabel garis) untuk menggambarkan variabel
continous.
• Menggunakan suatu tabel bar (tabel batang) untuk mengambarkan
variabel diskrit.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 28 DARI 35
ANALISIS KINERJA SISTEM
3. Aturan ‘Jain ‘ Untuk Grafik
a. Grafik yang dibuat haruslah hanya memerlukan usaha minimum dari
pembaca untuk dapat memahaminya. Contohnya: Secara langsung
menggunakan label data, bukan menggunakan kotak legenda.
b. Memaksimalkan Informasi & Menggunakan Skala yang sesuai :
• Membuat grafik itu self-sufficient (mencukupi dirinya sendiri)
• Menggunakan kata-kata sebagai ganti lambang atau singkatan,
termasuk unit dalam grafik seperti misalnya : Pemakaian CPU Harian
c. Meminimalkan Tinta:
Memaksimalkan informasi ke rasio tinta yang dibutuhkan, misalnya tidak
perlu adanya grid line kecuali jika memang dibutuhkan untuk
memecahkan data.
d. Menggunakan hal yang sudah diterima secara luas :
Menunjukkan orang apa yang mereka harapkan untuk dilihat!, Misal :
Origin at ( 0,0)
e. Menghindari kerancuan :
• Menunjukkan koordinat sudut, skala & identifikasi asal dari suatu
variabel dan kurva individu
• Tidak menyajikan nilai yang terlalu banyak pada grafik yang sama
4. Kesalahan Umum pada Persiapan Suatu Grafik
.. Menyajikan terlalu banyak alternatif pada tabel tunggal.
.. Menyajikan banyak y-variabel pada tabel tunggal.
.. Penggunaan lambang sebagai pengganti teks.
.. Penempatan informasi ucapan tambahan pada tabel.
.. Pemilihan cakupan skala dengan tidak sesuai.
.. Penggunaan tabel garis sebagai ganti suatu tabel bar.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 29 DARI 35
ANALISIS KINERJA SISTEM
5. Permainan Gambar atau Bagaimana Membuat data terlihat lebih
baik
.. Penggunaan suatu origin non-zero untuk menekankan suatu perbedaan
:
.. Aturan 3/4-high : Skala suatu grafik untuk poin paling tinggi vertikal
sedikitnya 3/4 dari offset horisontal dari titik paling kanan.
.. Hindari grafik "Double-Whammy" - Faktor grafik yang berkorelasi.
Contoh: Grafik waktu respon & throughput
..
Masalah : Akan menguatkan pesan yang terlalu luas bagi pembaca
untuk semakin jauh dari hubungan yang dibangun.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 30 DARI 35
ANALISIS KINERJA SISTEM
Trik : Tidak ada Interval Konfiden
Grafik data acak tanpa interval
konfiden :
.. CI adalah suatu ukuran statistik
dari kemungkinan mean yang
tepat pada range yang diberikan.
.. CI sangat luas cakupannya
dengan perbedaan yang lebih
banyak atau sampel yang sedikit.
.. Jika CI overlap, tidak dapat
menyatakan statusnya dengan
"your" dan " mine" berbeda
secara statistik.
Trik : Piktogram diskalakan dengan tingginya.
Kita lihat area, bukan tinggi sebagai metrik.
.. Gambar yang pertama lebih rendah 2x tingginya dari gambar kedua.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 31 DARI 35
ANALISIS KINERJA SISTEM
Contoh dari Survel Koran LA
TIMES :
Bentuk piktogram yang diskalakan
dengan tingginya.
Pembaca akan lebih cepat
memahami dengan melihat skala
besar kecilnya visual.
TRIK : Presentasi Histogram
Pilihlah ukuran yang
proporsional . Jika data
mempunyai suatu
distribusi, tunjukkan itu.
Pertimbangkan grafik
kedua, di sebelah data
sama, namun dalam
pandangan sangat
berbeda.
Penggunaan broken
scale dalam tabel. Pada
dasarnya sama, hanya
tidak mulai origin ( 0,0).
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 32 DARI 35
ANALISIS KINERJA SISTEM
Keunggulan Grafis ( Tufte)
.. Keunggulan grafis adalah disain presentasi yang baik tentang data
yang menarik - sesuatu yang berbicara tentang substansi, statistik, dan
disain.
.. Keunggulan grafis terdiri dari gagasan kompleks yang diinformasikan
dengan jelas, efisien dan presisi.
.. Keunggulan Grafis akan memberi kepada user, gagasan yang amat
banyak dalam waktu yang paling pendek dengan paling sedikit jumlah
tinta dan dalam ruang spasi yang paling kecil.
.. Keunggulan grafis hampir selalu multivariate, dan Keunggulan grafis
HARUS dapat menceritakan kebenaran tentang data.
Tufte mendefinisikan Lie factor
ukuran efek ditunjukkan dalam grafik
Lie factor = -------------------------------------------------
ukuran efek ditunjukkan dalam data
Menunjukkan variasi data, tidak untuk mendisain variasi.
.. Lihat contoh harga minyak OPEC
Konteks adalah hal yang penting dalam grafik
.. Contoh: Mempertunjukkan data kematian "sebelum" dan "setelah”,
yaitu dari setelah 1955 dan sebelum 1956.
.. Tahun 1955 = 325 kematian, tahun 1956 = 280 kematian,
.. Tahun 1954 = 240 kematian…
.. 1955 adalah suatu keadaan yang tidak biasa yang disebut lie faktor.
Maksimalisasi data-Ink
.. “Range Bar” Mary Elanor Spear
range dari Paling rendah ke Paling tinggi
Interquartile Range
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 33 DARI 35
ANALISIS KINERJA SISTEM
.. “Box Plot” John Tukey’s
Menghilangkan Tinta & Menahan Data
.. Grafik pada sisi kanan menggunakan garis putih untuk menghilangkan
gambar yang terlalu penuh.
.. Tidak ada kotak yang membatasi.
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 34 DARI 35
ANALISIS KINERJA SISTEM
CONTOH YANG BAIK DALAM DATA MULTIVARIATE
PRESENTASI CERDAS UNTUK KEGUNAAN YANG LUAS
Tanggal :
Lokasi :
Susun!
BAB 4 EVALUASI KINERJA - HAL 35 DARI 35
ANALISIS KINERJA SISTEM
CONTOH PENGGUNAAN GRAFIK KLASIK
HATI-HATI DALAM MENGGUNAKAN WARNA
Tanggal :
Lokasi :
Susun

Posted in: AKS AWAL