Software Testing

Verification dan Validation (V & V)

Verification: set of task that ensure software correctly implement a single function

Validation: Different set of task yang ensure bahwa software is traceable ke customer requirements

Siapa yang ngetes:

Developer

1. Driven by delivery, test gently

Tester

1. Must learn system first, Driven by quality, will attempt to break the system.

Misconceptions

1. Dev should not do testing at all
2. Software should be thrown to wall to strangers who will test mercilessly
3. Testers get involved only on testing phase

Testing in the small and large

1. Small: Component level to integration of entire system (outward)
2. Large: Integration of entire system to component level (inward)

• Unit testing
  • Software engineer -> module to be tested diuji pake test case -> result
  • Interface
  • Local Data Structure
  • Boundary Condition
  • Independent Path
  • Error handling paths
• Integration Testing
  • Top down, bottom up integration testing.
  • Regression (dites selagi software evolve, pake test case yang sama kaya sebelumnya), smoke testing (Bikin build setiap periode waktu, tes sedemikian rupa supaya error muncul, integrasi build dengan build lainnya dan dites lagi dgn smoke testing)
  • Two options: big bang (small system), incremental construction strategy
• Validation Test

Software kalo digabungin belum tentu benar karena interfacingnya mungkin salah, komponen mungkin conflict, dsb.

Test khusus untuk OO software

1. Class testing (equivalent ke unit testing)
2. Integration: Integrates set of classes required to respond to (1,2)/ Demonstrate(3)
   1. Thread
      1. One input/ event
   2. Use based
      1. One use case
   3. Cluster
      1. One collaboration

Test khusus untuk webapp

Diuji oleh controlled number of end users

1. Content
2. UI (presentation, navigation, functionality)
3. Functional Component
4. Security
5. Performance

Alpha 1 and beta testing 2

1. Dev site oleh sejumlah representasi end user, developer ada untuk ngerekam error dan masalah usage
2. Satu atau lebih end user site, developer gaada, customer yang ngereport masalah dan melaporkannya ke developer

System Testing

1. Recovery
   1. Bisa nggak recover kalo sengaja dibikin fail dengan beberapa cara
2. Security
   1. Mampu ga mekanisme dalam sistem melindungi dari penetrasi
3. Stress
   1. Mampu ngehandle load yang abnormal (quantity, frequency, volume) ga demand resourcenya

Higher order testing

1. Performance Testing
2. Deployment Testing

Debugging

3/4 waktu untuk nyari masalah 1/4 waktu untuk fix

Symptom & cause

1. Symptom muncul di satu tempat, penyebabnya bisa di tempat yang berbeda.
2. Symptom mungkin hilang saat masalah yang ga berhubungan sama symptom itu diselesaikan
3. Mungkin ga error tapi bikin symptom, mungkin kesalahan compiler, mungkin dari asumsi orang, mungkin ga selalu muncul (hanya saat tertentu saja

Bugs

Debugging cara

Bruteforce (print semua variabel, pada setiap langkah, liat yang diprint dan cari errornya), backtracking (dari symptom error, mundur terus 1 langkah ampe ketemu sumber errornya), cause elimination (induksi atau deduksi untuk mengisolasi sumber error)

Correcting error

1. Error bisa direproduce ga di bagian lain program
2. Fix yang gw buat bisa ngenalin error lagi ga
3. Langkah apa yang bisa kita lakukan untuk prevensi error