Rekan saya Indra kemarin menuliskan berita tentang lembaga Consumer Reports yang menyatakan ‘pengakuan’ konsumen bahwa Surface device mudah rusak. Sementara terjadi pro dan kontra tanpa ujung terhadap pernyataan tersebut, Daniel Rubino, Executive Editor Windows Central, menuliskan sebuah argumen yang bagus dan ilmiah tentang mengapa kita perlu meragukan keabsahan laporan dari Consumer Reports tersebut. Terlepas dari status saya yang mungkin ‘lebih condong’ ke arah Microsoft, argumen yang ditulis oleh Daniel tersebut merupakan pembelajaran yang bagus sekali bagi kita, terutama jika kita berkecimpung di bidang pendidikan dan penelitian. Apalagi di era media sosial ini kita dituntut untuk harus selalu kritis menyikapi sebuah pemberitaan. Oleh karena itu, saya tertarik untuk menulis ulang artikel dari Daniel tersebut sebagai bahan pembelajaran bagi saya dan teman-teman sekalian, untuk ke depannya menyikapi situasi yang kurang lebih serupa.
Ringkasan Laporan Consumers Report
Consumer Reports merilis sebuah laporan yang menyatakan bahwa perangkat Surface memiliki tingkat kemungkinan kerusakan yang lebih tinggi dalam beberapa tahun awal kepemilikan. Consumer Reports menyatakan bahwa dari 90.000 pemilik tablet dan laptop (seperempatnya memiliki Surface), menyatakan bahwa pemilik Surface pasti akan mengalami masalah setelah memiliki perangkat ini dalam jangka waktu dua tahun. Permasalahan umum yang sering terjadi adalah freeze, shutdown tak diduga, dan permasalahan dengan touchscreen. Kamu bisa membaca laporan selengkapnya di sini.
Penggunaan Metodologi yang Bermasalah
Dengan membaca laporan lengkap dari Consumer Reports, Daniel menelaah satu per satu dan menemukan bahwa metodologi penelitian yang digunakan oleh Consumer Reports bermasalah. Mengapa? Untuk lebih jelasnya, Daniel membandingkan penelitian yang dilakukan Consumer Reports dengan J.D. Power. Sekedar info, J.D. Power adalah lembaga yang baru saja tahun ini menobatkan Surface sebagai perangkat dengan tingkat kepuasan konsumen tertinggi. Berikut perbandingan di antara keduanya:
| Publikasi | Consumer Reports | J.D. Power |
|---|---|---|
| Tipe penelitian | Survei | Survei |
| Sumber | Pelanggan CR | Sampel acak |
| Subjek | Reliabilitas | Kepuasan Pelanggan |
| Jumlah sampel | 90.741 | 2.238 |
| Kesimpulan | Estimasi | Data Kuantitatif |
Sepintas dari tabel di atas, kita dapat mengetahui bahwa dari perspektif metodologi penelitian ilmiah, penelitian Consumer Reports dapat dinyatakan cacat. Survei Consumer Reports dilakukan terhadap orang yang berlangganan portal mereka. Di sini segregasi usia, demografi, dan latar belakang tidak ditentukan secara jelas. Bahkan tidak semua sampel yang disurvei memiliki Surface. Sementara itu J.D. Power setia pada kaidah ilmiah. Menggunakan sampel acak (bahkan J.D. Power memiliki laporan lengkap tentang identitas, rentang usia, dan demografi sampel), tentu saja netralitas penelitian dari J.D. Power lebih teruji.
Lebih fatal lagi, di bagian kesimpulan, Consumer Reports menggunakan estimasi (jika kamu membaca laporan mereka, tertulis kalimat “sebagian besar pengguna Surface”) – Ini merupakan dosa besar dalam sebuah penelitian. Bagaimana seharusnya? Tentu saja kamu harus memaparkan dengan detail secara kuantitatif bagaimana hasil survei kamu. Misalnya: “30% responden yang menggunakan Surface mengatakan bahwa perangkat ini… dst”. Jika kamu mempresentasikan tesis dengan mengungkapkan kesimpulan ‘sebagian besar blablabla’, sudah barang tentu dosen penguji akan membelai lembut kepalamu dengan buku metode penelitian… Satu kontainer… Beserta kontainernya!
Daniel Rubino mengulas dengan detail bahwa kedua lembaga ini sebenarnya memiliki kekurangan dalam menyajikan hasil penelitiannya, seperti misalnya bagaimana rentang usia pengguna, berapa lama mereka memiliki Surface, dan jenis Surface apakah yang mereka miliki, tapi dengan melihat pada kesalahan metpen yang fatal tersebut, maka bisa langsung dinyatakan bahwa penelitian J.D. Power mungkin bisa lulus dengan banyak revisi, sementara Consumer Reports gagal total untuk diuji secara ilmiah!
Riwayat Penelitian
Perlu diingat juga bahwa reputasi Consumer Reports patut dipertanyakan akibat riwayat penelitian mereka sebelumnya. Beberapa tahun yang lalu, Consumer Reports memberikan rekomendasi buruk pada iPhone 4 dan menyebutnya sebagai antennagate. Consumer Reports membuat laporan yang tipikalnya kurang lebih sama dengan menyatakan bahwa iPhone 4 memiliki antena yang tidak memadai untuk penerimaan sinyal radio (yang kita gunakan untuk menelepon) serta menghasilkan tangkapan Wi-Fi yang pendek. Juga terdapat dead grip (sebutan untuk hilangnya sinyal jika kamu memegang iPhone 4 secara keliru). Situs mereka dibanjiri oleh fanboy Apple yang marah, sebagian besar mengancam berhenti berlangganan Consumer Reports. Apa yang terjadi? Beberapa minggu kemudian Consumer Reports menarik laporan tersebut dengan mengajukan permohonan maaf.
Jika sebuah lembaga penelitian tunduk pada tekanan dan membatalkan hasil penelitiannya hanya karena ‘ancaman berhenti berlangganan’, maka kredibilitas serta reputasi penelitian yang dihasilkan oleh lembaga semacam ini jelas bermasalah!
Lalu, apakah Surface bebas Masalah?
Bukan! Laporan dari Consumer Reports memang bermasalah. Namun jika kita melihat dengan jernih, perangkat Surface bukannya bebas masalah. Di berbagai forum, misalnya Windows Central, beberapa pengguna juga mengeluhkan permasalahan yang mereka miliki terkait perangkat Surface.
Namun tentu saja hal ini tidak dapat dijadikan generalisasi bahwa ‘seluruh perangkat Surface bermasalah dengan reliabilitas dan sebaiknya tidak dibeli’ sebagaimana yang diungkapkan oleh Consumer Reports.
Jika kita berpikir secara ilmiah dan mempertanyakan kaidah penelitian pada poin-poin yang diungkap oleh Daniel Rubino di atas, maka kita dapat mengambil pembelajaran dan kesimpulan sebagai berikut:
- Validitas survei Consumer Reports layak dipertanyakan karena cacat dari metode penelitian serta riwayat kredibilitas lembaga tersebut.
- Kita tidak boleh menafikan laporan permasalahan pengguna Surface, dan dapat kita jadikan pembelajaran jika kita berminat untuk menggunakan Surface sebagai penunjang aktivitas harian kita.
Bagaimana pendapat kamu tentang laporan dari Consumer Reports tersebut? Tuangkan opini kamu di kolom komentar!
