Reputasi Akademik Dapat Dimanipulasi
Sebuah studi investigasi tahun 2024 mengungkapkan kelemahan fatal dalam sistem Google Scholar, di mana jumlah kutipan (sitasi) ilmiah ternyata dapat dibeli dan dimanipulasi dengan mudah. Dalam laporan yang dipublikasikan di arXiv pada Februari 2024, tim peneliti membuktikan praktik kecurangan ini dengan menciptakan profil penulis fiktif yang berhasil mendapatkan ratusan sitasi melalui manipulasi artikel buatan kecerdasan buatan (AI) dan pembelian jasa "pendongkrak sitasi".
Temuan ini bermula ketika tim peneliti yang dipimpin oleh Hazem Ibrahim, Fengyuan Liu, Yasir Zaki, dan Talal Rahwan menyelidiki pola mencurigakan dari 1,6 juta profil di Google Scholar. Mereka menemukan adanya praktik "pabrik sitasi" (citation mills), di mana seorang peneliti dapat membayar sejumlah uang kepada pihak ketiga untuk meningkatkan metrik akademik mereka secara instan.
Untuk membuktikan hipotesis tersebut, para peneliti melakukan operasi penyamaran (sting operation). Mereka menciptakan karakter peneliti fiktif yang diklaim berafiliasi dengan universitas palsu. Menggunakan model bahasa besar (LLM) ChatGPT, mereka menghasilkan 20 artikel ilmiah tentang topik "Berita Palsu" (Fake News) yang penuh dengan referensi silang satu sama lain, lalu mengunggahnya ke server pra-cetak (pre-print servers).
Puncak dari eksperimen ini terjadi ketika peneliti menghubungi layanan "Peningkat Sitasi & H-index" yang mereka temukan secara daring. Dengan membayar biaya sebesar 300 Dolar AS (sekitar Rp4,7 juta), mereka berhasil membeli 50 sitasi untuk penulis fiktif tersebut. Dalam waktu sekitar satu bulan, Google Scholar mengindeks sitasi palsu tersebut, sehingga profil fiktif itu tercatat memiliki reputasi akademik yang signifikan, meskipun artikel-artikelnya tidak memiliki kontribusi ilmiah nyata.
"Temuan ini memberikan bukti konklusif bahwa sitasi dapat dibeli dalam jumlah besar," tulis para peneliti dalam laporannya. Mereka juga menyoroti bahwa sitasi yang dibeli sering kali disisipkan secara sembarangan pada makalah-makalah yang tidak relevan, seperti makalah kimia yang tiba-tiba mengutip artikel tentang berita palsu.
Masalah ini menjadi krusial mengingat hasil survei yang juga dilakukan oleh tim peneliti terhadap fakultas di 10 universitas peringkat teratas dunia. Survei tersebut menunjukkan bahwa mayoritas akademisi masih menggunakan jumlah sitasi sebagai tolak ukur utama dalam merekrut atau mempromosikan ilmuwan, dan Google Scholar adalah sumber data yang paling banyak digunakan dibandingkan basis data lainnya.
Studi ini menyimpulkan bahwa ketergantungan dunia akademik pada Google Scholar tanpa verifikasi yang ketat sangat rentan terhadap penipuan. Para peneliti mendesak institusi akademik untuk melihat lebih jauh dari sekadar angka sitasi dalam mengevaluasi kinerja ilmuwan, serta menyarankan pengembangan metode deteksi baru untuk mengidentifikasi pola sitasi yang tidak wajar.