Dokumen tidak dapat dibuka. Permintaan akses ditolak. Nama pengguna sudah dihapus dari daftar penerima izin. Bagi administrator, pekerjaan tampak selesai.

Namun, ketika pengguna tersebut meminta chatbot internal merangkum isi dokumen, informasi yang sama masih muncul.

Bayangkan situasi itu terjadi pada proposal akuisisi, rincian penawaran vendor, atau evaluasi karyawan. Perusahaan telah membatasi akses melalui aplikasi penyimpanan, tetapi informasi tetap tersedia melalui percakapan. Kontrol yang terlihat berhasil pada satu sistem ternyata belum berlaku di sistem lainnya.

Persoalannya terletak pada ukuran keberhasilan yang terlalu sempit. Pencabutan akses dianggap selesai ketika pengguna tidak lagi dapat membuka berkas. Padahal, setelah dokumen terhubung dengan chatbot, pengendalian akses juga harus menjangkau informasi yang digunakan untuk menyusun jawaban.

Hak akses dokumen belum benar-benar dicabut apabila pengguna masih dapat memperoleh isinya melalui jalur lain yang disediakan perusahaan.

Dokumen Sudah Tertutup, Salinan Informasinya Masih Bekerja

Chatbot internal yang menggunakan retrieval-augmented generation atau RAG dapat mengambil informasi dari kumpulan dokumen perusahaan sebelum menyusun jawaban. Untuk mendukung pencarian, dokumen biasanya diproses menjadi potongan teks dan representasi numerik yang disebut embedding.

Proses tersebut menciptakan hubungan antara dokumen sumber, indeks pencarian, dan materi yang diberikan kepada model. Perubahan pada sumber harus ditangani pula pada komponen yang bergantung kepadanya.

Dokumentasi Amazon Bedrock memberikan contoh konkret: perubahan atau penghapusan file pada sumber data perlu disinkronkan agar tercermin dalam basis pengetahuan. Mekanisme ini menunjukkan bahwa keberadaan data di repositori dan keberadaannya di sistem pencarian memiliki siklus pembaruan tersendiri.

Pencabutan izin pengguna memang berbeda dari penghapusan dokumen. Akan tetapi, keduanya menuntut perusahaan memastikan bahwa perubahan di sumber diteruskan dengan benar.

Jika hubungan itu tidak dikelola, pengguna dapat menghadapi dua kenyataan sekaligus: aplikasi penyimpanan menolak akses, sedangkan chatbot masih menemukan potongan informasi yang relevan.

Tidak selalu berarti model telah menghafal dokumen secara permanen. Penyebabnya dapat berada pada informasi yang masih tersedia dalam jalur pencarian dan penyusunan jawaban.

Pemeriksaan Izin Tidak Berguna jika Menggunakan Keputusan Lama

Pernyataan bahwa chatbot “sudah memiliki kontrol akses” belum cukup untuk menjawab risiko tersebut. Perusahaan perlu mengetahui kapan izin diperiksa, identitas siapa yang digunakan, dan seberapa mutakhir data izinnya.

Sistem dapat memeriksa izin pada setiap pertanyaan, tetapi tetap menggunakan daftar kewenangan yang belum diperbarui. Pemeriksaannya berjalan; dasar keputusannya tertinggal.

Dokumentasi Azure AI Search menjelaskan bahwa kesegaran metadata izin bergantung pada metode pemasukan data. Pada konfigurasi tertentu, perubahan izin memerlukan sinkronisasi ulang atau pengiriman ulang dokumen yang terdampak.

Ini berarti dua hal harus berjalan bersama: pemeriksaan otorisasi ketika informasi diminta dan pembaruan izin ketika kewenangan berubah.

Masalahnya semakin rumit ketika akses diperoleh melalui grup atau diwariskan dari folder. Menghapus izin langsung pada satu berkas belum tentu menghilangkan akses melalui keanggotaan lain. Sebaliknya, perubahan izin folder belum tentu segera tercermin pada seluruh dokumen yang sudah diindeks.

Karena itu, pengujian sebaiknya dimulai dengan memastikan hak efektif pengguna di sumber. Setelah itu, barulah hasilnya dibandingkan dengan perilaku chatbot. Tanpa langkah ini, tim dapat keliru membedakan kegagalan sinkronisasi dengan akses lain yang memang masih berlaku.

Kewenangan Akun Layanan Tidak Boleh Menjadi Hak Semua Pengguna

Dalam banyak integrasi, aplikasi menggunakan akun layanan untuk menghubungkan chatbot dengan sumber informasi. Akun tersebut dapat memerlukan akses luas agar proses pengumpulan dan pengindeksan berjalan.

Namun, izin aplikasi membaca dokumen tidak otomatis berarti setiap pengguna berhak menerima isinya.

Sebagai ilustrasi, konektor dapat membaca folder keuangan dan sumber daya manusia. Jika hasil pencariannya diberikan kepada pengguna hanya berdasarkan kewenangan konektor, batas akses antarbagian dapat hilang pada saat jawaban disusun.

Arsitektur yang tepat perlu membedakan kewenangan aplikasi dari kewenangan orang yang bertanya. Dokumentasi Azure AI Search, misalnya, menjelaskan penggunaan identitas pengguna dan metadata izin untuk membatasi hasil pencarian.

Bagi perusahaan, implikasinya jelas: keberhasilan masuk melalui akun kantor belum membuktikan keamanan chatbot internal. Identitas yang sah tetap dapat meminta informasi di luar kewenangannya.

Analisis ini sering kami temukan saat melakukan penetration testing pada perusahaan di Indonesia.

Karena itu, evaluasi keamanan perlu memeriksa hubungan antara identitas, peran, objek yang diakses, dan tindakan yang diizinkan. Pemeriksaan pada halaman masuk saja tidak dapat membuktikan bahwa batas kewenangan diterapkan secara konsisten setelah pengguna berada di dalam aplikasi.

Jawaban Tersimpan Membuat Pencabutan Akses Lebih Rumit

Ada kemungkinan pencarian dokumen sudah diperbaiki, tetapi informasi tetap muncul dari jawaban sebelumnya.

Cache dapat menyimpan respons agar pertanyaan serupa dijawab lebih cepat. Riwayat percakapan dan ringkasan sesi juga dapat membawa informasi yang pernah digunakan ketika pengguna masih memiliki izin.

Microsoft memasukkan riwayat percakapan, indeks RAG, keluaran konektor, serta jejak pemrosesan ke dalam permukaan yang perlu diperhatikan dalam risiko pengungkapan informasi sensitif. Pemeriksaan kebocoran dengan demikian perlu mencakup penyimpanan konteks, bukan hanya dokumen asal.

OWASP juga menekankan perlunya pembatasan cache berdasarkan pengguna dan kewenangan, serta invalidasi ketika izin sumber berubah.

Bayangkan seorang pengguna memperoleh ringkasan laporan sebelum aksesnya dicabut. Setelah pencabutan, ia meminta chatbot melanjutkan analisis dari percakapan tersebut. Apabila sistem menggunakan kembali konteks lama tanpa mempertimbangkan kebijakan terbaru, pembatasan pada pencarian baru saja belum menyelesaikan persoalan.

Perusahaan perlu menetapkan bagaimana konteks lama diperlakukan setelah perubahan izin. Kebijakan itu harus membedakan akses terhadap riwayat yang sebelumnya sah dan penggunaan ulang informasi tersebut untuk pemrosesan berikutnya.

Batas teknisnya juga perlu dipahami. Sistem tidak dapat menarik kembali informasi yang sudah dibaca atau disalin pengguna. Yang dapat dikendalikan adalah penyediaan dan pemrosesan informasi berikutnya melalui layanan perusahaan.

Penelitian Menunjukkan bahwa Sumber Jawaban Juga Membawa Risiko

Kekhawatiran terhadap kebocoran data chatbot memiliki dasar penelitian.

Shenglai Zeng dan rekan-rekannya, dalam penelitian yang diterbitkan pada Findings of the Association for Computational Linguistics: ACL 2024, menguji persoalan privasi pada RAG. Mereka menunjukkan bahwa sistem yang diteliti dapat membocorkan informasi dari basis data yang digunakan dalam proses pengambilan konteks.

Temuan tersebut tidak membuktikan bahwa setiap chatbot perusahaan rentan atau bahwa setiap pencabutan akses akan gagal. Penelitian itu memperlihatkan bahwa penambahan sumber pengetahuan eksternal turut memperkenalkan risiko terhadap data sumber tersebut.

Implikasinya bagi pengelola sistem adalah perlunya memperluas evaluasi. Selain menilai akurasi jawaban, perusahaan harus menguji apakah informasi yang menjadi dasar jawaban memang boleh diterima pengguna.

Jawaban yang sepenuhnya benar tetap dapat menjadi insiden keamanan apabila diberikan kepada pihak yang tidak berwenang.

Instruksi Kerahasiaan Tidak Dapat Menggantikan Pembatasan Akses

Menambahkan instruksi “jangan ungkapkan informasi rahasia” mungkin terasa seperti langkah perbaikan yang cepat. Namun, instruksi tersebut tidak memperbarui daftar izin, mencabut keanggotaan grup, atau menghapus jawaban dari cache.

OWASP menempatkan penegakan kontrol akses sebelum konten mencapai model. Potongan dokumen perlu membawa metadata izin yang sesuai, dan kewenangan harus diperiksa pada proses pengambilan informasi.

Prinsip ini penting karena model tidak seharusnya menerima materi yang dilarang bagi pengguna, kemudian dibebani tanggung jawab untuk menyembunyikannya.

Penyaringan keluaran tetap dapat digunakan sebagai perlindungan tambahan. Namun, keberhasilannya tidak membuktikan bahwa proses pengambilan data telah aman. Jawaban mungkin tampak bersih meskipun materi terlarang sempat masuk ke konteks pemrosesan.

Evaluasi keamanan perlu membuktikan apa yang terjadi sebelum jawaban ditampilkan.

Pengujian Harus Membuktikan bahwa Akses Benar-Benar Berakhir

Pengujian pencabutan akses sebaiknya menggunakan dokumen sintetis dengan informasi unik. Dengan demikian, tim dapat mengenali apakah jawaban berasal dari materi uji tanpa mempertaruhkan dokumen rahasia yang sebenarnya.

Mulailah dari pengguna yang memiliki akses sah. Pastikan chatbot dapat menjawab berdasarkan dokumen tersebut. Cabut aksesnya, lalu ulangi pemeriksaan melalui beberapa kondisi:

• Percakapan baru: apakah dokumen masih dapat ditemukan setelah izin dicabut?
• Percakapan lama: apakah konteks sebelumnya masih digunakan untuk memberikan informasi yang kini dibatasi?
• Jawaban tersimpan: apakah cache masih mengembalikan respons yang memuat isi dokumen?
• Perubahan grup: apakah chatbot mengikuti pencabutan keanggotaan pengguna?
• Perubahan folder: apakah izin yang diwariskan ikut diperbarui?
• Gangguan pemeriksaan izin: apakah sistem menahan konten terbatas ketika kewenangan tidak dapat dipastikan?

Daftar tersebut merupakan rancangan pengujian yang perlu disesuaikan dengan arsitektur dan kebijakan perusahaan.

Catat waktu pencabutan izin serta waktu ketika seluruh jalur yang diuji berhenti memberikan akses. Ukuran ini membantu membedakan kebijakan yang diharapkan dari perilaku sistem yang sebenarnya.

Bukti pengujian juga perlu mencakup keputusan otorisasi dan identitas dokumen yang digunakan, dengan pembatasan pencatatan agar log tidak menjadi tempat penyimpanan data sensitif yang baru.

Pastikan Chatbot Menghormati Berakhirnya Kewenangan

Keamanan chatbot internal membutuhkan kesepakatan yang jelas antara pemilik data, pengelola identitas, pengembang aplikasi, dan tim keamanan. Harus ada pihak yang bertanggung jawab memastikan perubahan izin berlaku sampai ke jalur penyusunan jawaban.

Tanpa tanggung jawab tersebut, setiap komponen dapat terlihat berfungsi normal sementara informasi tetap diterima oleh orang yang tidak lagi berhak.

Sebelum memperluas penggunaan chatbot ke dokumen sensitif, perusahaan perlu meminta bukti bahwa pencabutan akses bekerja pada keseluruhan integrasi. Bukti itu harus berasal dari pengujian, termasuk ketika pengguna mempertahankan sesi lama atau ketika salah satu layanan mengalami gangguan.

Kemampuan chatbot menjawab pertanyaan perlu diimbangi kemampuan sistem menghentikan akses ketika kewenangan pengguna berakhir.

Diskusikan Pengujian Keamanan Perusahaan Anda dengan Fourtrezz

Fourtrezz menyediakan layanan Penetration Testing dan Vulnerability Assessment, termasuk untuk aplikasi web, API, jaringan, dan server. Layanan tersebut relevan untuk mengevaluasi komponen aplikasi dan infrastruktur yang mendukung integrasi chatbot internal.

Jika perusahaan Anda menggunakan chatbot untuk mengakses dokumen bisnis, diskusikan kebutuhan pengujiannya dengan Fourtrezz. Ruang lingkup dapat dirumuskan bersama dengan mempertimbangkan kontrol akses, hubungan antar-API, perubahan kewenangan pengguna, dan komponen pendukung yang digunakan.

Mulailah kerja sama dengan menentukan aset yang akan diuji serta bukti keamanan yang ingin diperoleh. Dengan ruang lingkup yang jelas, hasil evaluasi dapat menjadi dasar penetapan prioritas perbaikan.

Hubungi Fourtrezz:

Website: www.fourtrezz.co.id
Telepon/WhatsApp: +62 857-7771-7243
Email: [email protected]