AI Agent Bisa Mengerjakan Tugas Sendiri, Tapi Siapa yang Mengawasi Hasilnya?
AI agent dapat memakai alat dan mengambil tindakan, sehingga akses data, batas izin, dan pengawasan manusia jadi semakin penting.
Selama ini, banyak orang menggunakan AI seperti kotak percakapan: kita bertanya, lalu sistem memberi jawaban. Kalau jawabannya keliru, biasanya kita masih perlu melakukan sesuatu sendiri.
Sekarang AI mulai bergerak ke arah yang berbeda. Sebagian sistem dapat merencanakan beberapa langkah, memakai alat, membuka layanan, lalu menjalankan tugas atas nama pengguna. Kita tidak hanya meminta jawaban, tetapi juga meminta pekerjaan diselesaikan.
Perubahan itu terdengar praktis. Tapi ada satu pertanyaan yang ikut menjadi lebih penting: kalau AI sudah bisa bertindak, siapa yang memastikan tindakannya benar dan aman?
Chatbot menjawab, agent juga bisa bertindak
Batas antara chatbot dan AI agent tidak selalu tegas. Sebuah chatbot bisa memanggil alat, sementara agent juga bisa berhenti untuk meminta arahan. Namun, secara sederhana, chatbot biasanya membantu menghasilkan atau merangkum informasi; agent diberi kemampuan untuk menjalankan rangkaian langkah menggunakan alat tertentu.
Misalnya, kita bisa meminta chatbot menulis draf balasan email. Kalau sistemnya terhubung ke akun email dan punya izin mengirim, agent mungkin dapat mencari pesan terkait, menyusun balasan, lalu mengirimkannya.
Perbedaannya bukan cuma soal kecanggihan. Ada perbedaan antara memberi saran dan membuat perubahan di luar percakapan.
Jawaban yang keliru bisa kita abaikan. Tindakan yang keliru mungkin sudah telanjur terjadi.
Semakin banyak akses, semakin besar dampaknya
Agar bisa menyelesaikan tugas, agent mungkin perlu membaca dokumen, kalender, pesan, atau data lain. Untuk melakukan perubahan, ia bisa membutuhkan izin menulis, mengirim, menghapus, atau menjalankan proses di layanan yang terhubung.
Agent tidak tiba-tiba punya akses ke semua hal. Akses itu datang dari alat dan izin yang diberikan saat kita menghubungkannya. Karena itu, pengawasan sebenarnya dimulai bahkan sebelum tugas diberikan: akun apa yang disambungkan, data mana yang boleh dibaca, dan tindakan apa yang boleh dilakukan?
Di sinilah kenyamanan mulai bersentuhan dengan risiko privasi. Kalau aksesnya terlalu luas, sistem bisa melihat informasi yang sebenarnya tidak dibutuhkan untuk tugas tersebut. Kalau instruksinya salah dipahami, tindakan yang diambil juga bisa menyentuh data atau orang yang keliru.
Bayangkan kita meminta agent merapikan folder kerja. Ada perbedaan besar antara membuat daftar file yang mungkin duplikat dan langsung menghapusnya. Begitu juga antara menyiapkan draf balasan dan mengirimnya ke semua orang di sebuah percakapan.
Instruksi seperti “urus email yang belum dibalas” juga menyisakan banyak keputusan. Apakah agent hanya perlu menandai pesan penting, menyiapkan draf, atau boleh membalas sendiri? Kalau batasnya tidak jelas, sistem mungkin memilih tindakan yang menurutnya paling masuk akal, tetapi belum tentu sesuai maksud kita.
Risikonya tidak otomatis berarti setiap agent akan melakukan kesalahan. Dampaknya bergantung pada apa yang dapat diakses, tindakan apa yang diizinkan, dan seberapa mudah manusia memeriksa atau membatalkan hasilnya.
Kesalahan kecil bisa berlanjut menjadi tindakan berikutnya
Agent biasanya menjalankan tugas melalui beberapa langkah. Ia bisa salah memahami tujuan di awal, mengambil informasi yang kurang tepat, lalu memakai hasil itu untuk menentukan tindakan berikutnya.
Dalam tugas yang hanya meminta ringkasan, kekeliruan mungkin berhenti sebagai jawaban yang perlu dikoreksi. Dalam alur yang terhubung ke aplikasi lain, kesalahan yang sama bisa berlanjut: data keliru dimasukkan ke formulir, pesan terkirim ke penerima yang salah, atau perubahan dibuat sebelum pengguna sadar ada yang tidak beres.
Konten yang dibaca agent juga belum tentu bisa dipercaya. Sebuah halaman web atau dokumen dapat berisi instruksi yang mencoba mengalihkan sistem dari tujuan awal. Karena itu, agent perlu membedakan instruksi dari pengguna dengan isi yang sekadar ditemukan selama bekerja. Koneksi ke alat saja tidak cukup; batas akses dan cara sistem menangani masukan tak tepercaya juga penting.
Risiko ini sering disebut prompt injection: instruksi berbahaya disisipkan ke konten yang dibaca agent, dengan harapan agent mengikutinya. Itu bukan berarti setiap halaman web akan menjebak agent, tetapi menunjukkan bahwa sistem harus memperlakukan konten eksternal sebagai bahan yang perlu dianalisis, bukan otomatis sebagai perintah.
“Manusia mengawasi” harus berarti lebih dari satu klik
Pengawasan manusia sering disebut sebagai jawabannya. Tapi kalau manusia hanya menekan tombol persetujuan tanpa tahu apa yang akan dilakukan agent, pengawasan itu belum tentu banyak membantu.
Menurut gua, pengawasan yang berguna perlu memberi manusia kesempatan untuk memahami tindakan yang akan terjadi. Untuk hal yang berdampak besar atau sulit dibatalkan, sistem sebaiknya menunjukkan rencana dan meminta persetujuan sebelum bertindak—bukan baru memberi tahu setelahnya.
Izin juga sebaiknya dibatasi sesuai kebutuhan. Agent yang hanya diminta membaca jadwal tidak semestinya otomatis mendapat akses untuk menghapus acara. Kalau tugasnya mengirim pesan, pengguna perlu tahu siapa penerimanya dan melihat isi pesannya sebelum pesan benar-benar dikirim.
Catatan aktivitas juga membantu: apa yang dibaca, tindakan apa yang dilakukan, kapan hal itu terjadi, dan bagaimana cara membatalkannya bila memungkinkan. Pengembang maupun organisasi yang memakai sistem seperti ini tetap perlu menguji alurnya, membatasi akses, dan menentukan siapa yang bertanggung jawab jika terjadi kesalahan.
Tidak semua langkah harus meminta konfirmasi. Meminta persetujuan untuk setiap tindakan kecil bisa membuat otomatisasi kehilangan manfaatnya. Tapi untuk tindakan yang membuka data sensitif, mengirim sesuatu ke pihak lain, mengeluarkan biaya, atau sulit dibatalkan, jeda untuk memeriksa terasa masuk akal.
Otonom bukan berarti lepas dari tanggung jawab
Pada 8 Oktober 2026, Information Commissioner’s Office (ICO) Inggris membuka konsultasi bukti tentang risiko perlindungan data dari AI agent. ICO juga menyebut sedang meminta keterangan dari beberapa pengembang terkait pengujian dan penerapan agent. Pada sejumlah laporan yang sedang ditelusuri, ada kekhawatiran tentang agent yang melewati perlindungan dan mengakses sistem eksternal. Penyelidikannya masih berlangsung, jadi ini bukan kesimpulan bahwa semua agent bertindak seperti itu.
Buat gua, bagian pentingnya bukan sekadar AI bisa melakukan lebih banyak hal. Yang perlu ikut tumbuh adalah kejelasan tentang data apa yang boleh disentuh, tindakan mana yang perlu disetujui, dan siapa yang bertanggung jawab atas hasil akhirnya.
AI agent bisa membantu mengerjakan tugas. Tapi memberi sistem kemampuan bertindak tidak sama dengan menghapus tanggung jawab manusia. Justru ketika pekerjaan makin banyak diserahkan ke otomatisasi, kemampuan untuk memeriksa, membatasi, dan menghentikannya jadi semakin penting.