Sidoarjo, Getindo.com – AI memiliki masalah bias rasial.
Dari sistem identifikasi biometrik yang salah mengidentifikasi wajah orang kulit hitam dan minoritas secara tidak proporsional, hingga aplikasi perangkat lunak pengenalan suara yang gagal membedakan suara dengan aksen daerah yang berbeda, AI harus banyak bekerja dalam hal diskriminasi.
Dan masalah memperbesar bias yang ada bisa menjadi lebih parah jika menyangkut layanan perbankan dan keuangan.
Deloitte mencatat bahwa sistem AI pada akhirnya hanya sebaik data yang diberikan yaitu sebuah kumpulan data yang tidak lengkap atau tidak representatif dapat membatasi objektivitas AI, sementara bias dalam tim pengembangan yang melatih sistem tersebut dapat melanggengkan siklus bias tersebut.
AI Bisa Menjadi Salah
Nabil Manji, kepala crypto dan Web3 di Worldpay oleh FIS, mengatakan hal utama yang harus dipahami tentang produk AI adalah bahwa kekuatan teknologi sangat bergantung pada bahan sumber yang digunakan untuk melatihnya.
“Hal tentang seberapa bagus produk AI, ada dua variabel,” kata Manji kepada CNBC dalam sebuah wawancara. “Salah satunya adalah data yang dapat diaksesnya, dan kedua adalah seberapa bagus model bahasa besar itu. Itulah mengapa dari sisi data, Anda melihat perusahaan seperti Reddit dan lainnya, mereka telah mengumumkan kepada publik dan mengatakan kami tidak akan mengizinkan perusahaan untuk mengorek data kami, Anda harus membayar kami untuk itu.”
Sedangkan untuk layanan keuangan, Manji mengatakan banyak sistem data back-end yang terfragmentasi dalam berbagai bahasa dan format.
“Tidak ada yang dikonsolidasikan atau diharmonisasikan,” tambahnya. “Itu akan menyebabkan produk berbasis AI menjadi kurang efektif dalam layanan keuangan daripada di vertikal lain atau perusahaan lain di mana mereka memiliki keseragaman dan sistem yang lebih modern atau akses ke data.”
Manji menyarankan bahwa blockchain, atau teknologi buku besar terdistribusi, dapat berfungsi sebagai cara untuk mendapatkan pandangan yang lebih jelas tentang data berbeda yang tersimpan dalam sistem bank tradisional yang berantakan.
Namun, dia menambahkan bahwa bank — sebagai institusi yang sangat diatur dan bergerak lambat — tidak mungkin bergerak dengan kecepatan yang sama dengan rekan teknologi mereka yang lebih gesit dalam mengadopsi alat AI baru.
“Anda memiliki Microsoft dan Google, yang seperti selama satu atau dua dekade terakhir telah dilihat sebagai penggerak inovasi. Mereka tidak bisa mengikuti kecepatan itu. Dan kemudian Anda berpikir tentang layanan keuangan. Bank tidak dikenal cepat, ”kata Manji.
Masalah AI Perbankan
Rumman Chowdhury, mantan kepala etika, transparansi, dan akuntabilitas pembelajaran mesin Twitter, mengatakan bahwa pinjaman adalah contoh utama bagaimana bias sistem AI terhadap komunitas yang terpinggirkan dapat memundurkan kepalanya.
“Diskriminasi algoritme sebenarnya sangat nyata dalam peminjaman,” kata Chowdhury dalam sebuah panel di Money20/20 di Amsterdam. “Chicago memiliki sejarah yang benar-benar menolak [pinjaman] itu ke lingkungan terutama kulit hitam.”
Memang, Angle Bush, pendiri Black Women in Artificial Intelligence, sebuah organisasi yang bertujuan untuk memberdayakan perempuan kulit hitam di sektor AI, mengatakan kepada CNBC bahwa ketika sistem AI secara khusus digunakan untuk keputusan persetujuan pinjaman, dia menemukan bahwa ada risiko replikasi yang ada. bias yang ada dalam data historis yang digunakan untuk melatih algoritme.
“Ini dapat mengakibatkan penolakan pinjaman otomatis untuk individu dari komunitas yang terpinggirkan, memperkuat perbedaan ras atau gender,” tambah Bush.
“Sangat penting bagi bank untuk mengakui bahwa penerapan AI sebagai solusi dapat secara tidak sengaja melanggengkan diskriminasi,” katanya.
Frost Li, seorang pengembang yang telah bekerja di AI dan pembelajaran mesin selama lebih dari satu dekade, mengatakan kepada CNBC bahwa dimensi “personalisasi” dari integrasi AI juga dapat menimbulkan masalah.
“Yang menarik dari AI adalah bagaimana kami memilih ‘fitur inti’ untuk pelatihan,” kata Li, yang mendirikan dan menjalankan Loup, sebuah perusahaan yang membantu pengecer online mengintegrasikan AI ke dalam platform mereka. “Terkadang, kami memilih fitur yang tidak terkait dengan hasil yang ingin kami prediksi.”
Ketika AI diterapkan pada perbankan, kata Li, lebih sulit untuk mengidentifikasi “pelakunya” dalam bias ketika semuanya berbelit-belit dalam perhitungan.
“Contoh yang bagus adalah berapa banyak startup fintech yang khusus untuk orang asing, karena lulusan Universitas Tokyo tidak akan bisa mendapatkan kartu kredit bahkan jika dia bekerja di Google; namun seseorang dapat dengan mudah mendapatkannya dari serikat kredit perguruan tinggi karena para bankir lebih mengenal sekolah lokal,” tambah Li.
AI generatif biasanya tidak digunakan untuk membuat skor kredit atau penilaian risiko konsumen.
“Alat ini dibuat bukan untuk itu,” kata Niklas Guske, chief operating officer di Taktile, sebuah startup yang membantu fintech mengotomatiskan pengambilan keputusan.
Sebaliknya, Guske mengatakan aplikasi yang paling kuat adalah dalam pra-pemrosesan data tidak terstruktur seperti file teks — seperti mengklasifikasikan transaksi.
“Sinyal tersebut kemudian dapat dimasukkan ke dalam model penjaminan emisi yang lebih tradisional,” kata Guske. “Oleh karena itu, AI Generatif akan meningkatkan kualitas data yang mendasari keputusan tersebut daripada menggantikan proses penilaian umum.”
Tapi itu juga sulit untuk dibuktikan. apel dan Goldman Sachs, misalnya, dituduh memberi wanita batas bawah untuk Kartu Apple. Namun klaim tersebut ditolak oleh Departemen Layanan Keuangan Negara Bagian New York setelah regulator tidak menemukan bukti diskriminasi berdasarkan jenis kelamin.
Masalahnya, menurut Kim Smouter, direktur grup Jaringan Eropa Melawan Rasisme, adalah sulit untuk membuktikan apakah diskriminasi berbasis AI benar-benar terjadi.
“Salah satu kesulitan dalam penyebaran massal AI,” katanya, “adalah ketidakjelasan bagaimana keputusan ini dibuat dan mekanisme ganti rugi apa yang ada jika individu yang dirasialisasi bahkan menyadari bahwa ada diskriminasi.”
“Individu memiliki sedikit pengetahuan tentang cara kerja sistem AI dan bahwa kasus individu mereka, pada kenyataannya, mungkin menjadi puncak gunung es di seluruh sistem. Oleh karena itu, juga sulit untuk mendeteksi kejadian spesifik di mana ada yang tidak beres,” tambahnya.
Mengawasi Bias A.I
Chowdhury mengatakan ada kebutuhan untuk badan pengatur global, seperti Perserikatan Bangsa-Bangsa, untuk mengatasi beberapa risiko seputar AI.
Meskipun AI telah terbukti sebagai alat yang inovatif, beberapa teknolog dan ahli etika telah menyatakan keraguan tentang kesehatan moral dan etika teknologi tersebut. Di antara kekhawatiran teratas yang diungkapkan oleh orang dalam industri adalah informasi yang salah; bias rasial dan gender yang tertanam dalam algoritme AI; dan “halusinasi” yang dihasilkan oleh alat mirip ChatGPT.
“Saya sedikit khawatir, karena AI generatif, kita memasuki dunia pasca-kebenaran ini di mana tidak ada yang kita lihat online dapat dipercaya — bukan teks apa pun, bukan video apa pun, bukan audio apa pun, tetapi kemudian bagaimana apakah kita mendapatkan informasi kita? Dan bagaimana kami memastikan bahwa informasi memiliki integritas yang tinggi?” kata Chowdhury.
Sekarang adalah waktu untuk regulasi AI yang berarti mulai berlaku – tetapi mengetahui jumlah waktu yang dibutuhkan proposal peraturan seperti Undang-Undang AI Uni Eropa untuk diterapkan, beberapa khawatir ini tidak akan terjadi cukup cepat.
“Kami menyerukan lebih banyak transparansi dan akuntabilitas algoritme dan cara pengoperasiannya serta pernyataan awam yang memungkinkan individu yang bukan ahli AI untuk menilai sendiri, bukti pengujian dan publikasi hasil, proses pengaduan independen, audit dan pelaporan berkala, keterlibatan komunitas rasial saat teknologi dirancang dan dipertimbangkan untuk diterapkan, ”kata Smouter.
Undang-undang AI, kerangka peraturan pertama dari jenisnya, telah memasukkan pendekatan dan konsep hak fundamental seperti ganti rugi, menurut Smouter, menambahkan bahwa peraturan tersebut akan diberlakukan dalam waktu sekitar dua tahun.
“Alangkah baiknya jika periode ini dapat dipersingkat untuk memastikan transparansi dan akuntabilitas menjadi inti dari inovasi,” ujarnya.
Sumber:
