Meneliti AI membutuhkan audit sistem yang menyeluruh dan menyeluruh
wpadminBUDI
Organisasi harus melakukan audit ujung ke ujung yang mempertimbangkan aspek sosial dan teknis dari kecerdasan buatan (AI) untuk sepenuhnya memahami dampak dari sistem apa pun, tetapi kurangnya pemahaman tentang bagaimana melakukan audit holistik dan keterbatasan proses menghambat kemajuan, kata pakar audit algoritmik.
Pada Konferensi Audit Algoritma Internasional perdana, yang diselenggarakan di Barcelona pada 8 November oleh audit algoritmik firma Eticas, para ahli memiliki diskusi luas tentang apa yang harus dilakukan oleh audit “sosio-teknis” untuk AI, serta berbagai tantangan yang terkait dengan proses tersebut.
Dihadiri oleh perwakilan dari industri, akademisi, dan sektor ketiga, tujuan konferensi ini adalah untuk menciptakan forum bersama bagi para ahli untuk membahas perkembangan di lapangan dan membantu menetapkan peta jalan tentang bagaimana organisasi dapat mengelola sistem AI mereka secara bertanggung jawab.
Mereka yang terlibat dalam pertemuan pertama ini akan pergi ke Brussel untuk bertemu dengan pejabat Uni Eropa (UE) dan perwakilan lain dari organisasi hak digital, sehingga mereka dapat berbagi pemikiran kolektif mereka tentang bagaimana Audit AI dapat dan harus diatur.
Apa itu audit sosio-teknis?
Gemma Galdon-Clavell, ketua konferensi dan direktur Eticas, mengatakan: “Sistem teknis, ketika didasarkan pada data pribadi, bukan hanya teknis, tetapi juga sosio-teknis, karena data berasal dari proses sosial.”
Oleh karena itu dia menggambarkan audit sosio-teknis sebagai “penyelidikan ujung ke ujung tentang cara kerja sistem, dari saat Anda memilih data yang akan melatih sistem Anda, hingga saat keputusan algoritmik ditangani. oleh manusia” atau berdampak pada seseorang.
Dia menambahkan jika organisasi hanya fokus pada aspek teknis dari suatu sistem, dan melupakan interaksi sosial yang dihasilkan sistem, “Anda tidak benar-benar mengaudit [because] Anda tidak melihat kerugiannya, Anda tidak melihat konteksnya”.
Namun, konsensus di antara peserta konferensi adalah bahwa organisasi saat ini gagal untuk menginterogasi sistem mereka secara bermakna.
Shea Brown, CEO BABL AI, memberikan contoh tentang manusia dalam lingkaran sebagai aspek audit sosio-teknis yang sering diabaikan, meskipun sejumlah besar risiko diperkenalkan ke sistem ketika manusia menengahi keputusan otomatis.
“Sebagian besar risiko yang kami temukan, bahkan di luar hal-hal seperti bias, adalah tempat di mana algoritme berinteraksi dengan seseorang,” katanya. “Jadi, jika Anda tidak berbicara dengan orang itu, [you can’t] cari tahu ‘apa pemahaman Anda tentang apa yang dikatakan algoritme itu, bagaimana Anda menafsirkannya, bagaimana Anda menggunakannya?’”
Bagian penting lainnya dari masalah ini adalah fakta bahwa sistem AI sering dikembangkan secara serampangan yang membuatnya lebih sulit untuk melakukan audit sosio-teknis di kemudian hari.
“Jika Anda menghabiskan waktu di dalam perusahaan teknologi, Anda dengan cepat mengetahui bahwa mereka sering tidak tahu apa yang mereka lakukan,” kata Jacob Metcalf, peneliti etika teknologi di Data & Society, menambahkan bahwa perusahaan sering kali tidak mengetahui informasi dasar seperti apakah set pelatihan AI mereka berisi data pribadi atau susunan demografisnya.
“Ada beberapa yang sangat mendasar masalah tata kelola di sekitar AIdan idenya adalah bahwa penilaian ini memaksa Anda untuk memiliki kapasitas dan kebiasaan bertanya, ‘bagaimana sistem ini dibangun, dan apa yang sebenarnya dilakukan di dunia ini?’”
Galdon-Clavell menambahkan bahwa, dari pengalamannya mengaudit di Eticas, “orang tidak mendokumentasikan mengapa sesuatu dilakukan, jadi ketika Anda perlu mengaudit suatu sistem, Anda tidak tahu mengapa keputusan diambil… yang Anda lihat hanyalah modelnya. , Anda tidak memiliki akses ke bagaimana hal itu terjadi”.
Metodologi standar untuk pengujian permusuhan
Untuk memerangi kurangnya pengetahuan internal tentang bagaimana sistem AI dikembangkan, para ahli audit menyepakati kebutuhan mendesak untuk metodologi standar tentang bagaimana melakukan audit sosio-teknis.
Mereka menambahkan bahwa sementara metodologi standar saat ini tidak ada, itu harus mencakup langkah-langkah praktis untuk diambil pada setiap tahap proses audit, tetapi tidak terlalu preskriptif sehingga gagal untuk menjelaskan sifat AI yang sangat kontekstual.
Namun, akademisi hak digital Michael Veale mengatakan standardisasi adalah proses yang rumit dalam menjawab pertanyaan sosial yang inheren.
“Tren yang sangat mengkhawatirkan saat ini adalah bahwa pembuat undang-undang seperti Komisi Eropa mendorong pilihan yang sarat nilai seputar hak-hak dasar ke dalam SDO. [standards development organisations]”katanya, menambahkan bahwa badan-badan ini memiliki tugas untuk mendorong kembali dan menolak mandat apa pun bagi mereka untuk menetapkan standar seputar masalah sosial atau politik.
“Saya pikir langkahnya adalah mengatakan, ‘baik, hal-hal apa yang bisa kita standarkan?’. Mungkin ada beberapa aspek prosedural, mungkin ada beberapa aspek teknis yang cocok untuk itu, [but] sangat berbahaya untuk masuk ke situasi di mana Anda memisahkan politik dari teknis – mereka sangat terjalin erat dalam sistem algoritmik, ”tambah Veale.
“Banyak kecemasan kami seputar algoritme mewakili kekhawatiran kami dengan situasi sosial dan masyarakat kami. Kami tidak dapat meneruskan kekhawatiran itu kepada SDO untuk distandarisasi – yang akan mengakibatkan krisis legitimasi.”
Risiko lain dari standarisasi preskriptif, menurut Brown, adalah bahwa prosesnya turun menjadi latihan centang kotak yang dimuliakan. “Ada bahaya interogasi berhenti dan kita kehilangan kemampuan untuk benar-benar mendapatkan bahaya jika mereka hanya menjadi standar,” katanya.
Untuk mencegah audit sosio-teknis menjadi sekadar latihan, serta memastikan mereka yang terlibat tidak menyalahgunakan proses, Galdon-Calvell mengemukakan bahwa audit harus bersifat permusuhan.
“Anda dapat memiliki audit yang dilakukan oleh orang-orang di luar sistem, dengan memanfaatkan kemungkinan sistem untuk direkayasa ulang, dan melalui pendekatan permusuhan Anda dapat mengekspos ketika audit telah digunakan sebagai latihan kotak centang, atau sebagai latihan inspeksi yang tidak berarti,” katanya, menambahkan Eticas dan orang lain yang hadir akan membahas bagaimana proses ini dapat bekerja dalam beberapa minggu mendatang.
Kesengsaraan sektor publik
Masalah seputar audit sosio-teknis juga diperparah untuk organisasi sektor publik karena, bahkan jika pemasok AI telah mendokumentasikan proses pengembangan secara memadai, mereka tidak memiliki kapasitas untuk menelitinya, atau bahkan dicegah untuk memeriksa sistem karena keterbatasan intelektual. hak milik (IP).
“Dalam banyak kasus, dokumentasi tidak ada untuk orang-orang di sektor publik untuk dapat memahami apa yang terjadi, atau tidak ditransfer, atau ada terlalu banyak dokumentasi dan tidak ada yang dapat memahaminya,” kata Divij Joshi, seorang peneliti doktoral di University College London.
“Ketika orang tidak ingin memberi tahu Anda caranya [an algorithm] bekerja, entah karena mereka tidak mau, atau karena mereka tidak tahu. Saya rasa keduanya tidak dapat diterima”
Sandra Wachter, Institut Internet Oxford
“Cukup menakutkan bagi saya bahwa di sektor publik, lembaga yang seharusnya diberdayakan oleh berbagai jenis peraturan untuk benar-benar memeriksa teknologi yang mereka beli, tidak dapat melakukannya… karena hak kekayaan intelektual.”
Ramak Molavi, seorang peneliti senior di Mozilla Foundation, juga mengkritik pengaturan pengadaan publik, menambahkan kurangnya pengetahuan umum sektor publik seputar AI berarti “mereka benar-benar bergantung pada pemasok pengetahuan, mereka mengambil [what they say] sebagai kenyataan – mereka mendapatkan opini tetapi bagi mereka, itu bukan opini, itu deskripsi”.
Memberi contoh pemerintah negara bagian di Australia yang telah mengontrak sistem kesejahteraan bertenaga AI dari pemasok swasta, Jat Singh, seorang profesor riset di University of Cambridge, menambahkan bahwa, setelah pejabat publik tidak diberi akses untuk memeriksa keputusan kesejahteraan tertentu berdasarkan IP, pemerintah New South Wales hanya memperkenalkan ketentuan baru ke dalam proses tender yang berarti perusahaan harus menyerahkan informasi.
“Ketika orang tidak ingin memberi tahu Anda caranya [an algorithm] bekerja, entah karena mereka tidak mau, atau karena mereka tidak tahu. Saya pikir keduanya tidak dapat diterima, terutama di sektor peradilan pidana, ”katanya, menambahkan bahwa sementara keseimbangan perlu dicapai antara kepentingan komersial dan transparansi, orang memiliki hak untuk mengetahui bagaimana keputusan yang mengubah hidup dibuat. .
“Ketika orang mengatakan ini hanya tentang rahasia dagang, saya rasa itu bukan jawaban yang bisa diterima. Seseorang harus mengerti apa yang sebenarnya terjadi. Gagasan bahwa kebebasan dan kebebasan dapat dikalahkan oleh kepentingan komersial, saya pikir, tidak bertanggung jawab, terutama jika ada cara untuk menemukan jalan tengah yang baik di mana Anda dapat sepenuhnya memahami apa yang dilakukan oleh suatu algoritma … tanpa mengungkapkan semua rahasia komersial. ”
Batas audit
Galdon-Clavell mengatakan audit harus dianggap hanya sebagai satu alat – meskipun penting – dalam membuat penyebaran AI lebih akuntabel.
“Audit AI adalah inti dari upaya untuk memastikan bahwa prinsip yang kami kembangkan seputar AI diterjemahkan ke dalam praktik khusus itu berarti teknologi yang membuat keputusan tentang hidup kita benar-benar melalui proses untuk memastikan bahwa keputusan itu adil, dapat diterima, dan transparan,” katanya.
“Audit AI adalah inti dari upaya untuk memastikan bahwa … teknologi yang membuat keputusan tentang kehidupan kita melalui proses untuk memastikan bahwa keputusan tersebut adil, dapat diterima, dan transparan”
Gemma Galdon-Clavell, Eticas
Jennifer Cobbe, rekan peneliti di University of Cambridge, menambahkan penting untuk diingat bahwa audit saja tidak dapat menyelesaikan semua masalah yang terkait dengan pengoperasian AI, dan bahkan audit dengan niat terbaik pun tidak dapat menyelesaikan masalah dengan sistem yang secara inheren merugikan orang atau kelompok dalam masyarakat.
“Kita perlu memikirkan hal-hal apa saja yang berada di luar mekanisme itu, juga tentang kontrol demokrasi. Hal-hal seperti apa yang kita katakan tidak diizinkan dalam masyarakat demokratis, karena terlalu berbahaya?” dia berkata.
Di luar pelarangan kasus penggunaan AI tertentu, audit juga perlu disertai dengan tindakan lebih lanjut jika sistem ingin dilihat dari jarak jauh dapat dipercaya.
“Tujuan audit dan penilaian yang sangat penting dan sering diabaikan adalah untuk memberikan kesempatan kepada pihak yang dirugikan atau masyarakat yang terkena dampak untuk menentang bagaimana sistem dibangun dan apa yang dilakukan sistem tersebut,” menurut Metcalf. “Jika tujuan melakukan penilaian adalah untuk mengurangi kerugian, maka cara penilaian terstruktur perlu memberikan pijakan bagi pihak-pihak yang terkena dampak untuk menuntut perubahan.”
Dia menambahkan bahwa tujuan akhirnya adalah kontrol demokratis yang lebih besar terhadap AI dan teknologi algoritmik lainnya: “Ini adalah momen di mana kita perlu menegaskan hak untuk mengontrol sistem ini secara demokratis. AI adalah untuk orang-orang untuk memiliki kehidupan yang lebih baik. Bukan perusahaan yang membatasi masa depan kita.”
Persyaratan audit sosio-teknis juga harus, menurut Molavi Mozilla, disertai dengan penegakan hukum yang kuat. “Ini pertanyaan politik apakah Anda ingin mendanai penegakan hukum atau tidak,” katanya, menambahkan bahwa di ruang privasi dan perlindungan data, misalnya, “hampir tidak ada yang menegakkan hukum”.
Indonesian
Arabic
Chinese (Simplified)
Dutch
English
French
German
Italian
Portuguese
Russian
Spanish