Yeni veri gazeteciliği el kitabına özel bir önizleme
Northwestern Üniversitesi İletişim Fakültesi’nden Nicholas Diakopoulos’un Veri Gazeteciliği El Kitabının 2. baskısında yer alacak algoritmik hesap verilebilir raporlama üzerine düşüncelerini VOYD üyesi Berke Kesici çevirdi.
Büyük olasıkla, Veri Gazeteciliği El Kitabı’nın 2. basımını bu yılın sonuna doğru hazır etmek için yoğun bir şekilde çalıştığımızı biliyorsunuzdur. Geçtiğimiz hafta Perugia’da gerçekleşen International Journalism Festival’da (Uluslararası Gazetecilik Festivali) yaptığımız başarılı veri workshopunun ardından, el kitabında yer alacak bölümlerden biri olan “Platformları ve Algoritmaları Araştırmak” bölümünü sizinle paylaşmaktan mutluluk duyuyoruz.
Bu bölümde, Nicholas Diakopoulos (Northwestern Üniversitesi) son dönemin hararetli konusu algoritmik hesap verilebilir raporlamayı tartışıyor.
Diakopoulos: “Umuyorum ki, algoritmik hesap verilebilir raporlama üzerine yazdığım bu bölüm, açık veri gazetecilerinin dikkatini algoritmaların kullanışına çekecektir. Algoritmik karar alma, yalnızca kamu ve özel sektör kullanımında büyümeye devam edecek ve gazetecilerin, bu sistemlerle derin araştırmalarını yürütebilmek için, kavramsal ve metodolojik olarak donatılması gerekmektedir.”
Yard. Doç. Dr. Nicholas, Northwestern Üniversitesi İletişim Fakültesi’nde Hesaplamalı Gazetecilik Laboratuvarı’nı (Computational Journalism Lab/CJL) yönetmektedir. Son yayınlanan Veriye Dayalı Hikaye Anlatımı Kitabı’nın (Data-Driven Storytelling Book) editörlerinden biridir. Kendisini @ndiakopoulos kullanıcı adıyla Twitter’da takip edebilirsiniz.
Kendisine Veri Gazeteciliği El Kitabı’na kendisinin nasıl bir motivasyonla katkı yaptığını sorduğumuzda bize şöyle bir yanıt verdi:
“Veri gazeteciliğinin hem pratik hem de eleştirel yansımasına odaklanmış olmasından dolayı, el kitabına katkıda bulunmaktan dolayı heyecan duyuyorum. Umudum, kitabın, veri ve hesaplamalı gazetecilik alanındaki öncü projelerini etkin ve sorumlu bir şekilde üstlenmek isteyen uygulayıcılar için yol gösterici bir ışık olmasıdır.”
Umarız sizin için hazırladığımız bu bölümü ilgi çekici bulursunuz. Lütfen bize, temel gazetecilik işlevlerini algoritmalara uygulamak için ortaya çıkan bu yeni gazetecilik biçimi hakkında ne düşündüğünüz bildirin.*
*Veri Gazeteciliği El Kitabı’nı hazırlayan ekiple doğrudan iletişime geçmek için info@datajournalismhandbook.org adresine mail atabilir veya sosyal paylaşım platformlarında #datahandbook etiketini kullanabilirsiniz.
Aşağıdaki metin Veri Gazeteciliği El Kitabı’nda Yard. Doç. Dr. Nicholas tarafından yazılan bir bölümün taslağıdır, Amsterdam University Press tarafından basılacak olan son versiyondan önce bir önizleme olması amacıyla paylaşılmıştır.
ALGORİTMALAR AKIMI
ProPublica’nın Machine Bias serisi, Mayıs 2016’da toplumdaki algoritmaları araştırmak için bir çaba olarak başladı.[1] Serinin belki de en çarpıcı yanı, ceza mahkemesi kararlarında, yeniden suç işleme eğilimi hakkında risk değerlendirmesinde kullanılan algoritmalarının ırksal yanlılığını ortaya koyan bir soruşturma ve analiz oldu.[2] Bu algoritmalar, bireylerin, düşük veya yüksek olmak üzere, bir yeniden suç işleme eğilimi riski olup olmadığını temel alarak puanlar. Devletler ve diğer kurumlar, yargılama öncesi tutuklama, şartlı tahliye, gözaltı ve hatta bazen cezalandırmayı yönetmek için bunun gibi puanlar kullanırlar. ProPublica’daki muhabirler, Florida’daki Broward İlçesinden alınan puanlarla, iki yıl içindeki gerçek suç kayıtlarını karşılaştırdılar ve bir bireyin gerçekten yeniden suç işleyip işlemediğini görmeye çalıştılar. Bu veri analizi, siyah sanıkların, beyaz sanıklara oranla daha yüksek risk puanları aldıkları halde daha fazla yanlış işaretlendiğini ve bu iki yıllık sürede yeniden tutuklanmadıklarını gösterdi.[3]
Ceza mahkemesi sistemindeki puanlama, elbette, toplumlarda algoritmaların uygulandığı alanlardan yalnızca bir tanesi. Machine Bias serisi, Facebook’un reklam hedefleme sisteminden, coğrafi olarak ayırt edici otomatik sigorta oranlarına ve Amazon.com’daki haksız fiyatlandırma uygulamalarına kadar birçok şeyi kapsıyor. Algoritmik karar verme, hem kamu hem de özel sektörde giderek yaygınlaşıyor. Kredi ve sigorta riski puanlaması, istihdam sistemleri, refah yönetimi, eğitim ve öğretmen sıralaması ve çevrimiçi medya iyileştirmesi gibi birçok alanda görüyoruz.[4] Büyük ölçekte faaliyet göstererek ve çoğu zaman büyük insan kitlelerini etkileyerek, algoritmalar etkili ve bazen tartışılabilir birtakım hesaplama, sıralama, sınıflandırma, ilişkilendirme ve filtreleme kararları verebilir. Veri yığınları tarafından canlandırılan bu algoritmalar, toplumda iktidarı elde bulundurmanın yeni bir yoludur.
ProPublica’nın Machine Bias serisinin kanıtladığı gibi, algoritmalar yoluyla gücün nasıl uygulandığını hesaplamak için yeni bir hesaplama ve veri gazeteciliği dizisi ortaya çıkıyor. Gazeteciliğin geleneksel izleme işlevinden, algoritmalarla sağlanan bu güce dönüşümüne „algoritmik hesap verilebilir raporlama“ diyorum.[5] Görünürdeki nesnelliğine rağmen, algoritmalar hata yapabilir ve daha yakından inceleme yapılmasını gerektiren önyargılar yaratabilir. Yavaş yavaş, algoritmaların ihtiyaç duyduğu detaylı inceleme, gazeteci yeteneklerinin teknik yeteneklerle birleşmesiyle sağlanıyor.
Akımı neyin oluşturduğuna karar verirken, öncelikle algoritmalar hakkında neyin haber değeri olduğunu tanımlamak yararlı olur. Bir algoritma, belirli bir problemi çözmek ya da tanımlanmış bir sonucu elde etmek için sıralı bir dizi adımdır. Algoritmik gücün püf noktası, bilgisayarların algoritmik kararları çok hızlı ve büyük bir ölçekte, çok sayıda insanı potansiyel olarak etkileyecek biçimde yapabilme yeteneğidir. Bir şekilde bir algoritma „kötü“ bir karar verdiğinde, o algoritma haber değeri taşır. Bu üzerine düşeni yapmamak veya yapmaması gereken bir şeyi yapmak şeklinde gerçekleşebilir. Gazetecilik için „kötü“ bir kararın toplumsal önemi ve sonuçları önemli faktörlerdir. Kötü kararlar bireyleri doğrudan etkileyebilir veya toplu olarak önyargı gibi sorunlara yol açabilir. Bu kötü kararlar ayrıca maaliyetli de olabilir. Hadi, çeşitli kötü kararların nasıl yeni haberlere yol açabileceğine bir bakalım.
ALGORİTMALARA İLİŞKİN AÇILAR
Araştırmamda, algoritmik hesap verebilirlik hikayeleri için dört farklı açı tespit ettim: ayrımcılık ve adaletsizlik, tahminlerde ya da sınıflandırmalarda hatalar, yasal ya da sosyal norm ihlalleri ve algoritmaların kasten ya da kasıtsız olarak insanlar tarafından kötüye kullanılması. Spesifik algoritmik hesap verebilirlik hikayelerinin örnekleri burada açıklayıcı olacaktır.
AYRIMCILIK VE ADALETSİZLİK
Ayrımcılık ve adaletsizliği açığa çıkarmak, algoritmik hesap verebilirlik raporlamasında yaygın bir temadır. ProPublica’nın bu bölüme kaynak olan hikayesi, bir algoritmanın farklı insan gruplarına nasıl farklı sistematik yaklaşımlar yaratacağının çarpıcı bir örneğidir. Risk değerlendirme puanlarını tasarlayan şirket Northpoint, puanların değerlendirme boyunca eşit derecede doğru olduğunu ve bu nedenle adil olduğunu savundu. Fakat onların adalet tanımı, siyah insanları etkileyen orantısız hataların miktarını dikkate almada başarısız oldu. Siyasi varsayımları yansıtabilecek ayrımcılık ve adaletsizlik hikayelerinin ardında kalan bir adalet tanımı.[6]
Algoritmik sistemlerden kaynaklanan haksızlıkları ortaya çıkaran hikayeler üzerinde de çalıştım – özellikle Uber’in fiyatlandırma dinamiklerinin Washington DC’deki mahalleler arasında nasıl değiştiği üzerinde. [7] Farklı bekleme süreleri üzerindeki gözlemlere ve bu bekleme sürelerinin Uber’in dalgalanan fiyatlandırma algoritmasına göre nasıl değiştiğine dayanarak farklı mahallelerin farklı hizmet kalitesi düzeylerine (örneğin bekleme süresi) sahip olacağına dair bir hipotez hazırladık. Zaman içinde farklı nüfus kayıt sistemlerinde bekleme sürelerini sistematik olarak örnekleyerek, daha „renkli insanların“ nüfus kaydının, bir bölgedeki gelir, yoksulluk oranı ve nüfus yoğunluğu gibi diğer faktörleri sabit tutarken bile bir aracın gelmesi için daha uzun bekleme sürelerine sahip olma eğiliminde olduğunu gösterdik. Bu haksızlığın nedenini doğrudan Uber’in algoritmasına bağlamak doğru olmaz, çünkü Uber sürücülerinin davranışları ve potansiyel önyargıları gibi diğer insan faktörleri de sistemi yönlendirir. Ancak sonuçlar, bir bütün olarak düşünüldüğünde, sistemin demografi ile ilişkili eşitsizliği sergilediğini öne sürmektedir.
HATALAR
Algoritmalar, sınıflandırma, tahmin veya filtreleme kararlarında belirli hatalar yaptıklarında da haber değeri olabilir. Nefret söylemi, şiddet ve pornografi gibi zararlı içeriklere maruz kalmayı azaltmak için algoritmik filtreler kullanan Facebook ve Google gibi platformların durumunu düşünün. Bu, özellikle çocuklar gibi belirli hassas grupların korunması için önemli olabilir, bilhassa çocuklar için güvenli bir platform olduğu iddiasıyla pazarlanan Google’ın YouTube Kids platform gibi ürünlerde. Uygulamaya yönelik filtreleme algoritmasındaki hatalar haber değeri taşımaktadır, çünkü bunlar bazen çocukların uygunsuz veya şiddet içerikli içeriklerle karşılaşmalarına neden olabilir.[8] Çoğunlukla, algoritmalar iki türlü hata yapar: yanlış pozitif ve yanlış negatifler. YouTube Çocuk vakasında, yanlış bir pozitif, aslında çocuklar için tamamen iyi olduğu halde, uygunsuz olarak sınıflandırılan bir video olacaktır. Bir yanlış negatif ise, uygunsuz bir içeriğin uygun olarak işaretlenmesi şeklinde düşünülebilir.
Sınıflandırma kararları bireyleri, bir bireyin aldığı olumlu veya olumsuz sonucu artırdığında veya azalttığında etkilemektedir. Bir algoritma bir kişiyi, yanlışlıkla bedava bir dondurma alması için işaretlediğinde (olumlu sonucu artırdığında), -başka insanlar bunu farkedip uyarsa dahi- bu kişinin şikayet ettiğini duymazsınız. Hatalar genellikle bir kişiye yönelik negatif sonucun artmasına yol açtıklarında, bir kullanıcıyı uygunsuz bir videoya maruz bırakmak gibi, haber değeri taşır. Hatalar, bir bireyin alacağı bir pozitif sonuçta bir azalmaya yol açtıklarında, kişinin bir fırsatı kaçırması gibi, haber değeri taşır. Algoritmanın, düzenli alışveriş yapan bir müşteriyi, yanlış bir sınıflandırmayla, sürekli olarak özel kampanyaların dışında bıraktığını düşünün. Son olarak, hatalar negatif işaretlenmesi önemli konularda pozitif sonuçlar verdiklerinde de haber değeri taşırlar. Yüksek riskli bir bireyi yanlışlıkla düşük riskli olarak etiketleyen bir suç riski değerlendirmesi algoritmasını düşünebilirsiniz (yanlış negatif). Bu, o birey için harika olsa da, bir suçu tekrar işlemeye devam eden/edebilecek bir bireyi serbest bırakarak, kamu güvenliği açısından ciddi bir risk yaratmaktadır.
YASAL VE TOPLUMSAL NORM İHLALLERİ
Tahmine dayalı algoritmalar, zaman zaman mevcut yasal ve sosyal normların sınırlarını zorlayabilir, bu da araştırmaları için yeni fırsatlar ve açılar yaratır. Algoritmik iftira ihtimalini bir düşünelim.[9] Iftira, “bir kimseye karşı nefret, alay veya hor görme içeren, akranlarının gözünde küçük düşüren, akranları tarafından dışlanmasına veya işinde zarar görmesine neden olan bir yanlış beyan” olarak tanımlanır.[10] Son birkaç yılda, Google’ın otomatik tamamlama algoritması (autocomplete algorithm) tarafından iftiraya uğradığını hisseden bireylerle ilgili bir çok olay ve yasal mücadele yaşandı. Otomatik tamamlama, bir kişinin veya şirketin adını, suç ve sahtekârlıktan, iflasa veya cinsel davranışa kadar her şeye bağlayabilir. Bu da itibarla ilgili birtakım sonuçlar doğurabilir.
Algoritmalar, mahremiyet gibi sosyal normlara tecavüz ettikleri zaman da haber değeri taşıyabilirler. Örneğin; Gizmodo, Facebook’ta “Tanıyor Olabileceğin Kişiler” (People You May Know/PYMK) algoritmasını ve bu algoritmanın, platformda önerdiği potansiyel “arkadaşların” bazen uygunsuz ya da istenmeyen kişiler olduğunu farkediyor.[11] Bir haberde, muhabirler PYMK’nin bir seks işçisinin gerçek kimliğini müşterileriyle paylaştığı bir durum tespit etti.[12] Bu sadece seks işine bağlı potansiyel damgalamadan dolayı değil, aynı zamanda stalker olabilecek müşteri korkusu yüzünden de sorun yaratmaktadır.
Iftira ve gizlilik ihlalleri burada yalnızca iki olası olay açılarıdır. Gazeteciler, çeşitli sosyal bağlamlarda algoritmaların oluşturabileceği bir dizi diğer yasal veya sosyal norm ihlallerine de dikkat etmelidir.
İNSANIN YANLIŞ KULLANIMI
Algoritmik kararlar genellikle, sosyoteknik sistemler denen, insanları ve algoritmaları içeren daha geniş karar verme süreçlerine gömülüdür.[13] Algoritmaların sosyoteknik sistemler dahilindeki insanlar tarafından kötüye kullanılması da, algoritmalar için bir haber değeri yaratabilir. Algoritma tasarımcıları, bir sistemde makul bir kullanım bağlamı için kimi zaman kurallar öngörürler ve açıklayabilirler, ve eğer insanlar bunları uygulamada görmezden gelirlerse, ihmalkarlık veya yanlış kullanım vakalarına yol açabilirler. ProPublica’nın risk değerlendirme öyküsü belirgin bir örnek sunuyor. Northpointe, aslında, biri erkek ve biri kadın için olmak üzere iki versiyonu olan bir sistem kalibrasyonunu yaratmıştı. İstatistiksel modellerin, kullanacakları popülasyonu yansıtan veriler üzerinde eğitilmesi ve rekidivizm (suçu ispatlanmış bir suçlunun yeniden suç işlemesi) öngörüsünde cinsiyetin önemli bir faktör olması gerekmektedir. Broward County, erkekler için tasarlanan ve kalibre edilen risk puanını kadınlar için de kullanarak bir yanlış kullanım vakasına imza atıyordu.[14]
BİR ALGORİTMA NASIL ARAŞTIRILMALI
Algoritmik gücün araştırılmasında çeşitli yollar vardır. Bazı vakalar, sosyal bilim denetim tekniklerine dayanan yöntemler gerektirebilirken, bazıları algoritmik reaksiyonların dürtme ve kışkırtmasıyla açığa çıkarılabilir. Tasarımcılar, geliştiriciler ve veri bilim insanları gibi şirket içi insanlarla konuşmak, kamu kayıt taleplerini dosyalamak ve etkilenen kişileri bulmak gibi geleneksel gazetecilik kaynaklarının kullanımı her zaman olduğu kadar önemlidir. Benim bu bölümde anlatabileceğimden çok daha fazla yöntem kullanilabilir,[15] ama en azından gazetecilerin algoritmaları araştırmak için denetlemeyi nasıl kullanabilecekleri hakkında kısaca konuşmak istiyorum.
Denetim teknikleri yıllardır konut piyasası gibi sistemlerde sosyal yanlılığı incelemek için kullanılmıştır.[16] Algoritmalar da benzer yöntemlerle incelenebilir.[17] Eğer bir algoritmaya yeterince farklı girdi katılıyor ve çıktılar takip edilebiliyorsa, girdiler ve çıktılar algoritmanın nasıl çalıştığına dair bir teori üretmek için kullanılabilir. Eğer çıktısını bildiğimiz birtakım girdiyi algoritmaya katar ve algoritmanın çıktılarının doğru olmadığını tespit edersek; hataları listeleyerek, sistematik bir yanlılık olup olmadığını görebiliriz. Kişiselleştirilmiş algoritmalar için, denetim teknikleri, her biri algoritmanın benzersiz bir “görüntüsüne” sahip olabilecek bir dizi insandan veri toplamak için kitle kaynak kullanımı ile birlikte kullanıldı. Almanya’daki Algorithm Watch, bir tarayıcı eklentisi aracılığıyla veri paylaşan 4.000’den fazla kullanıcıdan yaklaşık 6 milyon arama sonucu toplayarak; Google Arama sonuçlarının kişiselleştirilmesini incelemek için bu tekniği etkili bir şekilde kullanmıştır.[18] Gizmodo, Facebook’un PYMK’sini araştırmaya yardımcı olmak için bu tekniğin bir benzerini kullanmıştır. Kullanıcılar, PYMK sonuçlarını yerel olarak, kullanıcının gizliliğini koruyacak şekilde, bilgisayarında periyodik olarak izleyen bir yazılımı bilgisayarlarına indirir. Ardından muhabirler, sonuçlarının endişe verici veya şaşırtıcı olduğunu düşünen kullanıcılardan yorumlarını isterler.[19]
Denetleme algoritmaları korkaklar için değildir. Bilgi açıkları, bir denetçinin, bazen nereden başlayacağını, neleri soracağını, sonuçları nasıl yorumlayacağını ve bir algoritmanın davranışında gördükleri kalıpları nasıl açıklayacağını dahi bilme yeteneğini sınırlandırır. Ayrıca, bir algoritmadan neyin beklendiğini bilme ve tanımlama ve bu beklentilerin bağlamlar arasında nasıl farklılık gösterebileceği de ayrı bir meseledir. Haber değeri taşıyan yanlı veya yanlış kullanılan bir algoritmayı tanımlayabilmek için, öncelikle normal ve tarafsız bir algoritmanın nasıl olması gerektiğini açıklamak gerekir. Bir de ortaya devlet tarafından kullanılan algoritmaların datalarına yasal yollarla ulaşma konusu var. Birleşik Devletler’de, dökümanların kamusal erişilebilirliğini Bilgi Özgürlüğü Yasası (Freedom of Information/FOI laws) düzenliyor, ama devlet kurumlarının algoritmalara ilişkin dökümanların erişilebilirliği konusuna yaklaşımı en iyimser tabirle eşitlikten uzak.[20] Hukuki reformlar, algoritmalar hakkındaki bilgiye kamu erişiminin daha kolay sağlanabilmesi için gereklidir. Bilgilerdeki yetersizlikler, beklentileri dile getirmedeki zorluk ve berrak olmayan legal erişim koşulları yetmiyormuş gibi bir de algoritmaların kaprisleri var. Bir algoritmanın bugünkü versiyonu bile bir önceki günden farklı olabilir. Algoritmaların nasıl değiştiklerini ve gelişitiklerini anlayabilmek için onları sürekli olarak takip etmek gerekir.
İLERLEMEK İÇİN TAVSİYELER
Başlamak ve algoritmik hesap verebilirlik raporlamasından en iyi şekilde yararlanmak için üç şeyi tavsiye ederim. Öncelikle, yalnızca yararlı yöntemler ve diğer örnekler için işaretçiler değil, aynı zamanda ABD Hükümeti tarafından kullanılan algoritmalardan oluşan güncellenmiş bir veritabanı sağlayan Algoritma İpuçları (http://algorithmtips.org/) adlı bir kaynak geliştirdik. Temelleri anlamanıza yardımcı olacak bir kaynak arıyorsanız, bu sizin başlangıç noktanız olabilir.[21]İkinci olarak, karar alma mekanizmalarını tam olarak açıklamaya çalışmak yerine, algoritmaların sonuçlarına ve etkilerine odaklanın. Algoritmik ayrımcılığın belirlenmesi, genellikle, ayrımcılığın nasıl gerçekleştiğini tam olarak açıklamaktan ziyade, ilk adım olarak topluma daha fazla değer katmaktadır. Çıktılara odaklanarak, gazeteciler birinci dereceden bir teşhis sağlayabilir ve daha sonra diğer paydaşların araştırabileceği bir alarm verebilir. Son olarak, burada bahsettiğim yayınlanmış algoritmik hesap verebilirlik raporlarının çoğu, takımlar halinde hazırlanmış çalışmalardır ve bunun bir nedeni var. Etkili bir algoritmik hesap verilebilirlik raporu için tüm geneksel raporlama ve mülakat becerileri; kamu kayıt talepleri hakkında bilgi ve sonuçları net ve zorlayıcı bir şekilde yazmak ve de veri kazıma ve temizleme, denetim çalışmaları tasarlama ve gelişmiş istatistiki teknikler kullanma gibi bir takım yeni becerilere ihtiyaç duyulur. Bunca alanda aynı anda ekspertiz sahibi olmak için iyi bir iletişime, farkındalığa ve liderlik anlayışına ihtiyaç duyulur. Farklı sosyal durumlardaki algoritmaların gücünü anlayabilmek için bu beceri alanlarında ekspertiz sahibi olan uzmanlar ortaklaşa çalışabilir.
ÖZET
Büyük ölçekte faaliyet gösteren ve çoğu zaman büyük insan gruplarını etkileyen algoritmalar, kamu ve özel sektörde artan etki alanları yelpazesinde etkili ve kimi zaman tartışılabilir kararlar almaktadır. Gazetecilikte yeni bir akım, bu tür algoritmalar aracılığıyla uygulanan toplumsal gücün araştırılmasını kapsayacak şekilde ortaya çıkıyor. Bu yazı, bu akımı irdeleyerek hesaplamacı ve veri gazeteciliği yapanlara haber değeri taşıyan 4 açı sunuyor: ayrımcılık ve adaletsizlik, hatalar, Yasal ve Toplumsal Norm İhlalleri, ve insanın yanlış kullanımı. Her biri örneklerle açıklandı, ardından denetleme tekniklerine odaklanarak metodolojik seçenekler ve algoritmaları araştırmadaki zorluklar sıralandı. Son olarak algoritmalar akımında kendi araştırmalarını yapmayı düşünmeye yeni başlayan veri gazetecileri için birçok somut öneri sunuldu.
Çeviri: Berke Kesici / VOYD Üyesi
Çeviri Kaynağı: https://medium.com/we-are-the-european-journalism-centre/exclusive-sneak-preview-into-the-new-data-journalism-handbook-7d3b59315424
[2] Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner. Machine Bias. ProPublica. May, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[3] Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin. How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. May, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm/
[4] Cathy O’Neil. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Broadway Books. 2016; Frank Pasquale. The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press. 2015; Virginia Eubanks. Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press. New York. 2018.
[5] N. Diakopoulos. Algorithmic Accountability: Journalistic Investigation of Computational Power Structures. 3 (3), Digital Journalism. 2015; The term “Algorithmic Accountability” was originally coined in: Nicholas Diakopoulos. Sex, Violence, and Autocomplete Algorithms. Slate. August, 2013. http://www.slate.com/articles/technology/future_tense/2013/08/words_banned_from_bing_and_google_s_autocomplete_algorithms.html and elaborated in: Nicholas Diakopoulos. Rage Against the Algorithms. The Atlantic. October, 2013. https://www.theatlantic.com/technology/archive/2013/10/rage-against-the-algorithms/280255/
[6] Lepri, B. et al., 2017. Fair, Transparent, and Accountable Algorithmic Decision-making Processes. Philosophy & Technology, 84(3), pp.1–17.
[7] J. Stark and N. Diakopoulos. Uber seems to offer better service in areas with more white people. That raises some tough questions. Washington Post. March, 2016. https://www.washingtonpost.com/news/wonk/wp/2016/03/10/uber-seems-to-offer-better-service-in-areas-with-more-white-people-that-raises-some-tough-questions/
[8] Sapna Maheshwari. On YouTube Kids, Startling Videos Slip Past Filters. New York Times. November, 2017. https://www.nytimes.com/2017/11/04/business/media/youtube-kids-paw-patrol.html?_r=0
[9] Nicholas Diakopoulos. Algorithmic Defamation: The Case of the Shameless Autocomplete. Tow Center. August, 2013. https://towcenter.org/algorithmic-defamation-the-case-of-the-shameless-autocomplete/
[10] Defamation. http://www.dmlp.org/legal-guide/defamation
[11] Kashmir Hill. How Facebook Figures Out Everyone You’ve Ever Met. Gizmodo. November, 2017. https://gizmodo.com/how-facebook-figures-out-everyone-youve-ever-met-1819822691
[12] Kashmir Hill. How Facebook Outs Sex Workers. Gizmodo. October, 2017. https://gizmodo.com/how-facebook-outs-sex-workers-1818861596
[13] Seaver, N., 2017. Algorithms as culture: Some tactics for the ethnography of algorithmic systems. Big Data & Society, 4(2);
[14] Machine Bias with Jeff Larson. Data Stories Podcast. October, 2016. http://datastori.es/85-machine-bias-with-jeff-larson/
[15] For more a more complete treatment of methodological options see: N. Diakopoulos. Automating the News: How Algorithms are Rewriting the Media. Harvard University Press. 2019; see also: N. Diakopoulos. Enabling Accountability of Algorithmic Media: Transparency as a Constructive and Critical Lens. Towards glass-box data mining for Big and Small Data. Eds. Tania Cerquitelli, Daniele Quercia, Frank Pasquale. Springer. June, 2017.
[16] Gaddis, S.M., 2017. An Introduction to Audit Studies in the Social Sciences. In S. M. Gaddis, ed. Audit Studies Behind the Scenes with Theory, Method, and Nuance.
[17] Sandvig, C. et al., 2014. Auditing algorithms: Research methods for detecting discrimination on Internet platforms. In Presented at International Communication Association preconference on Data and Discrimination Converting Critical Concerns into Productive Inquiry.
[18] See: https://datenspende.algorithmwatch.org/en/index.html
[19] Kashmir Hill and Surya Mattu. Keep Track Of Who Facebook Thinks You Know With This Nifty Tool. Gizmodo. January, 2018. https://gizmodo.com/keep-track-of-who-facebook-thinks-you-know-with-this-ni-1819422352
[20] See for instance: Nicholas Diakopoulos. We need to know the algorithms the government uses to make important decisions about us. The Conversation. May, 2016. https://theconversation.com/we-need-to-know-the-algorithms-the-government-uses-to-make-important-decisions-about-us-57869; Fink, K., 2017. Opening the government’s black boxes: freedom of information and algorithmic accountability. 17(1), pp.1–19; and Brauneis, R. & Goodman, E.P., 20 Yale Journal of Law & Technology. 103. 2018.
[21] D. Trielli, J. Stark and N. Diakopoulos. Algorithm Tips: A Resource for Algorithmic Accountability in Government. October, 2017.