Karin Verspoor
Çeviri: Saye Daylan
Peki, bu kadar karmaşık bir süreç otomatikleştirilebilir mi? Geçtiğimiz hafta, makine öğrenimi alanında tamamen otomatik bir şekilde bilimsel keşifler yapabileceği iddia edilen bir yapay zeka sistemi olan “AI scientist ”in yaratıldığını duyuruldu.
ChatGPT ve diğer yapay zeka sohbet robotlarında da bulunan büyük dil modellerini (LLM’ler) kullanan sistem, beyin fırtınası yapabilir, umut verici bir fikir seçebilir, yeni algoritmalar kodlayabilir, sonuçları çizebilir ve referanslarla birlikte deneyi ve bulgularını özetleyen bir makale yazabilir.
Sakana, yapay zeka aracının bilimsel bir deneyin tüm yaşam döngüsünü kağıt başına sadece 15 ABD doları maliyetle, yani bir bilim insanının öğle yemeği maliyetinden daha az bir maliyetle üstlenebileceğini iddia ediyor.
Bunlar büyük iddialar. Peki bu iddialar tutarlı mı? Öyle olsa bile, insanüstü bir hızla araştırma makaleleri yayınlayan bir yapay zeka bilim insanı ordusu bilim için gerçekten iyi bir haber olabilir mi?
Bir bilgisayar nasıl bilim yapabilir?
Neredeyse tüm bilimsel bilgiler bir yerlerde yazılı hale getirilmiştir (aksi takdirde bilmemizin bir yolu olmazdı). Milyonlarca bilimsel makale arXiv ve PubMed gibi depolarda ücretsiz, çevrimiçi olarak mevcuttur.
Bu verilerle eğitilen LLM’ler bilimin dilini ve kalıplarını yakalar. Bu nedenle, üretken bir LLM’nin iyi bir bilimsel makaleye benzeyen bir şey üretebilmesi belki de hiç şaşırtıcı değildir Tartışmalı olan şey ise bir YZ sisteminin ilginç bir bilimsel makale üretip üretemeyeceğidir. İyi bilim yenilik ve yaratıcılık gerektirir. Peki bu YZ ile mümkün mü?
Bilim insanları zaten bilinen şeylerin tekrar edilmesini istemezler. Aksine, yeni şeyler, özellikle de halihazırda bilinenlerden önemli ölçüde farklı olan yeni şeyler öğrenmek isterler. Bu da bir katkının kapsamı ve değeri hakkında yargıda bulunmayı gerektirir.
Sakana sistemi iki adımdan oluşur. İlk olarak, yeni makale fikirlerini mevcut araştırmalara (Semantic Scholar havuzunda indekslenen) benzerlik açısından değerlendirir. Çok benzer olan her şey atılır.
İkinci adımda, Sakana’nın sistemi, üretilen makalenin kalitesini ve yeniliğini değerlendirmek için başka bir LLM kullanır. Burada da, openreview.net gibi sitelerde bir makalenin nasıl eleştirileceğine dair rehberlik edebilecek çok sayıda değerlendirme örneği bulunmaktadır. LLM’ler bunları da özümsemiştir.
Sakana AI’nın çıktısı hakkında geri bildirimler biraz tartışmalı. Bazıları sistemi sonu gelmeyen bilimsel saçmalıklar üretmek olarak tanımlıyor.
Sistemin çıktılarına ilişkin kendi incelemesi bile makaleleri en iyi ihtimalle zayıf olarak değerlendiriyor. Teknoloji geliştikçe bu durumun da iyileşmesi muhtemel, ancak otomatik bilimsel makalelerin değerli olup olmadığı sorusu hala geçerliliğini koruyor. LLM’lerin araştırmanın kalitesini değerlendirme becerisi de tartışmalı bir sorudur. Kendi çalışmam LLM’lerin tıbbi araştırmalarda önyargı riskini değerlendirmede çok iyi olmadıklarını gösteriyor, ancak bu da zamanla gelişebilir.
Sakana’nın sistemi, fiziksel deneyler gerektiren diğer bilim türlerine göre çok daha kolay olan hesaplamalı araştırmalardaki keşifleri otomatikleştiriyor. Sakana’nın deneyleri, LLM’lerin üretmek üzere eğitilebileceği yapılandırılmış bir metin olan kod ile yapılıyor.
YZ araçları bilim insanlarını desteklemeli, onların yerini almamalı
Yapay zeka araştırmacıları onlarca yıldır bilimi desteklemek için sistemler geliştiriyor. Yayınlanan araştırmaların devasa hacimleri göz önüne alındığında, belirli bir bilimsel soruyla ilgili yayınları bulmak bile zor olabilir.
Özel arama araçları, bilim insanlarının mevcut çalışmaları bulmalarına ve sentezlemelerine yardımcı olmak için yapay zekadan yararlanmaktadır. PubTator gibi metin madenciliği araçları, belirli genetik mutasyonlar ve hastalıklar gibi kilit odak noktalarını ve bunların kurulan ilişkilerini belirlemek için makalelerin derinliklerine iner. Bu özellikle bilimsel bilginin küratörlüğünü yapmak ve düzenlemek için kullanışlıdır. Makine öğrenimi, Robot Reviewer gibi araçlarda tıbbi kanıtların sentezini ve analizini desteklemek için de kullanılmıştır. Scholarcy’deki makalelerdeki iddiaları karşılaştıran ve karşılaştıran özetler, literatür incelemelerinin yapılmasına yardımcı olur.
Tüm bu araçlar, bilim insanlarının işlerini daha etkili bir şekilde yapmalarına yardımcı olmayı amaçlamaktadır, onların yerini almayı değil.
Yapay zeka araştırmaları mevcut sorunları kötüleştirebilir!
Sakana AI, insan bilim insanlarının rolünün azalacağını düşünmediğini belirtse de, şirketin “tamamen YZ güdümlü bir bilimsel ekosistem” vizyonunun bilim için önemli etkileri olacaktır.
Endişelerden biri, YZ tarafından üretilen makalelerin bilimsel literatürü doldurması halinde, gelecekteki YZ sistemlerinin YZ çıktısı üzerinde eğitilebileceği ve model çöküşüne uğrayabileceğidir. Bu da inovasyon yapma konusunda giderek daha etkisiz hale gelebilecekleri anlamına geliyor. Bununla birlikte, bilim üzerindeki etkileri, YZ bilim sistemlerinin kendileri üzerindeki etkilerin çok ötesine geçmektedir. Sahte makaleler üreten “kağıt fabrikaları” da dahil olmak üzere bilimde zaten kötü aktörler var. Bu sorun, bilimsel bir makalenin 15 ABD doları ve belirsiz bir başlangıç istemiyle üretilebildiği zaman daha da kötüleşecektir.
Otomatik olarak üretilen bir yığın araştırmadaki hataları kontrol etme ihtiyacı, gerçek bilim insanlarının kapasitesini hızla aşabilir. Hakem değerlendirme sistemi tartışmalı bir şekilde zaten bozuktur ve sisteme kalitesi tartışmalı daha fazla araştırma sokmak bunu düzeltmeyecektir.
Bilim temelde güven üzerine kuruludur. Bilim insanları, dünyayı (ve şimdi de dünyanın makinelerini) anlamamızın geçerli ve gelişmekte olduğundan emin olabilmemiz için bilimsel sürecin bütünlüğünü vurgularlar. YZ sistemlerinin kilit oyuncular olduğu bilimsel bir ekosistem, bu sürecin anlamı ve değeri ile YZ bilim insanlarına ne düzeyde güvenmemiz gerektiği hakkında temel soruları gündeme getirmektedir.
Peki bu istediğimiz türden bir bilimsel ekosistem mi?
Kaynak
https://www.sciencealert.com/newly-created-ai-scientist-is-about-to-start-churning-out-research son erişim tarihi: 05.09.2024.
