Nie, Pangram nie jest złym narzędziem

O kontrowersjach wokół AI i nagród literackich

10 minut

Nie, Pangram nie jest złym narzędziem

O kontrowersjach wokół AI i nagród literackich

/

/

10 minut

Sztuczna inteligencja wywołała kryzys w świecie literatury pięknej. Sprawy zaczęły toczyć się tak złym torem, że opublikowany niedawno w „The Atlantic” artykuł na temat prozy zimbabweńskiego pisarza Simbarashego Kundizezy, która wygrała brytyjską Caine Prize – nagrodę pieniężną w wysokości dziesięciu tysięcy funtów – zatytułowany został Jeszcze kolejna nagrodzona proza wygląda na napisaną przez AI.

Dlaczego „jeszcze kolejna”? Otóż w zeszłym miesiącu powieść kanadyjsko-haitańskiego twórcy Thelysona Oreliena, C’était ça ou mourir (pol. Albo to, albo śmierć), została wycofana z nominacji do Nagrody Goncourtów – odpowiednika polskiej Nike lub Gdyni – po tym, jak Pangram, znany wykrywacz AI, zasugerował, że może być ona w niemal 100% napisana przez model językowy.

Do kolekcji uzasadniającej użycie słów „jeszcze kolejna” można też dołożyć przypadek opowiadania nagrodzonego w Commonwealth Short Story Prize i opublikowanego w magazynie „Granta”, The Serpent in the Grove (pol. Wąż w gaju) – tu również Pangram zasugerował autorstwo sztucznej inteligencji.

Być może zastanawiacie się: 1. czym w zasadzie jest Pangram?; 2. w jaki sposób wykrywa, że dany tekst nie jest dziełem człowieka?; oraz 3. na ile usługa ta jest rzetelna?

Firma Pangram Labs została założona zaledwie trzy lata temu, ale od tego czasu zdobyła sławę jako producent najlepszego wykrywacza tekstów wytworzonych przez LLM-y (ang. Large Language Models) takie jak Claude, Gemini czy ChatGPT.

O ile w przypadku obrazów czy materiałów wideo kwestię tę daje się na ogół rozstrzygnąć uważnymi oględzinami, o tyle w przypadku wytworów pisemnych osąd ten bywa trudniejszy i budzi wiele kontrowersji – jak się przekonamy, niekoniecznie słusznie. Otóż do oceny, czy tekst napisała sieć neuronalna, potrzeba innej, wyspecjalizowanej sieci.

Tym, co odróżnia Pangram od podobnych detektorów, jest przede wszystkim metoda działania. Większość usług wykrywających tego typu, z jakimi mogliśmy się spotkać w pierwszych latach po upublicznieniu ChataGPT, szkoliła swoje sieci na dwóch zasobach tekstów – zasób A (wygenerowany przez modele językowe) oraz zasób B (napisany przez ludzi). Programy takie zaczęły cieszyć się złą sławą i opiniami o niskiej rzetelności, zwłaszcza po przypadkach niesłusznych oskarżeń. Do teraz po Internecie krążą opowieści o detektorach wskazujących, że AI napisała m.in. fragmenty Biblii.

Chyba każdy potrafi utożsamić się ze strachem, że owoc naszej ciężkiej pracy przedstawiony zostanie jako rezultat pójścia na łatwiznę, a my nie będziemy w stanie odnieść się do stawianych nam zarzutów, bo wysuwane będą przez sekretny algorytm, zdolny formułować oskarżenia, ale już nie stojące za nimi argumenty. Nawet niewielka liczba tzw. false positives (fałszywych alarmów) czyni podobne wykrywacze nie tylko bezużytecznymi, ale wręcz groźnymi.

Pangram stosuje zbliżoną, lecz fundamentalnie inną metodę od starszych detektorów. Zamiast trenować swoją sieć wykrywającą na dwóch niezależnych zasobach tekstów, Pangram Labs najpierw wykorzystuje model językowy do streszczenia materiału napisanego przez człowieka, a następnie powierza owo streszczenie kolejnemu modelowi, który na podstawie opisu jak najwierniej odtwarza określoną prozę. Później tekst sztucznej inteligencji zestawiany jest z tekstem człowieka i Pangram szkoli się na różnicach pomiędzy tymi utworami.

Finalnym produktem całego tego zawiłego procesu jest software podkreślający akapity i pokazujący procentową szansę, że wypluła je AI. Co więcej, Pangram potrafi zasugerować, jaki konkretny model stoi za tekstem, a nawet rzekomo rozpoznać, czy materiał poddano próbie „uczłowieczenia” (przepisania przez AI na ludzką modłę).

Oczywiście utwór nie musi być w całości dziełem AI, żeby AI odegrała w jego tworzeniu sporą rolę. Wydaje się jednak, że istnieje zasadnicza różnica między zupełnym wytworem modelu językowego a tekstem, w którym model językowy wprowadził jedynie drobne zmiany – w wielu krajach jest to wręcz różnica decydująca o przysługujących autorowi prawach.

(Pangram nie oceni też, czy utwór został napisany przez człowieka, ale obmyślony przez model językowy. Takie przypadki wydają mi się rzadsze niż sytuacja odwrotna, bo kto chciałby odwalać całą żmudną robotę, a powierzać komuś innemu – zdaniem wielu – najprzyjemniejszą część pisania?)

Wszystkie trzy dzieła literackie, które wymieniłem na początku, łączy, oprócz oskarżeń, jedna ciekawa kwestia. Otóż żaden z ich autorów nie jest biały. Orelien i Kundizeza są czarni, natomiast Jamir Nazir – autor Węża w gaju – jest Trynidadczykiem o indyjskich korzeniach.

Sprawa Oreliena wywołała szczególne kontrowersje ze względu na kolonialną historię Francji oraz to, że książka opowiada o haitańskich migrantach. Sugerowano w związku z tym, że Pangram – szkolony zapewne w większości na wytworach białych pisarzy z Europy i Ameryki – może być niedostosowany do unikatowych „rytmów”, sposobów mówienia i wrażliwości twórców niebiałych.

Im bardziej negatywna jest Wasza opinia na temat sztucznej inteligencji, tym bardziej przekonujące może Wam się wydać to wytłumaczenie – najpopularniejsze modele AI to w końcu produkty Amerykanów, narodu w którym kolonialna i rasistowska przeszłość (wcale nie tak odległa) wciąż bardzo silnie wpływa na obecną politykę.

Ledwie parę lat temu funkcja Google Photos mająca wykrywać, jakie zwierzę znajduje się na danym zdjęciu, identyfikowała czarnych Amerykanów jako goryle. Czy możliwe, że również Pangram odzwierciedla strukturalne, głęboko zakorzenione nierówności?

Chociaż nie sposób tego wykluczyć, nie ma na to jak dotąd żadnych zasadniczych dowodów. Zainteresowany sprawą Oreliena zerknąłem nawet, co pisze o wszystkim „Le Monde”. Dziennik ten przeprowadził rozmowę z szefem Pangramu, który stwierdza, że nigdy nie widział całej książki, dla której jego program tak konsekwentnie potwierdzałby użycie AI. Jest to tym bardziej szokujące, że powieść zdobyła we Francji rozgłos i uznanie, a prawa do jej publikacji w Polsce wykupiło prestiżowe wydawnictwo Karakter.

We wpisie na Instagramie dotyczącym powieści Oreliena Karakter słusznie zwrócił uwagę, że pierwsze zarzuty przeciw książce wysunięte zostały przez anonimowe konto na Twitterze, połączone później z francuską prawicą. Ale czy ma to jakieś znaczenie, skoro opublikowany przez owo konto wynik badania Pangramem jest prawdziwy?

Nie znam oczywiście języka francuskiego i ponieważ jury Nagrody Goncourtów wycofało Albo to, albo śmierć z listy finalistów (m.in. ze względu na plagiat popełniony przez Oreliena w przeszłości), wydaje się mało prawdopodobne, by Karakter wydał tę powieść po polsku. Szczerze mówiąc, trochę szkoda; naprawdę ciekawi mnie, czy jej „technosygnatury” są faktycznie aż tak trudne do wyłapania gołym okiem, a sama treść tak wysokiej jakości, jak zapewniali francuscy krytycy.

Znam jednak angielski i w związku z tym przeczytałem opowiadanie Simbarashego Kundizezy w nadziei, że Pangram – jak zapewnia autor – myli się co do jego tekstu, a wszystko to rzeczywiście tylko nagonka, do której dorzucili ognia niefrasobliwi dziennikarze „The Atlantic”. Tymczasem w nagrodzonym Caine Prize opowiadaniu The Blue Fighter (Błękitny bojownik) znajdziemy fragmenty jak ten:

Błękitny bojownik wystrzelił w górę, zaciekły i pełen gracji, pochłaniając każdą drobinę z naglącą precyzją.

Siedzieliśmy przez chwilę w milczeniu, patrząc, jak się porusza. Niespokojny, piękny. Samotny.

„Jest silny”, powiedziałem.

Ojciec skinął głową.

„To, że jest silny, nie znaczy, że jest szczęśliwy. Ale żyje. To już coś”.

Co ciekawe, na żadnej z siedmiu stron dzieła nie znajdziemy też ani jednego myślnika – ani półpauzy (ang. en-dash), ani niesławnej już pełnej pauzy (ang. em-dash). Wszystkie akapity są bardzo podobnej długości, a zdania są krótkie i pełne oklepanych sentencji: „Twój ojciec zawsze dużo śnił. Problemem nie są sny, ale to, że czasem zapominamy się przebudzić”.

Zdarzają się tam również nienaturalne powtórzenia, o których trudno pomyśleć, że mógł popełnić je jakiś trzeźwy pisarz – przypuszczalnie są efektem kilkukrotnego przepisywania jakiegoś tekstu przez AI metodą kopiuj-wklej:

„Inwestycje?” Głos matki się podniósł. „Spójrz na nas! Spójrz na swojego syna! Jemy sadzę i warzywa, a te ryby jedzą importowane płatki, które kosztują więcej niż nasze cotygodniowe zakupy!” Jej głos nagle się podniósł, aż się wzdrygnąłem.

Jest to dość załamujące z kilku różnych przyczyn. Przede wszystkim nie potrzeba Pangramu do rozpoznania, że opowiadanie napisał model językowy – widać to już na pierwszy rzut nawet niedoświadczonego oka. To jawna kompromitacja jury, które wyróżniło Błękitnego bojownika w czymkolwiek poza skandalicznym lenistwem twórcy.

Niekompetentni jurorzy w konkursie literackim (także znanym czy sowicie nagradzającym) to jednak żadna nowość. Mnie osobiście znacznie bardziej szokuje zarzekanie się autora, że Błękitny bojownik wyszedł spod jego ręki. Być może, podobnie jak Orelien, liczy on, że po wytworach pisemnych po prostu nie można rozpoznać, czy wypluł je czatbot – a przynajmniej nie bez zdawania się na czarne pudełko techno-ziomków z Kalifornii lub Nowego Jorku (które w dodatku samo wykorzystuje AI do wydawania swoich tajemnych osądów).

Jako osoba regularnie nadwyrężająca sobie nadgarstki od pisania na klawiaturze komputera nie kupuję takiej argumentacji. Zrozumiałe, że przytacza się tu dla porównania niedawną sprawę samobójstwa Jasona Ardaya, ale niezależnie od koloru skóry autora, kolonialnej przeszłości kraju, z którego się wywodzi, czy brytyjskiego rasizmu – pismo jako forma wyrazu ma swoje misterium, ma swoją aparycję i ma swoją logikę. W Błękitnym bojowniku wszystkie one są ewidentnie nieobecne.

Podobnie jak przeciętna osoba może widzieć po nienaturalnej gładkości jakiegoś udostępnianego w Internecie obrazka, że wytworzyły go ChatGPT albo Nano Banana, osoba zapoznana z prozą pisaną przez AI może poznać w tym opowiadaniu pióro modelu językowego. Zastanawia mnie, czemu o filmikach zasypujących media społecznościowe nie krępujemy się mówić „widać, że to AI”, ale wobec literatury oczekujemy niezbitych, wręcz niemożliwych do uzyskania dowodów.

Egoistyczne i nieodpowiedzialne zachowanie Kundizezy jest moim zdaniem nawet bardziej niebezpieczne niż krzywda, jaką każdego dnia wyrządzają literaturze pięknej Anthropic czy OpenAI, ponieważ jawnie instrumentalizuje ono solidarność i empatię ludzi nie dość kompetentnych, by poznać to, co osobie zapoznanej ze stylem LLM-ów powinno wydawać się oczywiste.

Wykorzystanie AI do skomponowania choćby kilku akapitów utworu, pod którym podpisujemy się jako wyłączni autorzy, to ewidentny plagiat. Niezależnie od tego, co mówi lub uważa się o Pangramie, we wszystkich opisanych tutaj przypadkach ujawnił on niekomfortową prawdę: że ludzi chętnych przypisywać sobie cudze zasługi nie brakuje, także wśród grup nieuprzywilejowanych.

Niezaprzeczalne wydaje mi się też, że AI napisała Węża w gaju. W wywiadzie udzielonym niedługo po wybuchu wywołanej tym tekstem kontrowersji, jego autor wykazał się na przykład kompletną nieznajomością prac noblisty Dereka Walcotta – rzekomo swojej wielkiej literackiej inspiracji. Nie tylko nie potrafił nazwać ani jednego dzieła tego poety i dramaturga, ale wręcz nazywał je „opowieściami” (przypuszczalnie sądząc, że Walcott był prozaikiem).

Nie będę przebierał w słowach. Jeżeli literatura jakimś cudem przetrwa wiek XXI jako forma wyrazu, nie uda się to dzięki żadnemu programowi komputerowemu, ale dzięki postawie, którą względem niej przyjmiemy. Taką postawą z pewnością nie będzie bezwarunkowa ufność do każdego nowego wynalazku – nie będzie nią też jednak ufność względem każdego, kto zapewnia, że Pangram po prostu nie umie uchwycić peryferyjnych subtelności prozy osób niebiałych.

Ocenianie rzetelności Pangramu to kwestia, o której jako czytelnicy pewnie się jeszcze sporo nasłuchamy – jest ona niemal nieskończenie złożona, bo rozciągnięta między epoki, języki, gatunki, slangi i dialekty, nie mówiąc już o tysiącach modeli AI (coraz nowszych i sprawniejszych), jakie wypuszcza się co miesiąc w chłonny Internet.

Miejmy nadzieję, że sprawę ułatwią nieco regulacje Unii Europejskiej, które skłoniły Anthropic oraz OpenAI do korzystania z narzędzi takich jak SynthID – wkomponowują ono łatwo wyłapywalne technosygnatury do tekstu pisanego przez AI, nie obniżając przy tym jego jakości.

W swoim artykule dla „London Review of Books” Malin Hay dobrze podsumowała, dlaczego fascynaci literatury – na ogół sceptyczni wobec Doliny Krzemowej – są w erze AI szczególnie narażeni na oszustwa. „Myślałam, że niekorzystanie z ChataGPT czyni mnie mądrzejszą. Okazuje się jednak, że przez to bardzo słabo rozpoznaję, kiedy AI napisała określony tekst”.

Właśnie dzięki przypadkom takim jak powyższe Pangram zyskał moje zaufanie – nie spotkałem się też dotychczas z żadnym powodem, by kwestionować dobre intencje jego producentów. Twierdzą choćby, że przykładają szczególną wagę do minimalizowania liczby false positives (rzekomo 1 na 10 tysięcy) oraz wskazują formy – takie jak poezja – wobec których ich detektor jest najmniej skuteczny.

Narracja o niegodziwych startupach z USA, których wadliwy produkt uderza w marginalizowane społeczności, jest bardzo przekonująca, ale to również czyni ją niebezpieczną – do emocjonujących narracji najlepiej (a zarazem najtrudniej) podchodzić z dystansem.