Sztuczna inteligencja ma poważną słabość. Kiedy nie zna odpowiedzi na zadane pytanie, często zaczyna zmyślać
Urszula Lesman
Chatbot miasta Nowy Jork od samego początku zaczął namawiać ich do łamania prawa i naginania przepisów. Mimo to władze Nowego Jorku odmówiły usunięcia go ze strony miasta. O problemach poinformował serwis technologiczny The Markup, jednak miasto zdecydowało się pozostawić narzędzie na swojej oficjalnej stronie internetowej. Burmistrz Eric Adams bronił tej decyzji, przyznając jednak, że odpowiedzi chatbota były „błędne w niektórych obszarach”.
Uruchomiony w październiku jako „punkt kompleksowej obsługi” dla właścicieli firm, chatbot oferuje użytkownikom generowane algorytmicznie odpowiedzi tekstowe na pytania dotyczące poruszania się w biurokratycznym labiryncie miasta. Miasto ostrzega jednak, że może on „sporadycznie generować nieprawidłowe, szkodliwe lub stronnicze” informacje oraz zastrzega, że jego odpowiedzi nie stanowią porady prawnej.
Szczur niestraszny
Chatbot w dalszym ciągu podaje fałszywe wytyczne, niepokojąc ekspertów, którzy twierdzą, że wadliwy system uwypukla niebezpieczeństwa, jakie stwarzają władze wdrażające systemy oparte na sztucznej inteligencji bez wystarczających barier ochronnych. – Wdrażają oprogramowanie, które działa bez nadzoru, a nie zostało sprawdzone – powiedziała w rozmowie z agencją AP Julia Stoyanovich, profesor informatyki i dyrektor Centrum Odpowiedzialnej Sztucznej Inteligencji na Uniwersytecie Nowojorskim.
W odpowiedzi na pytania zadane przez dziennikarzy agencji chatbot fałszywie sugerował, że pracodawca może zwolnić pracownicę, która skarży się na molestowanie seksualne, nie ujawnia ciąży lub odmawia obcięcia dredów. Wbrew aktualnym przepisom miasta dotyczącym odpadów chatbot stwierdził, że firmy mogą umieszczać swoje śmieci w czarnych workach na śmieci i nie muszą kompostować. Czasami odpowiedzi bota były absurdalne. Zapytany, czy restauracja mogłaby serwować ser nadgryziony przez gryzonia, odpowiedział: „Tak, nadal można podawać klientom ser, jeśli ma ślady zębów szczurów”, po czym dodał, że ważne jest, aby ocenić „zakres wyrządzonych szkód przez szczura” i „informować klientów o sytuacji”.
Rzecznik firmy Microsoft, która obsługuje bota za pośrednictwem usług Azure AI, powiedział, że firma współpracuje z urzędnikami „w celu ulepszenia usługi i zapewnienia, że wyniki są dokładne i oparte na oficjalnej dokumentacji miasta”.
Naukowcy od dawna ostrzegali przed wadami tego rodzaju dużych modeli językowych, które są szkolone na podstawie tekstów pobranych z internetu i mają tendencję do wypluwania odpowiedzi, które są niedokładne i nielogiczne. Jednak sukces ChatGPT i innych chatbotów przyciągnął uwagę opinii publicznej, a prywatne firmy wprowadziły własne produkty, niestety z mieszanymi rezultatami.
Wysyp kłamczuchów
TurboTax i H&R Block – dwie aplikacje do rozliczania podatków w USA – wdrożyły chatboty udzielające porad klientom. Niestety, okazało się, że udzielały złych porad dotyczących przygotowania podatku. Jevin West, profesor na Uniwersytecie Waszyngtońskim i współzałożyciel Center for an Informed Public, powiedział AP, że stawka jest szczególnie wysoka, gdy modele są promowane przez sektor publiczny. – Urzędnicy rządowi muszą rozważyć, jakie szkody mogą wyrządzić, jeśli ktoś zastosuje się do tej rady i wpadnie w kłopoty – dodał.
Eksperci zauważają, że inne miasta korzystające z chatbotów zazwyczaj ograniczają je do udzielania wstępnych porad, ograniczając dezinformację. Ted Ross, dyrektor ds. informacji w Los Angeles, powiedział AP, że miasto dokładnie monitoruje treści wykorzystywane przez chatboty, które nie opierają się na dużych modelach językowych.
Chatboty firmowe mogą być źródłem strat finansowych i wizerunkowych dla firm. Na początku tego miesiąca sąd nakazał Air Canada zwrot pieniędzy klientowi (chodziło o 650 dol.) po tym, jak firmowy bot błędnie przedstawił mu możliwość korzystania ze zniżek na bilety lotnicze podczas rezerwacji lotu na pogrzeb swojej babci. Linia długo upierała się, że mężczyzna mógł znaleźć poprawne informacje na witrynie internetowej.
Chatbot firmy kurierskiej DPD zaszkodził wizerunkowi swojej firmy. Głośno było o jednym z klientów sfrustrowanym brakiem możliwości namierzenia paczki, któremu udało się namówić AI do przeklinania, a potem naśmiewania się z własnej firmy, którą bot nazwał „najgorszą firmą kurierską na świecie”.
Okazuje się, że nawet ChatGPT potrafi zmyślać, kiedy nie jest w stanie znaleźć w swoich zasobach odpowiedzi na pytanie. Badacze z Rangaraya Medical College w Indiach przeprowadzili doświadczenie, które miało na celu sprawdzić precyzję ChatGPT w generowaniu danych i częstotliwość tzw. halucynacji AI. Zadawali pytania, a potem weryfikowali w sieci prawdziwość i dokładność odpowiedzi, a także odniesienia do źródeł. Wyniki eksperymentu zaskakują – spośród 178 przeanalizowanych odpowiedzi ChatGPT aż 69 nie zostały zmyślone przez AI. Okazuje się, że w „chwili niepewności” AI sama wymyśla, czasem zupełnie niestworzone, odpowiedzi.
Skala tego jest zaskakująco wysoka. Nawet jedna czwarta odpowiedzi botów może być „halucynacjami” – wynika z najnowszych badań firmy analitycznej Vectara, która przeanalizowała jak często chatbotom zdarzają się takie fałszerstwa. Okazuje się, że boty wprowadzają użytkowników w błąd w od 3 do 27 proc. przypadków – w zależności od firmy.
Z raportu Vectary wynika, że najmniejszy udział fałszywych odpowiedzi miał system stworzony przez OpenAI – około 3 proc. System AI stworzony przez Meta miał 5 proc. nieprawdziwych odpowiedzi, natomiast chatbot start-upu Anthropic Claude 2 zmyślał w ponad 8 proc. przypadków. Jednak najgorszym albo najlepszym kłamcą okazał się PaLM, opracowany przez Google – tu współczynnik zmyślonych odpowiedzi osiągnął aż 27 proc.
