Cześć MailingR, tu Jarek 👋
Ostatnio w necie zrobiło się głośno o pewnym śmiesznym problemie z AI. Chodzi o to, że modele językowe jak nie potrafią… policzyć liter “R” w słowie “Strawberry”. Serio! 😅
Ale czemu tak się dzieje? Przecież to banalne zadanie, nie? Cóż, okazuje się, że dla AI to wcale nie takie proste. I nie, to nie bug - to feature!
Zanim omówwię, o co w tym wszystkim chodzi, zastanówmy się...
Jak my liczymy litery w słowie?
Czy AI “widzi” słowa tak jak my?
Tu kryje się sedno sprawy. AI nie patrzy na słowa tak jak my - litera po literze. Ona ma swój własny, dziwaczny sposób patrzenia na tekst. I to właśnie przez to wpada w takie zabawne pułapki.
Ciekawe, co? No to teraz się zagłębimy w ten temat. Obiecuję, będzie ciekawie!
---
Tokenizacja - klucz do zrozumienia 🔑
No dobra, to teraz wchodzimy w mięsko. Tokenizacja to klucz do zrozumienia, czemu AI gubi się w liczeniu liter.
Wyobraźmy sobie, że AI to taki bibliotekarz. Zamiast układać książki litera po literze, tnie je na kawałki i wrzuca do pudełek. Te kawałki to właśnie "tokeny".
Dla AI słowo "strawberry" to nie s-t-r-a-w-b-e-r-r-y, ale coś w stylu:
- Pudełko 1: "straw"
- Pudełko 2: "berry"
Albo nawet:
- Pudełko 496: "str"
- Pudełko 675: "awberry"
Dziwne, co?
I teraz, gdy pytamy AI "Ile jest 'r' w strawberry?", to ona zaczyna grzebać w tych pudełkach. Ale te pudełka to nie litery, więc... no cóż, mamy problem.
"Ile jabłek jest w szarlotce?", gdy widzimy tylko gotowe ciasto, to odpowiedź nie jest oczywista. Niby proste pytanie, ale bez rozebrania ciasta na czynniki pierwsze - ciężko odpowiedzieć precyzyjnie.
AI nie "widzi" liter tak jak my. Ono operuje na tych swoich dziwnych pudełkach-tokenach. I to właśnie dlatego tak często się myli przy liczeniu liter.
No dobra, ale co dalej? Jak AI próbuje sobie z tym radzić?
Mechanizm przewidywania - AI zgaduje jak może 🔮
Wiemy już, że AI ma problem z liczeniem liter, bo widzi świat przez pryzmat tokenów. Ale jak w takim razie radzi sobie z odpowiadaniem na nasze pytania?
Cóż, AI robi to, co robi najlepiej - zgaduje. Ale nie tak po prostu. To bardziej wyrafinowane zgadywanie.
Kojarzysz pewnie funkcję w telefonie, która podpowiada następne słowo. Tu mamy to samo, tylko że na sterydach.
Gdy pytamy "Ile jest 'r' w strawberry?", AI nie liczy liter. Zamiast tego, próbuje przewidzieć, jaka odpowiedź będzie pasować do tego pytania, bazując na wszystkim, czego się "nauczyła".
Model próbuje dopasować pytanie do znanych mu wzorców i na tej podstawie generuje odpowiedź. Czasem trafia, a czasem... cóż, wychodzą takie kwiatki jak z liczeniem "r" w "strawberry".
Zabawne w tym wszystkim jest to, że AI może bez problemu napisać program do liczenia liter.
Ale samo z siebie? Tu już robi się trudniej.
No dobra, ale czy to znaczy, że AI jest beznadziejna w takich zadaniach? Niekoniecznie!
Ograniczenia czystych modeli językowych - nie wszystko złoto, co się świeci 🤖
No dobra, to teraz będzie trochę mniej zabawnie, ale równie ciekawie. Bo widzicie, te wszystkie wpadki AI z liczeniem liter to nie przypadek. To efekt pewnych fundamentalnych ograniczeń czystych modeli językowych.
Co to znaczy "czysty model językowy"? To taki, który jest szkolony tylko na tekście i generuje tekst. Nie ma żadnych dodatkowych narzędzi, żadnych kalkulatorów, nic. Tylko tekst wejściowy i tekst wyjściowy.
I tu pojawia się problem. Bo takie modele są świetne w naśladowaniu ludzkiego języka, ale
kiepskie w wykonywaniu precyzyjnych operacji matematycznych czy logicznych.
Papuga może nauczyć się mówić "Dwa plus dwa to cztery", ale nie znaczy to, że rozumie matematykę.
Nasze AI jest jak super-zaawansowana papuga. Potrafi generować przekonujące teksty na prawie każdy temat, ale gdy przychodzi do prostych operacji arytmetycznych... cóż, zawodzi.
Ale czemu? Bo nie "rozumie" liczb czy liter w taki sposób, jak my. Dla AI to wszystko to po prostu sekwencje tokenów, które układa w najbardziej prawdopodobny sposób.
I tu dochodzimy do sedna sprawy. AI nie liczy liter w "strawberry". Ono po prostu próbuje zgadnąć, jaka odpowiedź będzie pasować do pytania o liczbę "r" w tym słowie.
Czasem zgaduje dobrze, czasem nie. Ale na pewno nie liczy w tradycyjnym tego słowa znaczeniu.
No dobra, ale czy to oznacza, że jesteśmy skazani na AI, które nie potrafi policzyć do dwóch?
Absolutnie nie! Jest światełko w tunelu.
Możliwe rozwiązania i usprawnienia - AI na sterydach 💪
No dobra, to teraz będzie optymistycznie. Bo choć czyste modele językowe mają swoje ograniczenia, to nie oznacza, że jesteśmy na nie skazani. Istnieją sposoby, żeby naszemu AI dodać trochę mózgu do języka.
Pierwsza opcja? Hybrydowe modele. Do naszego modelu językowego doklejamy mały kalkulator. Teraz, gdy AI napotka pytanie typu "ile jest 'r' w strawberry", może użyć tego kalkulatora do precyzyjnego policzenia.
Druga sprawa to tzw. "few-shot learning". To taki trick, gdzie pokazujemy AI kilka przykładów przed właściwym pytaniem. Na przykład:
"W słowie 'book' jest 1 litera 'o'.
W słowie 'tree' są 2 litery 'e'.
Ile liter 'r' jest w słowie 'strawberry'?"
I nagle - bum! AI radzi sobie znacznie lepiej.
Trzecia opcja to wykorzystanie zewnętrznych narzędzi. Zamiast liczyć samemu, AI może napisać prosty program do liczenia liter i go wykonać.
Jest też czwarta, bardziej futurystyczna opcja - modele, które naprawdę "rozumieją" to, co czytają i piszą. Nad tym pracują teraz najlepsze mózgi w branży AI.
Ale uwaga - to nie znaczy, że jutro nasze AI staną się super-matematykami. To proces. Powolny, ale stały.
---
Nie w temacie, ale mi się przypomniało twierdzenie o lokalnych matematykach:
„Dla każdego matematyka istnieje otoczenie, w którym jest najwybitniejszy”
---
Co to wszystko oznacza dla nas, zwykłych użytkowników? Że AI będzie coraz mądrzejsze, ale nadal będzie miało swoje śmieszne wpadki. Trochę jak my, ludzie - niby inteligentni, a czasem robimy głupie rzeczy.
Wnioski i przyszłość AI - co dalej? 🚀
No dobra, to teraz na koniec zbierzmy to wszystko do kupy.
1. AI ma problem z liczeniem liter, bo widzi tekst inaczej niż my - w formie tokenów.
2. Modele językowe zgadują odpowiedzi, zamiast faktycznie liczyć.
3. To nie bug, to feature - wynik ograniczeń czystych modeli językowych.
4. Istnieją sposoby na poprawę tej sytuacji, ale to proces.
5. Problem z liczeniem to wierzchołek góry lodowej - symptom głębszych
ograniczeń AI.
Co to wszystko oznacza? Że AI jest jednocześnie super-inteligentne i super-głupie. Potrafi pisać wiersze i analizować skomplikowane dane, ale gubi się przy prostym liczeniu liter.
Co nas czeka w przyszłości? Pewnie coraz mądrzejsze AI, które będą radzić sobie z takimi problemami. Ale jednocześnie będą pojawiać się nowe wyzwania i ograniczenia.
Najważniejsze? Zrozumieć, że AI to nie magiczna różdżka. To narzędzie, które wymaga od nas krytycznego myślenia i zdrowego rozsądku.
I może właśnie to jest najcenniejsza lekcja z całej tej historii z liczeniem "r" w "strawberry". Że mimo całej tej sztucznej inteligencji, nadal potrzebujemy tej ludzkiej.
To tyle na dziś. Do następnego razu! 👋 | 
