Jarosław Michalikmoje top 3 technik prompt engineeringu | NDL

07:09 19.08.2024·1 min read

Cześć MailingR, tu Jarek 👋 

Prompt engineering to trochę jak tłumaczenie komuś bardzo opornemu, co dokładnie ma zrobić. Jeśli nie wyjaśnisz wszystkiego precyzyjnie, wynik może być daleki od oczekiwań. 

W końcu to TWOJA odpowiedzialność, jaką odpowiedź uzyskasz od AI.

Aby lepiej zrozumieć, jak to działa, warto wiedzieć, że modele językowe pod spodem działają na zasadzie przewidywania kolejnego tokena - czyli słowa, sylaby, czy nawet znaku. 

AI zgaduje, co powinno nastąpić dalej, bazując na tym, co już zostało powiedziane.

Na przykład: jeśli podasz frazę "Słońce świeci, a niebo jest...", model może przewidzieć, że kolejnym tokenem będzie "niebieskie". Ale jeśli zmienisz wiadomość na "Po burzy niebo jest...", przewidywanie może zmienić się na "czyste".

To właśnie dlatego tak ważne jest, abyś dokładnie określił, czego oczekujesz. W przeciwnym razie AI może zgadywać w sposób, który Cię zaskoczy - i niekoniecznie pozytywnie.

Skoro już wiesz, że odpowiedzialność za wynik leży po Twojej stronie, czas przyjrzeć się, jak możesz to osiągnąć. Pierwszym krokiem jest ustawienie kontekstu, czyli określenie, kim AI ma być podczas udzielania odpowiedzi. Dzięki temu AI lepiej zrozumie, jakiego rodzaju odpowiedzi od niej oczekujesz.


Act as

Czy kiedykolwiek otrzymałeś od AI odpowiedź, która brzmiała zbyt ogólnie lub nie na temat? Założę się, że tak.

Jednocześnie nie spodziewasz się, ze przypadkowa osoba z ulicy odpowie Ci na proste pytanie - „jak dojdę na dworzec główny” od razu w taki sposób jak oczekujesz.

To jaką odpowiedź otrzymasz zależy od tego jak zadajesz pytanie... i kogo pytasz.

Podstawą skutecznego prompt engineeringu jest ustawianie persona context!

Zamiast jedynie mówić AI, co ma robić, powiedz, kim ma być. W dużym uproszczeniu możemy przyjąć, że LLM zgaduje jaki będzie kolejny token (słowo, sylaba), więc gdy określasz personę, Model będzie przewidywać, co powiedziałaby dana osoba.

Prosisz AI o napisanie wiersza. Efekt? Suchy, bezbarwny tekst bez duszy.

Zmieniasz podejście. Mówisz AI: "Jesteś Adamem Mickiewiczem, tworzysz nowy poemat o naturze."

I dzieje się magia! AI wciela się w rolę najbardziej znanego grafomana polskiego romantyzmu i tworzy płytki, bez emocji, za to podobający się krytykom.

I to jest w miarę prosta sprawa. Ale co zrobić, gdy nawet z dobrze ustawioną personą, AI potrzebuje pomocy w uporządkowaniu swoich myśli? To tutaj wchodzi w grę kolejna technika.

Scratchpad

Każdy z nas zna to uczucie, gdy siadamy do pisania i nagle... pustka. Myśli plączą się, a słowa nie chcą się układać.

No i sztuczna inteligencja boryka się z podobnym problemem. Bez odpowiedniej struktury, jej odpowiedzi mogą być chaotyczne i niejasne.

Tak jak ty rozpisujesz swoje pomysły na brudno, tak model językowy może zrobić to samo. Scratchpad - to cyfrowy brudnopis, gdzie AI organizuje myśli przed udzieleniem finalnej odpowiedzi.

Napisz coś ołówkiem, zanim napiszesz długopisem :)


1. W swoim prompcie poproś AI o użycie scratchpada przed sformułowaniem finalnej odpowiedzi.

2. Użyj znaczników: zastosuj tagi XML scratchpad do oznaczenia sekcji, gdzie AI ma rozpisać swoje myśli.

3. Poproś o plan - zachęć AI do stworzenia planu lub zarysu odpowiedzi w scratchpadzie.

4. Przejrzyj i popraw – Sprawdź zawartość scratchpada i w razie potrzeby poproś o poprawki.

5. Finalna odpowiedź: Poleć AI, aby na podstawie zatwierdzonego scratchpada stworzyło ostateczną, uporządkowaną odpowiedź.

Kiedy AI ma już uporządkowane myśli, warto pójść o krok dalej. Co jeśli AI mogłoby nie tylko uporządkować swoje myśli, ale także pokazać cały proces myślowy, krok po kroku? Tutaj wkracza Chain of Thought.




Chain of thought

Pamiętasz ze szkoły, jak nauczyciel prosił: "Pokaż obliczenia"? To właśnie istota Chain of Thought!

Zamiast tylko końcowego wyniku, widzimy cały proces myślowy.

Dlaczego to ważne? Bo AI, podobnie jak człowiek, może popełniać błędy w rozumowaniu. CoT pozwala te błędy łatwo wychwycić i poprawić.

Jak to działa?

1. Poproś AI o wyjaśnienie każdego kroku rozumowania.
2. Użyj frazy "Pomyśl o tym krok po kroku" w swoim prompcie.
3. Zachęć AI do "myślenia na głos" - niech zapisuje swoje przemyślenia.

Efekt? AI nie tylko odpowiada, ale pokazuje, jak doszło do odpowiedzi. 

CoT sprawdza się świetnie w zadaniach matematycznych, logicznych, ale też przy analizie tekstu czy planowaniu.

Przykład

Załóżmy, że prosisz AI o rozwiązanie problemu: “Jeśli x = 5, a y = 3, oblicz wartość wyrażenia 2x + 3y.”

Zamiast podać od razu wynik, AI zaczyna od obliczenia każdego składnika: “Najpierw obliczmy 2x: 2 razy 5 daje 10. Teraz obliczmy 3y: 3 razy 3 daje 9. Teraz dodajmy te wyniki: 10 + 9 = 19.”

Dzięki temu widzisz każdy etap rozumowania, co pozwala na łatwe wychwycenie ewentualnych błędów.

A teraz MEGA przykład

Już na Instagramie wspominałem, że buduje aplikację pomagającą Twórcom Treści ponownie wykorzystywać content. Jedną z najczęstszych próśb od beta testerów systemu jest wprowadzenie generowania skryptów do wideo.

Generycznych generatorów skryptów jest sporo. Mój generator musi być kozacki. Poniżej znajdziesz prompta wykorzystującego kilka technik.

To teraz po kolei.

```

<topic></topic>

<core_idea></core_idea>

<template_type></template_type>

<target-language></target-language>

```

To są zmienne, które użytkownik wrzuca do systemu. Nastepnie mamy

```

1. Identify the template type provided in the input. You will use one of the following templates: (...)

2. Based on the template type, use the corresponding structure to craft your script. Incorporate the given topic and core idea into the template.

```

Czyli dokładna instrukcja, że ma użyć konkretnego szablonu skryptu wideo i wykorzystać strukturę z danego szablonu.

```

3. Keep the following guidelines in mind while creating your script:

```

To jest zamiast „Act as”. Możemy tutaj dać oczywiście „act as viral video creator”, zdecydowałem jednak określić reguły gry w bardziej precyzyjny sposób. Więcej kontroli.

```

(4 - 9) [przykłady szablonów].

```

Tu bez większej filozofii. Podaje przykłady jak ma wyglądać skrypt.

```

10. Using selected template create draft script in <draft> tags, review it to ensure it aligns with the core idea and effectively communicates the main points of the topic.

```

Tutaj instruujemy model, żeby przygotował pierwszą wersję skryptu...

I ją ocenił:

```

11. Explain your reasoning and thought process in <scratchpad> tags. Include:

```

To pewna wariacja na temat chain of thought.

```

12. Review draft script and explain which elements will be improved for simplicity and engagment. Review it to ensure it aligns with the core idea and effectively communicates the main points of the topic.

```

I na sam koniec model przygotowuje poprawioną wersję (poprawioną przez siebie) i wrzuca je w tagi <reel_script>

```

Present your final reel script within <reel_script> tags. Do not include any explanation or commentary outside of these tags.

```

To się przydaje, bo w mojej aplikacji użytkownik widzi jedynie output, nie cały proces myślowy. Dzięki temu, że to jest w konkretnych tagach, mogę szybko (programistycznie) wyciągnąć to, co wyświetlimy na UI aplikacji.

Jak widzisz, stworzenie naprawdę kozackiego generatora skryptów wymaga precyzyjnego zaplanowania każdego kroku. 

W moim przykładzie połączyłem kilka technik, aby uzyskać maksymalną kontrolę nad tym, co AI generuje. 

Od precyzyjnych instrukcji, przez użycie szablonów, aż po iteracyjne poprawianie skryptu – wszystko to składa się na końcowy efekt, który ma być nie tylko poprawny, ale też angażujący i dostosowany do potrzeb użytkownika.

Zachęcam Cię do eksperymentowania z podobnym podejściem w swoich projektach – im lepiej zrozumiesz, jak prowadzić AI, tym lepsze wyniki uzyskasz.

---

Prompt engineering to sztuka precyzyjnego prowadzenia AI, ale nie ma jednej uniwersalnej metody. Kluczem jest eksperymentowanie z różnymi technikami, aby znaleźć to, co działa najlepiej dla danego zadania.

Osobiście polecam eksperymenty ze scratchpadem – to narzędzie działa świetnie wśród ludzi i maszyn :)

Pamiętaj, że AI odpowiada tak, jak ją poprowadzisz. Więc śmiało – testuj, kombinuj i odkrywaj nowe sposoby na wyciągnięcie z AI tego, co najlepsze!

Pozdrawiam, Jarek

PS: Jeśli masz jakiekolwiek pytania, przemyślenia - wal do mnie śmiało. Jestem po drugiej stronie i odpisuję na maile.

• Archiwum Nowoczesnego DevLettera