Dlaczego AI ze skillami sprawdzi się prawie wszędzie, ale nie w optymalizacji kampanii

W tekście czy kodzie błąd AI widać od razu i łatwo go poprawić. W kampanii zła decyzja kosztuje pieniądze, może zrestartować naukę algorytmu i wychodzi na jaw dopiero po tygodniu. To zupełnie inna sytuacja.

Wyobraź sobie poniedziałek. Ktoś eksportuje wyniki z ostatnich siedmiu dni, wkleja je do czatu ze skillem do analizy kampanii i pyta, co poprawić. Czat widzi, że kampania z dobrym ROAS w ostatnich dwóch dniach „siadła”, i radzi obniżyć jej budżet. Tyle że konwersje z ostatnich dwóch dni jeszcze nie doszły, a kampania od pięciu dni jest w fazie nauki. Rada brzmi rozsądnie i jest błędna.

Pięć pułapek danych reklamowych

Każdą z nich opisuje oficjalna dokumentacja platform i dostawców modeli. Czat analizujący eksport nie widzi żadnej, jeśli nikt mu o niej nie powie.

Każda z tych pułapek osobno może zmylić analizę. Razem sprawiają, że jednorazowa analiza eksportu łatwo dostrzega problem tam, gdzie go nie ma, albo przeoczy ten, który istnieje.

Jak decyzje podejmują inne narzędzia

Każde z tych podejść ma swoje miejsce. Wspólne ograniczenie jest jedno: decyzja zależy od jednej osoby, jednej platformy albo jednego wywołania modelu.

Jak decyduje Phanes

Phanes nie zaczyna od pytania do modelu. Zaczyna od danych zebranych w czasie i od wiedzy zapisanej w regułach. Model językowy dostaje gotowe liczby i tylko je opisuje.

1. 1

   Historia konta

   Co noc Phanes zapisuje dzienne metryki kont, więc silnik widzi trend, a nie jeden eksport.

2. 2

   Werdykt pomiaru

   Google Ads, GTM, GA4 i piksel Meta. Brak danych to nie werdykt, a podejrzany pomiar blokuje rekomendacje oparte na konwersjach.

3. 3

   315 reguł eksperckich

   Reguły z praktyki ekspertów paid ads i dokumentacji Google i Meta, każda z warunkiem, progiem i uzasadnieniem.

4. 4

   Bramka fazy nauki

   Kampania w fazie nauki nie dostaje zmian budżetu ani zmian ograniczających. Okno nauki: 10 dni w Google, 10 lub 14 dni w Meta.

5. 5

   Hipoteza z przewidywanym efektem

   Do każdej propozycji i każdej zmiany wykonanej na koncie przez ludzi Phanes zapisuje prognozę: która metryka, w którą stronę i w jakim czasie.

6. 6

   Rozliczenie z rzeczywistością

   Po 7, 14 albo 28 dniach, zależnie od typu zmiany, silnik mierzy wynik z kontrolą wolumenu i trendu konta. Potwierdzenia i porażki ważą tak samo.

7. 7

   Wiedza z wielu kont

   Wnioski tylko z co najmniej 3 kont, w których żadne nie ma więcej niż 40% udziału. Zanonimizowane, bez kwot i treści.

Uczenie na danych, a nie na promptach

Phanes uczy się tak, jak uczy się dobry specjalista: zapisuje, czego się spodziewa, a potem sprawdza, co się stało. Każda reguła ma pewność liczoną bayesowsko z rozliczonych prób. Reguła, która się sprawdza, zyskuje pierwszeństwo. Reguła, która się myli, traci je aż do wyłączenia. Silnik kalibruje się też osobno dla każdego konta i typu zmiany: tam, gdzie trafia, działa śmielej, a tam, gdzie się myli, zwalnia.

Wiedza rośnie z każdym kontem, a prywatność zostaje nienaruszona. Wnioski z wielu kont powstają tylko z co najmniej 3 kont, żadne nie ma w nich więcej niż 40% udziału, a przenoszą się wyłącznie wskaźniki względne, bez kwot i treści. Zanim rekomendacja trafi na kartę, silnik szacuje prawdopodobieństwo poprawy skalibrowane na historii podobnych sytuacji z wielu kont. Wiedza z danych nigdy nie zachęca automatu do śmielszych działań bez dowodu z konta, którego pieniądze są w grze.

Aether: model językowy, który zna tylko reklamy

To nie jest tekst przeciwko AI. Phanes ma własny model językowy, Aether, zbudowany do jednej pracy: mówić o kampaniach dokładnie tym, co policzył silnik. Nie jest wszechwiedzący i nie musi być. Jest wąski, dwujęzyczny (polski i angielski) i podporządkowany regułom Phanesa.

Najważniejsze jest to, czego Aether nie robi. Nie podejmuje decyzji o koncie i nigdy nie wykonuje zmian. Nie trzyma faktów w wagach: wiedzę o reklamach dostaje z bazy wiedzy Phanesa w chwili pytania, więc jej aktualizacja nie wymaga ponownego treningu. Uczy się formy, dyscypliny i stylu, a nie zgadywania liczb.

1. 1

   Dane bez nazw

   Do treningu trafiają opisy werdyktów, decyzje użytkowników i etykiety ekspertów po anonimizacji: bez nazw firm, osób, adresów i identyfikatorów kont.

2. 2

   Nauka formatu

   Lekkie dostrojenie uczy model struktury odpowiedzi, schematów danych i języka panelu.

3. 3

   Uczenie ze sprawdzalną nagrodą

   Model generuje wiele odpowiedzi na to samo zadanie, a automatyczne weryfikatory nagradzają tylko te, w których każda liczba pochodzi z danych, schemat się zgadza, a język jest czysty.

4. 4

   Bramka wydania

   Nowa wersja wchodzi do produktu tylko wtedy, gdy bije poprzednią na zamrożonym zbiorze testowym i nie pogarsza żadnej kategorii zadań.

Jak zbudowany jest Aether

Aether nie jest jednym wielkim modelem, który wie wszystko. To mały zespół wyspecjalizowanych elementów, z których każdy ma jedno zadanie i własny sposób sprawdzania jakości. Cały cykl, od treningu po odpowiedzi w produkcie, działa na własnej infrastrukturze obliczeniowej Phanesa: dane klientów nie opuszczają naszych serwerów i nie trafiają do zewnętrznych dostawców modeli.

Nagrody, za które uczy się Aether

W uczeniu ze wzmocnieniem wszystko zależy od tego, co model dostaje za dobrą odpowiedź. W modelu Aether każda nagroda jest sprawdzana mechanicznie, bez oceniania „na oko”:

• Liczby z danych: każda liczba w odpowiedzi występuje w danych wejściowych, w tej samej walucie. Za każdą obcą liczbę jest kara.
• Schemat: odpowiedź przechodzi walidację struktury JSON.
• Język: cała odpowiedź w języku panelu, bez mieszania polskiego z angielskim.
• Uczciwość: zero obietnic wykonania, których silnik nie daje, zero nazw źródeł wiedzy, poprawne etykiety zgodne z ekspertem i cytat reguły, która istnieje.
• Zwięzłość: kara za gadatliwość. Zadania do treningu wybieramy w strefie trudności modelu (20-80% poprawnych odpowiedzi bazy), bo zadania za łatwe nie dają sygnału do nauki.

Czego nauczyło nas laboratorium

Najważniejsza lekcja: weryfikator jest ważniejszy niż model. Jeden błąd w ekstraktorze odpowiedzi zaniżał wyniki o ponad punkt procentowy i fałszował porównania, więc każdy weryfikator Phanesa ma własne testy.

AI ze skillami to świetny asystent. Decyzję o pieniądzach w kampanii powinien jednak podejmować system, który pamięta historię konta, zna fazę nauki, ufa tylko zweryfikowanemu pomiarowi i przy tych samych danych zawsze odpowiada tak samo.