Od personalizacije do manipulacije: kje mora marketing potegniti mejo?

Toda hitreje ko tehnologija prevzema naloge, pomembnejša postajajo vprašanja odgovornosti, transparentnosti in meja, ki jih ne bi smeli prepustiti algoritmu.

Polona Pičman Štefančič je članica strokovnega sveta Zavoda AI-D, ki bo med 3. in 5. novembrom ena od govork na AI WEEK-u, tridnevnem festivalu umetne inteligence. Kot opozarja, je UI v slovenskih podjetjih pogosto prišla hitreje kot organizacijska zrelost: tehnologijo uporablja že 22 podjetij z najmanj desetimi zaposlenimi, medtem ko ima formalno upravljanje UI vzpostavljeno le 9,4 organizacije. Z njo smo spregovorili o tem, kdaj personalizacija postane manipulacija, morajo kaj blagovne znamke vedeti o označevanju vsebin, ustvarjenih z UI, kdo je odgovoren za napake umetne inteligence in kaj se zgodi z marketingom, ko med znamko in človekom stopi UI-agent. Njeno ključno sporočilo je precej jasno: podjetje ni »UI-ready« takrat, ko uporablja največ orodij, temveč takrat, ko ve, kje UI ustvarja vrednost, kje so njene meje in kdo skrbi, da jih organizacija ne prestopi.

V marketingu vlada logika »hitreje, več, ceneje«: več vsebin, več oglasov, več personalizacije, vse z UI. Vi pa opozarjate, da podjetje UI pogosto uvajajo prehitro. Kje je meja med pametnim eksperimentiranjem in nepremišljeno uporabo?

Ne le v marketingu, tudi drugod je skušnjava razumljiva. UI lahko v nekaj minutah pripravi več različic oglasa, segmentira občine, predlaga naslov, ustvari vizualno podobo in optimizira objavo. Za področje, ki živi od hitrosti in občutek za trenutek, je to izjemno privlačno.

A prav tu preži past. UI v Sloveniji ni več eksotike: po podatkih SURS-a jo uporablja že 22 % podjetij z najmanj desetimi zaposlenimi, med velikimi podjetji pa celo 72 %. Obenem je raziskava KCUI pokazala, da 54,3 % organizacij UI še vedno uporablja ad hoc , formalno upravljanje pa ima vzpostavljeno le 9,4 % organizacij. Tehnologija je torej marsikje prišla hitreje kot organizacijska zrelost.

Ne gre torej toliko za (pre)hitro kot predvsem za nedomišljeno uvajanje. Raziskave kažejo tri problematične sklope. Prvič, podjetje prihrankov in učinkov pogosto ne meri – in nemerljiv ROI je lahko na dolgi rok zelo drag model varčevanja. Drugič, potencial UI ostaja slabo izkoriščen: obstaja velik razkorak med temi, kaj modeli že zmorejo, in tem, kako omejeno jih večina organizacij dejansko uporablja. Tretji sklop je regulativni: Akt o UI [1] in povezanih pravilih podjetja že zdaj jasno sporočajo, da uporaba UI ni več zgolj tehnološko ali kreativno vprašanje, temveč tudi vprašanje skladnosti, odgovornosti in zaupanja.

Kdo je na koncu odgovoren, ko UI-generirana vsebina zavaja, diskriminira ali prestopi mejo?

Pametno eksperimentiranje pomeni, da vemo, kaj testiramo, zakaj, na katerih podatkih, za katero občinstvo in s kakšnimi varovalkami. Če UI-generirana vsebina zavaja, diskriminira ali prestopi mejo, odgovornost ne ostane pri orodju – odgovorna je organizacija, ki sistem uporablja, znotraj nje pa ljudje, ki odločajo o namenu, postopku in objavi.

Od avgusta veljajo nova pravila glede preglednosti nekaterih vsebin, ustvarjenih z UI. Kaj morate danes vedeti o blagovnih znamkah, preden objavite UI-generirano kampanjo? Kdaj je treba potrošniku povedati, da je bila uporabljena umetna inteligenca, in kdaj ne?

Najprej velja razbiti precej razširjeno zmoto: Akt o UI ne zahteva, da bi bila samodejno označena vsaka vsebina, pri kateri bi bila uporabljena umetna inteligenca. Obveznosti iz 50. člena so se zmanjšale: njihov namen je, da ljudje vedo, kdaj komunicirajo s sistemom UI, in da lahko prepoznajo določene vrste umetno ustvarjenih ali spremenjenih vsebin.

Za blagovne znamke je zato ključno vprašanje, kakšno vlogo ima UI v konkretni kampanji. Eno je, če jo ekipa uporablja interno – za ideje, osnutke, različice sloganov ali tehnično obdelavo vsebin. Drugo pa je, če potrošnik neposredno komunicira z UI-agentom ali klepetalnikom ali če je objavljena slika, zvok ali video ustvarjen oziroma spremenjen tako, da daje vtis pristnosti. Pri globokih ponaredkih in določenih besedilih, namenjenih obveščanju javnosti o zadevah javnega interesa, mora biti uporaba UI jasno razkrita.

Ob regulaciji pa ostaja bistvena tudi odgovorna komunikacijska presoja: ne razmišljajte samo, kaj morate označiti, ampak tudi, kaj je pošteno označiti. Potrošniki zelo hitro začutimo razliko med transparentnostjo in izmikanjem.

Marketing je vse bolj personaliziran: uporabniški vmesnik lahko analizira ogromno podatkov in vsakemu človeku pokaže drugačno ponudbo, sporočilo ali priporočilo. Kdaj personalizacija preneha biti dobra uporabniška izkušnja in postane manipulacija?

Personalizacija je lahko odlična. V najboljšem primeru pomeni, da človeku ne ponujamo stvari, ki ga ne zanimajo, ampak mu olajšamo izbiro in z njim komuniciramo bolj spoštljivo.

Meja se premakne, ko personalizacija ne služi več uporabniku, ampak začne izkoriščati njegove ranljivosti, vedenjske vzorce ali trenutne okoliščine. No, če mi spletna trgovina pokaže izdelek, ki ustreza mojim prejšnjim izbiram. Nekaj ​​povsem drugega pa je, če sistem prepozna mojo stisko, impulzivnost ali negotovost in mi prav v tem trenutku pokaže sporočilo, oblikovano tako, da oslabi mojo sposobnost presoje.

Akt o UI v 5. členu predpisuje določene manipulativne, zavajajoče ali izkoriščevalske prakse, zlasti kadar bistveno izkrivljajo človekovo sposobnost informiranega odločanja ali izkoriščajo ranljivost posameznikov oziroma skupin. Da to ni abstraktno vprašanje, je že pred štirimi leti zgovorno pokazala študija Evropske komisije [2] o temnih vzorcih (ang. dark patterns ) in manipulativni personalizaciji. Ob pregledu najbolj priljubljenih spletnih strani in aplikacij, ki jih v EU uporabljajo potrošniki, jih je kar 97 % uporabljalo vsaj en ti temni vzorec, torej oblikovalsko ali komunikacijsko rešitev, ki uporabnika neopazno potisne v odločitev, ki je sicer morda ne sprejme.

Dobra personalizacija človeku pomaga izbrati. Manipulacija pa ga, nasprotno, neopazno potiska tja, kamor sam morda ne bi šel, če bi imel popolne informacije, čas in mir za odločitev. Avtonomija človeka bi morala ostati meja, ki je tudi marketing ne prestopi.

V marketing prihajajo UI-agenti, ki jih ne bodo več samo predlagali, ampak bodo za potrošnike iskali, primerjali in kupovali. Če bo naslednjo znamko izbral moj UI-agent in ne jaz, kdo me bo ščitil pred skritimi interesi, plačanimi priporočili ali algoritmičnimi pristranskostmi?

To je eno od najbolj zanimivih vprašanj prihodnjega marketinga. Doslej tako blagovne znamke večinoma tekmujejo za pozornost človeka, v prihodnje pa bodo vedno bolj tekmovale tudi za pozornost sistema, ki izbira v imenu človeka. Gre za epistemološki premik: vprašanje ne bo več le, kako potrošnik nekaj vidi, razume in izbere, ampak tudi, kako njegov digitalni posrednik išče, primerja, razvršča in odloča.

Tu se odpira nova plast potrošniškega varstva. Potrošnika ne bo več treba ščititi zgolj pred zavajajočimi oglasi, ampak tudi pred zavajajočimi posredniki. Če je agent predstavljen kot moj pomočnik, v resnici pa optimizira za interese nekoga drugega, je to resen problem zaupanja, integritete in ne nazadnje tudi varnosti.

Nekatera pravila že obstajajo. Akt o digitalnih storitvah [3] (DSA) ureja preglednost spletnega oglaševanja, pa tudi preglednost priporočilnih sistemov: uporabnik mora vedeti, zakaj vidi določen oglas oziroma po katerih glavnih parametrih mu platforma razvršča ali priporoča vsebino. Na ravni EU se pripravlja tudi Akt o digitalni pravici; [4] pobuda naj bi naslovila prav prakso, kot tako nepoštena personalizacija, manipulativni uporabniški vmesniki in podatkovno vodene komercialne prakse.

Pravno gledano gre za kompleksen sistem varovalk, ključno načelo pa je res preprosto: če se sistem odloča v mojem imenu, mora delovati v mojem interesu – ali pa mi mora zelo jasno povedati, da ne deluje izključno v mojem interesu.

Veliko govorimo o tem, kaj mora podjetje narediti, da bo »UI-ready«. Vi pogosto poudarjate, da tehnologija sama ni dovolj. Katere tri stvari bi morali danes urediti vsako marketinško oziroma komunikacijsko vodstvo, preden začne resneje uporabljati UI?

Najprej odgovornost. Vsako marketinško oziroma komunikacijsko vodstvo mora vedeti, kdo v organizaciji odloča o uporabi UI, kdo odobri orodja, kdo preverja rezultate in kdo lahko reče: tega ne bomo objavili. Brez jasne odgovornosti UI hitro postane nekaj, kar »uporabljajo vsi«, zares pa ne upravlja nihče.

Druga stvar so podatki, vsebine in merjenje učinkov. Tržna dela z izjemno občutljivim materialom: osebni podatki, vedenjski vzorci, podobami ljudi, avtorsko zaščiteni gradivi, podatki o potrošnikih in točne blagovne znamke. Pred resno uporabo UI mora podjetje vedeti, kateri podatki se uporabljajo in katerih ne, kje so pogodbene omejitve, kako so urejena vprašanja avtorskih in sorodnih pravic ter kako bo varovalo poslovne skrivnosti. Ob tem mora znati tudi izmeriti, ali UI sploh ustvarja dodano vrednost. Raziskava KCUI je pokazala, da kar 67,4 % organizacij učinkov uporabe UI ne meri sistematično – brez merjenja pa UI hitro ostane drag eksperiment.

Tretja je kultura presoje. Tudi po spremembah Digitalnega omnibusa Akt o UI od ponudnikov in uvajalcev pričakujemo podporo razvoju UI-pismenosti. To pomeni razumevanje funkcionalnosti orodij, njihovih omejitev, tveganj in odgovornosti za uporabo. V trženju je to posebej pomembno, ker rezultat sistema UI ni zgolj tehnični izdelek, ampak poseg v javno podobo znamke, zaupanje potrošnikov in razumevanje ponujene vsebine; presojati ga je potrebno z vidika resničnosti, poštenosti, skladnosti z vrednotami znamke in možnih učinkov na ljudi.

Če strnem: kritični so odgovornost, podatki in presoja – tehnologija pride šele potem. Podjetje je resnično »UI-ready«, ko umetne inteligence ne uporablja zgolj zato, ker jo lahko, ampak zato, ker ve, kje dodaja vrednost, kje meje in kdo pazi, da jih ne prestopi.