Jakość danych, zanim pojawi się model

Model nie naprawi danych

Pierwsze projekty AI w firmach zaczynają się zwykle od prostego pytania: czy asystent może odpowiadać na pytania o sprzedaż, umowy albo procedury? Technicznie najczęściej może. Problem pojawia się wtedy, gdy odpowiedzi są przekonujące, poprawnie sformułowane i błędne, bo model sięgnął po nieaktualną wersję cennika albo zsumował dane z dwóch systemów, które liczą to samo inaczej.

Raport z błędnymi danymi zwykle zdradza się sam: liczba nie zgadza się z inną i ktoś zauważa rozbieżność. Odpowiedź asystenta brzmi pewnie i nie pokazuje całej drogi, którą do niej doszedł, więc błąd łatwiej przeoczyć. Dlatego porządek w danych przed wdrożeniem AI ma jeszcze większe znaczenie niż przed budową kolejnego raportu.

Warto też rozumieć, jak działa większość firmowych asystentów. Zwykle model nie jest trenowany na danych firmy, tylko w chwili pytania wyszukuje pasujące fragmenty dokumentów lub rekordy i na ich podstawie buduje odpowiedź. Jakość odpowiedzi zależy więc wprost od tego, co wyszukiwanie znajdzie: jeśli w zasobach leżą trzy sprzeczne wersje tej samej informacji, asystent może trafić na dowolną z nich.

Model językowy nie wie, która wersja dokumentu obowiązuje. Wie tylko, którą znalazł.

Źródło prawdy dla każdego obiektu

Dla każdego ważnego obiektu biznesowego, takiego jak klient, produkt, umowa czy pracownik, powinno być jasne, który system jest źródłem prawdy. W praktyce te same dane żyją w ERP, CRM, arkuszach i kopiach w hurtowni, a każda wersja trochę różni się od pozostałych. Zanim asystent dostanie dostęp do danych, ustalamy:

• który system jest nadrzędny dla danego obiektu i jego kluczowych atrybutów,
• które kopie są pochodne i jak często są synchronizowane ze źródłem,
• które zasoby należy wyłączyć z zasięgu asystenta, bo zawierają wersje robocze, archiwa lub duplikaty,
• jak oznaczane są dokumenty obowiązujące, a jak wersje historyczne.

Ostatni punkt dotyczy zwłaszcza asystentów pracujących na dokumentach. Biblioteka procedur z pięcioma wersjami tego samego regulaminu, bez oznaczenia, która obowiązuje, jest dla modelu równie myląca jak dla nowego pracownika. Różnica polega na tym, że pracownik zapyta kolegę przy biurku, a model wybierze jedną z wersji bez ostrzeżenia.

W praktyce wystarczy często prosty porządek: jedna biblioteka z dokumentami obowiązującymi, archiwum wyłączone z zasięgu asystenta i właściciel, który przy każdej nowej wersji przenosi poprzednią do archiwum. Ten sam porządek przydaje się ludziom, więc praca włożona w przygotowanie danych do AI zwraca się także poza projektem.

Słownik pojęć biznesowych

„Aktywny klient”, „przychód”, „zamówienie zrealizowane” - każde z tych pojęć ma w firmie kilka definicji, zależnie od działu. Ludzie radzą sobie z tym dzięki kontekstowi, którego model nie ma skąd wziąć. Zapytany o liczbę aktywnych klientów asystent wybierze jedną z definicji albo zbuduje własną na podstawie nazw kolumn.

Słownik pojęć nie musi być rozbudowanym projektem. Na początek wystarczy kilkadziesiąt najważniejszych terminów, każdy z definicją, sposobem obliczenia, źródłem danych i właścicielem. Taki słownik można prowadzić w katalogu danych, na przykład w Microsoft Purview, albo nawet w prostej, wersjonowanej tabeli, byle był jeden i dostępny dla wszystkich. Przy asystentach korzystających z modeli Power BI podobną rolę pełnią nazwy, opisy i synonimy w modelu semantycznym, bo właśnie na nich opierają się odpowiedzi na pytania zadawane w języku naturalnym.

Właściciel miary i reguły jakości

Każda kluczowa miara i każdy zbiór danych potrzebuje właściciela, czyli osoby z biznesu, która rozstrzyga, co jest poprawne, i zatwierdza zmiany definicji. Po stronie IT działa opiekun danych, który pilnuje, żeby reguły były mierzone i egzekwowane w procesach ładowania. Reguły jakości warto zapisać tak, żeby dało się je sprawdzać automatycznie:

• kompletność - czy wymagane pola są wypełnione, na przykład NIP i segment klienta,
• aktualność - kiedy dane były ostatnio odświeżane i czy mieszczą się w uzgodnionym oknie,
• spójność - czy sumy w systemie źródłowym i w hurtowni się zgadzają,
• unikalność - czy ten sam klient nie występuje kilka razy pod różnymi identyfikatorami,
• poprawność - czy wartości mieszczą się w dozwolonych zakresach i słownikach.

Wyniki tych kontroli powinny być widoczne dla właścicieli danych, a nie ukryte w logach procesów ładujących. Gdy jakość spada, właściciel powinien dowiedzieć się o tym wcześniej niż użytkownik asystenta.

Właściciel nie musi być specjalistą od danych. Wystarczy, że zna proces, w którym dane powstają, i ma uprawnienia do podejmowania decyzji o definicjach. Częstym błędem jest wskazanie na właściciela osoby z IT, która utrzymuje system, ale nie może rozstrzygnąć, czy klient z zawieszoną umową jest jeszcze klientem aktywnym.

Uprawnienia i dane wrażliwe

Asystent na danych firmowych powinien pokazywać użytkownikowi wyłącznie to, co ten użytkownik może zobaczyć w systemach źródłowych. W rozwiązaniach opartych na Microsoft 365 i Power BI uprawnienia są zwykle dziedziczone, ale w asystentach budowanych na własnych indeksach wyszukiwania trzeba je odtworzyć świadomie. Bez tego indeks staje się skrótem do danych, do których pracownik nie ma dostępu.

• zasady dostępu do danych przenoszone do warstwy wyszukiwania, a nie tylko do systemów źródłowych,
• dane osobowe, wynagrodzenia i dokumenty kadrowe wyłączone z zakresu, dopóki nie ma dla nich osobnych zasad,
• etykiety poufności i reguły ochrony danych stosowane także do treści, które asystent wytworzy,
• rejestr pytań i odpowiedzi prowadzony zgodnie z polityką prywatności i wymaganiami RODO.

Od czego zacząć

Porządkowanie wszystkich danych w firmie przed pierwszym projektem AI byłoby błędem, bo trwałoby latami i zanim by się skończyło, potrzeby zdążyłyby się zmienić. Lepiej wybrać jeden przypadek użycia i uporządkować dokładnie te dane, których będzie potrzebował.

1. Wybierz przypadek użycia z mierzalnym efektem, na przykład odpowiedzi na pytania handlowców o warunki umów.
2. Wskaż źródła danych i dokumentów, z których asystent ma korzystać, oraz te, które mają zostać wyłączone.
3. Ustal źródło prawdy, definicje kluczowych pojęć i właścicieli dla tego zakresu.
4. Wprowadź podstawowe reguły jakości i kontrolę aktualności danych.
5. Przenieś zasady dostępu do warstwy, z której korzysta asystent.
6. Przetestuj odpowiedzi na zestawie pytań, do których znasz poprawne odpowiedzi.

Każdy kolejny przypadek użycia korzysta z tego, co już uporządkowano, więc praca nad jakością danych przyspiesza z każdym projektem, zamiast zaczynać się od zera.

Planujecie pierwszego asystenta na danych firmowych?

Pomożemy wybrać przypadek użycia, uporządkować źródła i definicje oraz przygotować dane, zanim trafią do modelu.

Porozmawiaj z ekspertem