Od czego naprawdę zależy, czy model AI będzie użyteczny w Twojej firmie?
Zanim zaczniesz porównywać modele, policz, ile czasu zespół traci na szukanie danych i ręczne poprawianie błędów. Firma ze 120 pracownikami, w której każdy traci godzinę dziennie, traci około 2500 godzin rocznie. Od jakości danych zależy, czy sztuczna inteligencja w ogóle ruszy z miejsca. Model to wzorzec matematyczny, który uczy się na przykładach. Jeśli przykłady są błędne, wzorzec też będzie błędny, choć nikt tego od razu nie zauważy.
Zacznij od inwentaryzacji, czyli spisu wszystkich źródeł: system ERP, skrzynka e-mail, arkusze sprzedaży, baza zgłoszeń klientów. Przy każdym zapisz właściciela i to, jak często dane się zmieniają. Potem sprawdź jakość: ile rekordów ma puste pola, ile duplikatów, ile wartości zapisanych w trzech formatach. Czyszczenie danych to nie jednorazowa akcja, a nawyk podobny do porządkowania magazynu, gdzie każdy nowy towar trafia na swoje miejsce.
Dane treningowe, czyli zbiór przykładów do nauki, powinny stanowić około 80 procent całości. Pozostałe 20 procent zostawiasz jako dane testowe, żeby sprawdzić, czy model radzi sobie z sytuacjami, których wcześniej nie widział. Bez tego podziału wynik wygląda dobrze na papierze i zawodzi w praktyce. Jeśli dane zbierasz w wielu miejscach, rozważ data lake, czyli wspólny magazyn na surowe dane. Uzupełnieniem bywa pipeline danych, czyli automatyczna ścieżka od źródła do modelu, z etapami ETL: pobraniem, przekształceniem i załadowaniem.
Nie pomijaj governance, czyli zasad określających, kto ma dostęp do jakich danych i na jak długo. W praktyce to rejestr dostępu, zasady usuwania danych osobowych i dokumentowanie pochodzenia każdego zbioru. Bez tego audyt danych zamienia się w zgadywanie, a ryzyko rośnie przy każdym nowym projekcie.
Które dane nadają się do wdrożenia, a które od razu odrzucić?
Zacznij od pytania, czy dane istnieją w formie, którą da się odczytać maszynowo. W wielu firmach dokumentacja procesu siedzi w mailach, skanach i arkuszach prowadzonych po swojemu. Zanim cokolwiek trafi do modelu, potrzebna jest inwentaryzacja źródeł wraz z informacją, kto nimi zarządza i jak często się zmieniają. Ten krok zajmuje zwykle więcej czasu niż samo uruchomienie narzędzia.
| Rodzaj danych | Decyzja | Powód |
|---|---|---|
| Historia zamówień z systemu ERP | wdrażać | stała struktura, pełna historia |
| Notatki handlowców w dowolnym formacie | odrzucić lub przetworzyć | brak powtarzalności zapisu |
| Arkusze z ręcznie wpisywanymi kwotami | odrzucić | literówki i puste pola |
| Rejestry z jednym identyfikatorem klienta | wdrażać | można łączyć z innymi zbiorami |
Dane, które przejdą taki test, muszą mieć powtarzalny format i wspólny identyfikator, na przykład numer klienta albo zamówienia. Bez tego integracja zamienia się w ręczne dopasowywanie rekordów. Drugi warunek to kompletność: jeśli w połowie wierszy brakuje daty, model nauczy się zgadywać, a nie wnioskować. Przygotowanie danych obejmuje więc czyszczenie, czyli usuwanie duplikatów i poprawianie błędów, oraz standaryzację, czyli ujednolicenie jednostek, formatów dat i nazw. Dopiero potem warto mówić o danych treningowych i testowych.
Osobno rozstrzygnij kwestie dostępu. Dane osobowe nie mogą trafiać do modelu bez podstawy prawnej i kontroli, kto je widzi. Governance odpowiada na pytania: kto może pobrać zbiór, gdzie jest przechowywany i jak długo. Ustal też, czy dane zostaną w firmowym systemie, czy trafią do zewnętrznego narzędzia. Od tej decyzji zależy zakres audytu i tempo wdrożenia.
Jak sprawdzić jakość danych w 3 dni bez zewnętrznej firmy?
Zacznij od spisu wszystkich miejsc, w których trzymacie informacje potrzebne w danym procesie. Wypisz arkusze, bazy, eksporty z programów księgowych czy magazynowych, pliki na dyskach współdzielonych i skrzynki mailowe, z których dane trafiają dalej ręcznie. Dla każdego źródła zapisz, kto je uzupełnia, jak często i w jakim formacie. Ten krok zajmuje kilka godzin i od razu pokazuje, gdzie dane istnieją w dwóch wersjach albo gdzie nikt nie wie, kto jest ich właścicielem.
Drugiego dnia sprawdź jakość na próbce. Wybierz 100 do 200 rekordów z jednego źródła i policz cztery rzeczy: ile pól jest pustych, ile wartości ma oczywiste błędy (literówki, daty z przyszłości, kwoty ujemne), ile rekordów się powtarza i ile nie da się połączyć z innym źródłem po wspólnym polu, na przykład numerze klienta. Czyszczenie na małej próbce daje szybki obraz skali problemu. Jeśli 15 procent rekordów ma błędny identyfikator, wiesz, że pełna integracja zajmie tygodnie, a nie dni.
Trzeciego dnia przygotuj krótki raport i test. Zapisz, które źródła nadają się do zasilenia modelu, a które wymagają standaryzacji formatów dat, walut i nazw. Sprawdź przy okazji zgodność z zasadami prywatności: czy w zbiorze nie ma danych osobowych, których nie powinno tam być. Na koniec podziel przygotowane dane na treningowe i testowe, uruchom najprostszy model i porównaj jego odpowiedzi z tym, co robi człowiek. Jeśli model myli się w co piątym przypadku, problem leży w danych, nie w narzędziach.
Ile danych potrzebujesz, żeby pierwszy prototyp zaczął działać?
Pierwszy prototyp nie potrzebuje hurtowych ilości danych. Wystarczy od kilkuset do kilku tysięcy dobrze opisanych przykładów, żeby sprawdzić, czy model łapie logikę zadania. Jeśli chcesz odróżniać zgłoszenia reklamacyjne od zapytań ofertowych, 500-1000 starannie oznaczonych wiadomości da pierwszy sygnał. Dopiero gdy wynik jest obiecujący, dokładasz kolejne partie. Więcej danych nie naprawi problemu, jeśli połowa przykładów jest błędnie opisana.
Zacznij od spisu tego, co już masz i gdzie to leży. W średniej firmie te same informacje krążą w arkuszu, systemie sprzedaży i skrzynce mailowej. Zanim cokolwiek połączysz, ustal, które źródła są wiarygodne, kto jest ich właścicielem i jak często się zmieniają. Na tym etapie wychodzą braki: puste pola, duplikaty, daty zapisane w trzech formatach. Czyszczenie i standaryzacja to zwykle najbardziej czasochłonny krok, często zajmuje więcej godzin niż samo uczenie modelu.
Osobno przygotuj dane testowe, których model nie widział podczas treningu. Bez tego nie odróżnisz realnej poprawy od zapamiętania przykładów. Przepływ, w którym dane wędrują ze źródeł do modelu, nazywa się pipeline danych, a jego prostszą wersję z ręcznym przenoszeniem opisuje skrót ETL, czyli wyciągnij, przekształć, wczytaj. Zapisuj, skąd pochodzi każdy rekord, bo przy audycie brak tej informacji oznacza powtarzanie pracy.
Nie pomijaj governance, czyli zasad mówiących, kto ma dostęp do danych i na jakich warunkach. Jeśli w zbiorze są dane osobowe, ich przetwarzanie wymaga podstawy prawnej i ograniczonego dostępu. Zbieranie danych na zapas rzadko się opłaca. Lepiej zacząć od wąskiego pytania i sprawdzić, czy dostępna jakość wystarcza, niż budować data lake i odkryć po pół roku, że nie ma z czego uczyć modelu.
Kto w firmie powinien odpowiadać za dane i dostęp do nich?
Za dane odpowiada ich właściciel, czyli osoba, która najlepiej zna kontekst ich powstania. Zbiór klientów ma swojego opiekuna w dziale sprzedaży, dane produkcyjne w dziale operacyjnym, a księgowe w finansach. Taki właściciel nie musi być informatykiem. Musi wiedzieć, skąd dane pochodzą, co znaczą poszczególne kolumny i kiedy przestają być aktualne. Bez tego nikt nie rozstrzygnie, czy wartość w komórce to błąd, czy poprawny zapis.
Dostęp do danych rozdziel od ich posiadania. Zespół techniczny utrzymuje infrastrukturę, czyli hurtownię lub data lake, miejsce, w którym gromadzi się dane z różnych źródeł w jednym formacie. Właściciel decyduje, kto i po co może z nich korzystać. Do tego dochodzi governance, czyli zasady opisujące, kto może zmieniać dane, jak długo je przechowujemy i kto zatwierdza ich udostępnienie. Przy danych osobowych te zasady wynikają wprost z przepisów, więc ustalenie ich z góry oszczędza późniejszych poprawek.
W średniej firmie sprawdza się trójpodział: właściciel biznesowy odpowiada za sens danych, inżynier danych za ich przepływ, a osoba nadzorująca governance za zgodność z zasadami. Gdy brakuje tego trzeciego ogniwa, dostęp rośnie szybciej niż jakość, a modele uczą się na błędnych rekordach. Zacznij od spisu wszystkich zbiorów wraz z ich właścicielami i lokalizacją. Taki rejestr zajmuje kilka dni, a pozwala uniknąć tygodni pracy przy czyszczeniu danych, których nikt nie powinien był używać.
Jak uniknąć sytuacji, w której AI powtarza błędy z arkuszy?
Zanim model zacznie cokolwiek przewidywać, musi zobaczyć dane w postaci, którą da się policzyć. W firmie z kilkuset pracownikami te same informacje często krążą w trzech miejscach: w arkuszu sprzedaży, w systemie księgowym i w eksporcie z magazynu. Każde ma inny format daty, inne nazwy klientów i inne jednostki. Jeśli połączysz je bez przygotowania, model nauczy się powtarzać te rozbieżności, a nie rzeczywiste zależności.
Pierwszy krok to spisanie, jakie zbiory w ogóle istnieją, kto za nie odpowiada i jak często się zmieniają. Dopiero potem warto sięgnąć po narzędzia do integracji, na przykład pipeline danych, czyli automatyczny przepływ, który przenosi informacje bez ręcznego kopiowania. Schemat ETL (pobranie, przekształcenie, załadowanie) porządkuje ten ruch i pozwala wychwycić błędy na bieżąco, zamiast po fakcie.
Osobny temat to czyszczenie i standaryzacja. Jeden klient zapisany raz jako „Sp. z o.o.", raz jako „spółka z o.o." to dla modelu dwie różne firmy. Podobnie wartość „brak" wpisana raz jako zero, raz jako puste pole zmienia wynik analizy. Dlatego dane treningowe i testowe rozdziel świadomie: na jednych model się uczy, na drugich sprawdzasz, czy radzi sobie z sytuacjami, których wcześniej nie widział.
Na końcu zostaje governance, czyli ustalenie, kto ma dostęp do jakich danych i na jakich zasadach. Dane osobowe wymagają zgodnego z przepisami przetwarzania, a audyt pokazuje, skąd wzięła się każda wartość. Bez tego etapu nawet dobrze wytrenowany model odpowie szybko, ale błędnie, i nikt nie będzie wiedział dlaczego.
FAQ - krótkie odpowiedzi
Ile kosztuje przygotowanie danych do wdrożenia AI w firmie?
Koszt zależy od tego, ile danych trzeba oczyścić i uporządkować. Prace przygotowawcze to 60-80% budżetu całego projektu, a nie sam model. Dla średniej firmy oznacza to zwykle od kilkunastu do kilkudziesięciu tysięcy złotych miesięcznie, jeśli robisz to z zewnętrznym zespołem w modelu subskrypcyjnym.
Czy dane osobowe klientów można wykorzystać do trenowania modelu AI?
Można, ale tylko po spełnieniu wymogów RODO, czyli unijnego rozporządzenia o ochronie danych osobowych. Potrzebujesz podstawy prawnej przetwarzania, informacji dla klientów o takim użyciu danych i zabezpieczeń technicznych, np. pseudonimizacji. Najbezpieczniej zacząć od danych zanonimizowanych, gdzie nie da się zidentyfikować konkretnej osoby.
Jak długo trwa przygotowanie danych przed pierwszym wdrożeniem AI?
Pierwszy działający prototyp na wybranym fragmencie danych da się zbudować w 2-6 tygodni. Pełne uporządkowanie danych w całej firmie zajmuje zwykle od 3 do 12 miesięcy, zależnie od liczby systemów i bałaganu w arkuszach. Realistyczny plan zakłada start od jednego procesu, nie od całej organizacji naraz.
Czy trzeba mieć hurtownię danych, żeby wdrożyć AI?
Nie. Hurtownia danych to centralne miejsce, w którym zbierane są dane z różnych systemów. Do pierwszego prototypu wystarczy eksport z jednego lub dwóch źródeł, np. plik CSV z systemu sprzedaży. Hurtownia przydaje się dopiero przy skalowaniu na wiele działów i procesów.
Co zrobić, gdy dane w firmie są rozproszone w kilku systemach?
Zacznij od mapy źródeł: wypisz, gdzie powstają dane i kto je wprowadza. Wybierz jeden proces, w którym dane z dwóch systemów da się połączyć po wspólnym identyfikatorze, np. numerze klienta lub zamówienia. Reszta systemów poczeka, aż prototyp pokaże wynik i uzasadni dalsze prace.
