Praktyczne podejście
Wiedza w organizacji jest dynamiczna, staje się aktualizowana w czasie rzeczywistym. Obecnie w Big Data mamy możliwość zbierania danych od klientów ale również gromadzenie danych rynkowych, danych z social mediów, logów systemowych czy czujników.
W Big Data rekordów są miliony i dużo więcej, dlatego ważne jest aby cały proces analizy danych mógł przebiegać automatycznie bo dzięki zastosowaniu automatyzacji pracownicy nie muszą tracić czasu na ręczne porządkowanie całej zebranej wiedzy. Współczesne systemy zarządzania wiedzą KMS mogą wykorzystywać uczenie maszynowe, analizę predykcyjną oraz różnego rodzaju algorytmy rekomendacyjne. Dzięki takiemu podejściu pomaga to odkrywać ukryte zależności w danych firmy, trendy rynkowe oraz anomalie. Na przykład system zarządzania wiedzą może wykryć, że obecnie produkty z określonym składem mają wyższą sprzedaż.
Tabela 1. Zestawienie najpopularniejszych systemów KMS dla Big Data oraz ich cechy.
| KMS | Typ | Cechy |
|---|---|---|
| Hadoop z ekosystemem (HDFS, Hive, Spark) | Open Source | Przechowuje i przetwarza ogromne ilości danych, umożliwia analizę i ekstrację wiedzy z logów, danych IoT oraz z social mediów. |
| Apache Solr | Open Source | Indeksuje ogromne zbiory danych oraz dokumentów, wspiera NLP, klasyfikację, rekomendacje. Tworzy coś na styl Google wewnątrz organizacji. Jest narzędziem do wyszukiwania treści a nie do zarządzania. |
| Apache Atlas | Open Source | Zarządzanie danymi wewnątrz organizacji, audyty, dokumentowanie przepływów danych, katalogowanie danych. Umożliwia integrację z Hadoop (magazynowanie), Hive (przeszukiwanie), Kafka (strumieniowanie), Spark (przetwarzanie). Jest narzędziem do wiedzy o danych. |
| Elastic Stack | Open Source | Mocno rozbudowany silnik wyszukiwania wiedzy, analiza tekstu, logów, dokumentów, dashboardy wiedzy. Umożliwia szybkie wyszukiwanie oraz wizualizację wiedzy. |
| Databricks | Komercyjny | Hurtownia danych, wspiera ML,NLP oraz analizę predykcyjną. Umożliwia generowanie wiedzy z danych. |
| Microsoft Fabric/Azure Synapse | Komercyjny, Cloud | Integruje dane, analitykę, ML oraz raportowanie. Pozwala budować modele wiedzy, generuję automatycznie wiedzę z danych operacyjnych. |
| Google BigQuery | Komercyjny | Bardzo szybkie wyszukiwanie na petabajtach danych. Cechuje się bardzo szybkim generowaniem wiedzy z Big Data. |
| IBM Watson Knowledge Catalog | Komercyjny | Kataloguje wiedzę oraz dane, automatycznie taguje oraz klasyfikuje. Jest zintegrowany z AI i ML. |