Przykład

Do celów testowych pobrany został Dataset Yelp, w którym znajduje się 6990280 opinii, 150346 firm, 11 obszarów miejskich oraz 200100 zdjęć. Za przetwarzanie danych odpowiedzialny był Apache Spark. Postanowiono, że na podstawie danych zweryfikowane zostanie jakie atrybuty mają wpływ na ocenę, jaką klienci wystawiają lokalowi w zakresie 1-5 gwiazdek. W pierwszej kolejności wyświetlone zostały przykładowe dane wraz z nazwami poszczególnych kolumn zawartych w pobranym datasecie.

Postanowiono, że zostanie wytrenowany model Random Forest, oraz że wytrenowany model będzie miał za zadanie znaleźć powiązania pomiędzy atrybutami przedsiębiorstwa a opiniami klientów w postaci gwiazdek 1-5. Do utworzenia modelu wykorzystany Pyspark. Niestety ze względu na ograniczenia sprzętowe ilość danych została ograniczona do 5% co dało około 350 tys. próbek.

Łącznie wszystkich badanych atrybutów w biznesach jest ponad 100 i są zależne od rodzaju biznesu. Znajdują się tam między innymi takie cechy jak:

Z otrzymanych wyników można wywnioskować, że najwyższy wpływ na opinię klientów miała atmosfera w lokalu. Dużo niższą, ale nadal znaczącą wartość ma parking samochodowy. Według analizy dni tygodnia, które są polecane na odwiedziny przez klientów mają już tylko 8% udziału. Dla pozostałych atrybutów nie została wykryta zależność, lub została wykryta ale na poziomie mniejszym niż 1%.