BIG DATA

Data Pipelines BigConnect este un motor de execuție modern ușor de folosit pentru ingestie rapidă de date și transformări ușoare care pot fi folosite de către oricine.

Data Pipelines pot fi folosite ca o conductă pentru un flux de date.

În funcție de nevoile dvs., puteți folosi o singură instanță de Data Pipelines pentru a gestiona una sau mai multe conducte. Sau puteți instala o serie de Colectori de date (Data Collectors) pentru a direcționa fluxul către topologia dvs. de date pentru companie - este alegerea dvs.!

Pentru a defini fluxul de date, puteți folosi Data Pipelines Studio pentru a proiecta o conductă, un flux care constă în stadii ce reprezintă originea și destinația conductei, dar și orice procesare tradițională pe care doriți sau aveți nevoie să o realizați. Atunci când finalizați proiectarea fluxului (a conductei), trebuie doar să faceți click pe butonul Start și Data Pipelines încep să lucreze pentru dvs. - este atât de simplu!  

BigConnect Explorer este serviciul perfect pentru a pune ordine în datele nestructurate prin ingestia de date, îmbogățirea datelor, descoperire și analiză.

Explorer este un sistem agnostic la informații în care toate datele care ajung în sistem sunt transformate, cartografiate, îmbogățite și apoi stocate într-un mod logic folosind un model semantic de concepte, atribute și relații, dar asigură și o interfață vizuală extensibilă, unificată cu instrumente pentru descoperirea și analiza datelor, colaborare, alertare și gestiune a informației.  

Este complet extensibil și orice personalizare este realizată sub formă de insert (plugin) care poate fi dezvoltat atât pentru back-end, cât și pentru front-end, folosind limbaje precum Java, JavaScript, React, etc.

Fundația esențială a Explorer din cadrul BigConnect este modelul de date dinamic, semantic, ce reprezintă modul în care stocați, corelați și interogați toate informațiile. Modelul de date este folosit pentru a asigura sensul informațiilor stocate și poate fi definit fie în momentul ingestiei datelor, fie mai târziu în timpul ciclului de viață al datelor.

Explorer poate realiza ingestia și procesarea oricărui tip de informații, precum baze de date, documente de birou, fișiere text, fișiere XML, fișiere HTML, imagini, fișiere și fluxuri audio și video.

Ingestia de date poate fi realizată manual, folosind UI pentru cantități mici de date sau în loturi, automatizat, folosind Data Pipelines din cadrul BigConnect.

Instrumentele de Analiză Explorer din cadrul BigConnect includ patru instrumente: Grafic (Graph), Hartă (Map), Cronologie (Timeline) și Diagrame (Charts).  

Analiza de tip legătură (link) (sau grafic) este un instrument avansat care poate fi folosit pentru a crea conexiuni, pentru a găsi conexiuni între obiecte, pentru a vedea modul în care obiectele sunt legate și multe altele - limita este doar imaginația dvs.!

Analiza spațială (hartă) este destinată afișării informațiilor geospațiale (latitudine, longitudine) pe o hartă interactivă cu straturi de suport, agregări și adnotări.

Diagramele pot fi create folosind o selecție largă de vizualizări.

Discovery BigConnect este un serviciu de business inteligence complet, rapid, integrat, care combină vizualizarea datelor, explorarea și transformarea într-un mod prietenos și intuitiv. În esență, Discovery BigConnect este o soluție de business intelligence (BI) pe bază OLAP, care combină tehnologiile OLAP, vizualizare și învățare programată, astfel încât până și non-experții pot extrage rapid și cu ușurință o valoare mare din date!

Discovery BigConnect combină date de diverse dimensiuni pentru a produce un singur cub OLAP mare (magazin de date, data mart).

Folosirea unui cub OLAP mare oferă avantajele minimizării numărului de magazine de date, al unei arhitecturi distribuite care permite stocarea de date la scară mare, o abordare de schemă dinamică și faptul că datele pot fi procesate la nivel record în timp real pe măsură ce tabelele sunt salvate, fără a pierde date/ informații.

Discovery BigConnect poate încărca date din surse multiple, precum Kafka, MySQL, Trino, Hive, PostgreSQL sau fișiere locale.

Discovery BigConnect include componente precum Pregătire Date, Stocare Date (având Druid drept motor), Analiză și Vizualizare Date (având sub-componente precum Spațiu de Lucru, Registru de Lucru, tablou de bord și diagramă, Blocnotes și Banc de Lucru) și Monitorizarea Datelor.

Answers BigConnect este un instrument de business intelligene care vă permite să puneți întrebări cu privire la datele dvs. și afișează rezultatele în formate precum diagrame sau tabel.

Puteți să vă salvați întrebările pentru o folosire ulterioară, le puteți grupa în tablouri de bord atractive din punct de vedere vizual.

Atunci când întrebările devin mai complicate, SQL și editorul nostru de blocnotes sunt disponibili pentru a oferi răspunsuri la întrebările dvs. complexe.

Puteți seta alerte și programa rapoarte pentru a obține răspunsurile atunci când aveți nevoie de ele.

Answers BigConnect poate folosi date de la MySQL, PostgreSQL, Druid, Amazon Redshift, Microsoft SQL Server, Oracle, BigConnect Spark, Snowflake, Presto, Teradata, BigQuery, Google Analytics și multe alte surse de date diferite.

Trino BigConnect este un motor de interogare SQL distribuit, în memorie, destinat interogării seturlor de date mari, distribuit pe unul sau mai multe surse de date eterogene într-un mod eficient și cu latență scăzută.

Trino BigConnect poate funcționa cu teraocteți sau petaocteți de date și a fost proiectat ca un instrument alternativ care interoghează HDFS folosind conducte de sarcini MapReduce. Dar Trino nu este limitat la accesarea HDFS - poate folosi diferite surse de date, inclusiv baza de date tradițională, relațională și alte surse de date precum BigGraph BigConnect sau Kafka BigConnect.

Trino BigConnect a fost conceput pentru a gestiona depozitele și analiza de date: analiza dateor, agregarea cantităților mari de date și realizarea rapoartelor. Aceste sarcini de lucru sunt deseori clasificate drept Procesare Analitică Online (OLAP).