Big Data. Zetta Discovery – soluție de căutare
Ce este big data. De ce este nevoie de o soluție de căutare?
Organizațiile pot căuta informații atât în infrastructura internă cât și în surse externe, oferind rezultate relevante din punct de vedere contextual.
Soluția de cautare în volume mari de documente/informații este potrivită atunci când vorbim de informații nestructurate, însă și când datele sunt adunate din diverse surse.
Este un proiect ambițios, un alt nivel de soluție fata de cel al managementului informațiilor, o soluție proiectată în mod special pentru a fi adaptată limbii române.
Deși de conceptul Big Data se discută de câțiva ani, piața este în perioada de adoptare a unor astfel de soluții. Clar devine un avantaj competitiv, mai ales la companiile care exploatează volume mari de informații, nestructurate (bănci, asigurări, utilități, telecom, media, organizații (ne)guvernamentale, pharma etc.).
Comportamentul oamenilor și nevoile curente ale acestora forțează companiile să ofere servicii mult mai personalizate, să se adapteze pieții, să opereze rapid cu informațiile pentru a fi proactive și eficiente, să facă diferența față de competiție.
Este o soluție puternică pentru analiza conținutului în limba română, folosind o arhitectura bazata pe tehnologii open source complexe, concepte și idei verificate de peste 15 ani în laboratoarele de cercetare, soluții probate în zeci de aplicații cu caracter public și privat.
Zetta Discovery – soluție Big Data
Elementul cheie a soluției Zetta Discovery “from text to relevant information” este orientarea către rezultatul căutării.Informațiile rezultate trebuie să fie relevante în contextul căutării.
Se pot obține raspunsuri mult mai precise, se pot identifica informații care au o anumită legatură contextuală cu cautarea propriu-zisă, se pot aborda probleme specifice și complexe care nu pot fi rezolvate pe calea clasică de căutare sau imposibilitatea corelării și filtrării anumitor structuri de informații.
Companiile pot construi și distribui baze foarte mari de cunoștințe, oferind angajatilor/partenerilor liste relevante cu informații prin acces instant, ordonare după diverse criterii contextuale, elemente esențiale și link-uri către documentele rezultate.
Sursele de date care pot fi: emailuri, baze de date, site-uri și resurse web, rețele de socializare, documente în diferite formate text aflate pe servere de fișiere
Beneficiile principale ale soluției
- Abilitatea de a genera automat taxonomie de cuvinte sau expresii cuprinse în materiale, bazate pe orice tip de date: nestructurate, structurate, semistructurate
- Identificarea și extragerea automat din conținutul documentelor a unor entități precum nume, locație, departament, dată, sursă de conținut, metadate specifice, autor etc. și clasificarea informațiilor prin oferirea de filtre suplimentare
- Filtrarea rezultelor în meniul de navigare este dinamic, rafinarea cautării dând un sens mai precis și controlabil utilizatorului, eficient pentru o gamă largă de surse de date și conținut
- Rezultatele sunt clasificate după entități asociate cu informațiile regăsite. Categoriile rezultate dinamic sunt rafinate după un număr mare de metadate
- Se pot face căutări asemănătoare pentru termeni speciali cu care se operează în organizație. Oferă rezultate precise chiar daca documentele conțin diacritice sau nu
- Se pot apela conectori pentru extragerea de informații din diferite baze de date, email, directoare partajate
- Se pot implementa soluții de securitate pentru a limita cautarea la anumiți utilizatori predefiniți. Integrarea cu un LDAP al organizației vine cu acreditări specifice pentru accesul la date, confidentialitate
- Se jurnalizează acțiunile de interogare, oferind administratorului instrumente pentru optimizarea soluției
- Se poate optimiza rezultatul căutării prin ajustarea parametrilor de căutare
Companiile continuă să producă, să stocheze informații, să folosească datele în activitatea de zi cu zi, volumul crește și investițiile în gestiunea și analiza datelor cresc în complexitate.
Datele nestructurate duc la scăderea productivității companiei
Instituțiile de analiză recunoscute afirmă că 80% din datele unei companii sunt în continuare nestructurate, continut aflat pe calculatoarele personale sau în sisteme de fișiere centralizate, rata de creștere a volumului de conținut fiind de peste 200% anual. Lucrând cu aceste volume de informații, pentru a lua o decizie, a discerne între o informație utilă și relevantă, este din ce în ce mai greu. Inclusiv procesul de cautare și găsire a unor informații aduce atingere productivității angajaților, lucrul cu informațiile fiind esențiale pentru business.
În completarea procesului de acumulare de informații, găsirea informațiilor din surse și formate multiple (intranet, sisteme de fișiere, aplicații DM/CRM/ERP, o serie de surse externe din internet cu informații de business, sistemul de email alte aplicații) precum și localizate în diferite medii, este aproape imposibilă sau cu rezultate nerelevante și consum mare de timp/resurse. Rezultatul este orientat direct către costurile mari care pot fi analizate și aduc atingere eficienței companiei, productivității, pierderea unor oportunități.
Scenariu clasic al lucrului cu documentele/informațiile:
- Elaborarea de documente, gestiunea, versionarea acestora fie pe stația locală, în rețea sau aplicații specializate
- Schimbul de corespondență intern și cu partenerii via email
- Introducerea structurată a unor date în aplicații specializate
- Colectarea de informații care sunt utile desfășurării activității și se transformă în baze de cunoștințe ale companiei
- Apelarea la surse/medii externe care gestionează clasificat sau nu informații de valoare pentru activitate
- Aplicații/site-uri specializate care oferă informații punctuale
Fiecare canal de tratare a informațiilor poate avea un motor propriu de căutare pentru a obține un document care are legătură un anumit cuvânt cheie. Aplicațiile specializate oferă diferite filtre de căutare în special pentru datele structurate. Motoarele web de căutare aduc spre utilizator o informație relevantă din perspectiva algoritmilor de căutare folosiți.
Deci, surse variante de date, informații gestionate în formate diferite, resurse diverse.
Procesul în sine, de lucrul cu volume mari de informații, devine o provocare din ce în ce mai mare pentru toate părțile implicate: IT, marketing, manageri, oamenii de știință. Implementarea unor idei de simplificare a procesului de căutare și regăsire a informațiilor, potrivite organizației, a devenit critică pentru companii și departamentele IT.
Din fericire există soluții care să aducă eficiență în această zonă, să ajute și să asiste utilizatorii în procesul de căutare, să le ofere informațiile de care au nevoie, sa accelereze procesul de luare a unei decizii.
Structurarea datelor reduce cheltuielile inutile
IDC, publicație independentă care sondează permanent piața, menționează în rapoartele sale că se consumă cel puțin 20% din timp, pe lună, căutând și adunând informații. Făcând un scenariu simplu pentru a ajuta o companie să vadă potențialul unei astfel de soluții, la o companie tipică (fără a lua în calcul specificul unor organizații la care procesul de cautare este activitate principală) cu 100 angajați și 50% (50 angajați), la un salariu mediu de 15.000 EUR/an cu taxe, costurile aferente numai acestui proces sunt de 150.000 EUR/an.
Luând în calcul studiile ca printr-o soluție de căutare eficientă, imbunătățirea procesului poate fi cel puțin 50%(mai exact 53,4%, din estimările IDC), această companie poate economisi anual 75.000 EUR, bani care se pot folosi în alte scopuri.
Unde poate fi folosită soluția Zetta Discovery
Prin rezultatele oferite, Zetta Discovery pune la dispoziția organizațiilor un cadru eficient, puternic și controlabil pentru a fi mai eficiente în raport cu competiția, a opera cu resurse diverse și volume mari de date, a descoperi și analiza noi perspective în relevanța culegerii de informații.
Există o zonă mare de aplicabilitate pentru volume mai de informații.
În funcție de domeniul din care provine organizația, se pot obține răspunsuri mult mai precise, se pot identifica informații care au o anumită legătură contextuală cu cautarea propriu-zisă, se pot aborda probleme specifice și complexe care nu pot fi rezolvate pe calea clasică de căutare sau imposibilitatea corelării și filtrării anumitor structuri de informații.
Sunt folosite tehnici avansate de corelare, condiții de evenimente.
Sunt industrii care înglobează cantități uriașe de date (telecomunicații, media, utilități, sănătate, educație și cercetare, sectorul financiar-bancar, asigurări etc.), analiza informațiilor din surse multiple de date și precizia raspunsurilor poate conduce la imbunătățirea proceselor existente, a factorilor de mediu, a timpului de procesare în identificarea unor probleme sau rezolvării acesteia, reducerea unor riscuri de fraudă, abuzuri, tranzacții, monitorizarea sănătății planurilor de acțiune, creșterea responsabilității actului de guvernare etc.
Căutăm să dăm un sens nou ideii de valorificare a datelor la un potențial maxim, date provenite din surse diverse, conținut intern, valorificarea cunoștințelor organizației, conținut din surse externe.
Soluția Zetta Discovery are posibilitatea de indexare a milioane de documente, soluția poate fi scalabilă până la miliarde de documente, folosind o arhitectură hardware extinsă.
Este capabilă să indexeze peste 100 de tipuri de documente de tip text, inclusiv html, pdf, documente tip office și multe altele.
Există conectori pentru diferite baze de date, se pot dezvolta și altii, funcție de specificul clientului.
Acționează precum companiile de top!
Soluția Zetta Discovery are posibilitatea de indexare a milioane de documente, soluția poate fi scalabilă până la miliarde de documente, folosind o arhitectură hardware extinsă.
Este capabilă să indexeze peste 100 de tipuri de documente de tip text, inclusiv html, pdf, documente tip office și multe altele.
Există conectori pentru diferite baze de date, se pot dezvolta și altii, funcție de specificul clientului.
Intră prin ZettaDiscovery în lumea căutărilor în volume mari de informații alături de produse de top: Google Search Enterprise (Appliance), IBM Data Explorer, Microsoft Fast, Lucene, LucidWorks, Oracle Endeca Information Discovery, HP Universal Search!
Companiile continuă să producă, să stocheze informații, să folosească datele în activitatea de zi cu zi pentru decizii de business, volumul de date crește spectaculos, sursele de date sunt variate, gestiunea și analiza datelor cresc în complexitate.
Zetta = unitate de măsură a capacității de stocare (1 ZB = 1.000.000.000.000.000.000.000 bytes = 1 miliard de terabytes)
- Spațiul de pe toate hard disk-uri din lume, a fost estimat în 2009 la aproximativ o ½ zettabyte
- Suma totală de date la nivel mondial în 2012 a fost de 2,7 zettabytes, având o creștere de 48% față de 2011 (IDC)
- In 2013 World Wide Web a atins 4 zettabyte, cu o creștere de cca. 1,6 zettabyte/an
- Până în 2020 volumul mondial total al informațiilor digitale s-a preconizat a fi peste 35 zetabytes
- 90% din datele care există astăzi în lume au fost generate în ultimii doi ani
