A gépi intuíció létezik – és jobb, mint az emberi
A big data analízisben olyan mintákat keresünk, amelyek képesek bizonyos trendeket előre jelezni. Nem könnyű azonban megállapítani, hogy a hatalmas adatbázisokból pontosan mit elemezzünk – ehhez általában a tapasztalaton alapuló emberi megérzés szükséges. Az MIT kutatói szerint azonban ez is helyettesíthető a megfelelő algoritmusokkal.
Az intézet kutatói egy olyan új rendszert fejlesztettek, amely nem csak egyszerűen mintákat keres, de képes meghatározni magától a kutatási területet is.
Új rendszerüket három adatkutatói versenyre is benevezték, ahol emberi szakértőkkel mérhették össze a tudását. Végül a három versenyen résztvevő 906 csapatból 615-öt sikeresen megelőzött a gép. Megérzései 87, 94 illetve 96 százalékban bizonyultak legalább annyira pontosnak, mint az emberekéi.
Nem elhanyagolható ugyanakkor az a szempont sem, hogy míg az embereknek az ismeretlen adathalmazok elemzéséhez, a prediktív algoritmusok előállításához akár hónapokra is szükségük lehet, a gépnek 2-12 órai munkájába kerül ezt elvégezni.
Hasznos, de egyre erőforrás-igényesebb a big data
A Data Science Machine tehát kis finomításokkal bőven képes lehet azt a munkát elvégezni, amely az adatkutatók számára a legnehezebb: meghatározni a kutatás helyes irányát és az ennek megfelelő algoritmusokat legyártani.
A gépben az az újdonság, hogy az egyes egymástól különálló adatbázisokat képes a közöttük fennálló korreláció alapján vizsgálni, és így létrehozni új táblákat, olyan adatokat generálni, amelyek már hasznosak lehetnek.
A big data alkalmazások rendkívüli jelentőségre tettek szert az elmúlt években, mivel a segítségükkel olyan előrejelzéseket készíthetünk, amilyenekre korábban nem volt lehetőségünk.
A legnagyobb kihívás, amellyel e téren szembe kell néznünk, az adatok tárolása: az adatközpontok, legyenek akár olyan fejlettek, mint a DoclerNet budapesti szerver létesítménye, világszerte egyre nehezebben képesek megbirkózni a hatalmas terheléssel, az egyre több adattal – márpedig a big data alkalmazások erőforrásigénye rendkívüli.