Big data

IBM ширкәте булдырган Википедия үзгәртүләре визуализациясе. Күләме буенча берничә терабайт тәшкил иткән Википедия текстлары һәм рәсемнәре big data (күләмле мәгълүмат) феноменының классик үрнәге булып тора.

Мәгълүмат технологияләрендә, big data (күләмле мәгълүмат)^[1][2] - традицион мәгълүмат эшкәртү кушымталарны яки персональ санакта урнаштырыла торган мәгълүмат базалары белән идарә итү коралларны кулланып эшкәртү авыр булган күләмдәге мәгълүмат җыелмалары. Авырлыклар мәгълүмат берәмлекләрне аеру, эшкәртү, саклау,^[3] эзләү, бүлешү, анализлау,^[4] һәм визуализация өлкәләрендә пәйда була. Мәглүмат күләмнәренең зураюга таба трендның күзәтелүен зур күләмле мәгълүматны анализлау нәтиҗәсендә туган өстәмә бәйле мәгълүмат "бизнес трендларны һәм алып барылган эзләнүләр сыйфатын ачыклауга, авыруларның һәм җинаятьләрнең таралуына һәм башкача урын алуларына юл бирмәү, хокукый проблемаларны һәм агымдагы вакытта юл хәрәкате хәлләрен билгеләү мөмкинлеген ачу сәбәпле"^[5][6] пәйда була.

2012 елдагы хәле буенча, кабул ителерлек вакыт эчендә эшкәртелә алган мәгълүмат күләмнәре ru:эксабайтлар (10¹⁸ байт) дәрәҗәсендә иде.^[7][8] Метеорология, геномика,^[9] коннектомика, физика кануннарын аңлау өчен кирәкле күләмле симуляцияләре,^[10]биологик һәм әйләнә-тирә мохиткә кагылышлы эзләнүләр кебек күп өлкәләрдә эшләгән галимнәр еш мәгълүмат күләменә бәйлә чикләүләренә төрелә.^[11] Бу чикләүләр шулай ук Интернетның барлыкка килүе булдырган Бөтендөнья пәрәвезендә урнашкан мәгълүматны табу өчен кулланылган эзләү системалары, финанс һәм бизнес информатика өлкәсендәге башка кушымаларның эшләвенә дә йогынты ясый. Мәгълүмат күләмнәренең үсүенә сенсорлары булган смартфоннар, камералар һәм башка җиһазлар да үз өлешен кертәләр.^[12][13]

Билгеләмә

Күләмле мәгълүмат (Big data) гадәттә гади очрый торган программа тәэминаты ярдәмендә җыела, эшләнелә, идарә ителә һәм кабул ителерлек вакытта эшкәртелә алган мәгълүмат күләмнәренә сыймый торган мәгълүмат күләмнәренә таба кулланылган төшенчә. Күләм күрсәткечләренең туктамый үсүләре күзәтелә, 2012 елда бер мәгълүмат җыентыгында берничә терабайттан (10¹² байт) күп петабайтларга (10¹⁵ байт) кадәр кергән күләмнәре өчен кулланыла иде. Шундый күләмнәр белән эш итә алу өчен яңа математик һәм логик коралларның булдырылуы таләп ителде – мәс. en:Apache Hadoop Big Data Platform кораллары.

Үрнәкләр

Фән һәм эзләнүләр

• Кеше геномы төзелешен ачыклау өчен эшкәртү эшенә генә 10 ел кирәк булган булса; хәзерге көндә бу эшне бер атнада бетереп була.Калып:R
• Математика санауларына нигезеләнгән иҗтимагый фән — en:Tobias Preis һ.б. en:Google Trends ярдәмендә ирешелә алынган мәгълүматны кулланып кеше башына югарырак ТЭП күрсәткечләре булган илләрдән Интернет кулланучылары үткәнгә караганда күбрәк киләчәк турында мәгълүматны эзләү яклы булуын күрсәттеләр. Бу табулар интернетта үз-үзеңне ничек тотуың белән чын дөньядагы икътисади күрсәткечләрең арасында бәйләнеш була алуына ишарәли.^[14][15][16] Эзләнү авторлары 2010 ел дәвамында 45 илдән Интернет кулланучылар тарафыннан Google эзләү журналларында калдырылган язуларны тикшереп, математик фаразлау мәгълүматы нигезендә киләчәк (‘2011’) ел өчен санап чыгарылган эзләү күләмнәре күрсәткечләрне элгәре (‘2009’) елгы эзләүләр күләме белән чагыштырдылар һәм нәтиҗәне ‘киләчәккә таба юнәлгәнлек индексы’ дип атадылар.^[17] Киләчәккә таба юнәлгәнлек индексны һәр илнең кеше башына ТЭП күрсәткече белән чагыштыру Google кулланучылары күбрәк киләчәккә таба юнәлгән сорауларны биргән илләрнең югарырак ТЭП күрсәткечле булуына көчле тенденцияне ачыклады. Күләмле мәгълүматны анализлау нәтиҗәсендә пәйда булган белем мәгълүмат эзләү мәсьәләсендәге ил ватандашларының үзләрен тотулары һәм илләренең икътисади уңышлары арасында элемтә бар булуына ишарәли.

Шулай ук карагыз

Искәрмәләр

1. White, Tom (10 May 2012). Hadoop: The Definitive Guide. O'Reilly Media. p. 3. ISBN 978-1-4493-3877-0. http://books.google.com/books?id=Wu_xeGdU4G8C&pg=PA3. 
2. MIKE2.0, Big Data Definition. әлеге чыганактан 2018-09-25 архивланды. 2013-02-26 тикшерелгән.
3. Kusnetzky, Dan. What is "Big Data?". ZDNet. әлеге чыганактан 2010-02-21 архивланды. 2013-02-26 тикшерелгән.
4. Vance, Ashley (22 April 2010). Start-Up Goes After Big Data With Hadoop Helper. New York Times Blog.
5. E-Discovery Special Report: The Rising Tide of Nonlinear Review. Hudson Global. әлеге чыганактан 2012-07-03 архивланды. 1 July 2012 тикшерелгән. by Cat Casey and Alejandra Perez
6. What Technology-Assisted Electronic Discovery Teaches Us About The Role Of Humans In Technology — Re-Humanizing Technology-Assisted Review. Forbes. 1 July 2012 тикшерелгән.
7. Francis, Matthew (2012-04-02). Future telescope array drives development of exabyte processing. 2012-10-24 тикшерелгән.
8. Watters, Audrey (2010). The Age of Exabytes: Tools and Approaches for Managing Big Data (Website/Slideshare). Hewlett-Packard Development Company. әлеге чыганактан 2013-03-16 архивланды. 2012-10-24 тикшерелгән.
9. (4 September 2008) «Community cleverness required». Nature 455 (7209). DOI:10.1038/455001a.
10. Sandia sees data management challenges spiral. HPC Projects (4 August 2009). әлеге чыганактан 2011-05-11 архивланды. 2013-02-26 тикшерелгән.
11. (2011) «Challenges and Opportunities of Open Data in Ecology». Science 331 (6018): 703–5. DOI:10.1126/science.1197962.
12. Hellerstein, Joe (9 November 2008). Parallel Programming in the Age of Big Data. Gigaom Blog. әлеге чыганактан 2012-10-07 архивланды. 2013-02-26 тикшерелгән.
13. Segaran, Toby; Hammerbacher, Jeff (2009). Beautiful Data: The Stories Behind Elegant Data Solutions. O'Reilly Media. p. 257. ISBN 978-0-596-15711-1. http://books.google.com/books?id=zxNglqU1FKgC. 
14. (2012) «Quantifying the Advantage of Looking Forward». Scientific Reports 2: 350. DOI:10.1038/srep00350. PMID 22482034.
15. Marks, Paul (April 5, 2012). Online searches for future linked to economic success. New Scientist. April 9, 2012 тикшерелгән.
16. Johnston, Casey (April 6, 2012). Google Trends reveals clues about the mentality of richer nations. Ars Technica. April 9, 2012 тикшерелгән.
17. Tobias Preis (2012-05-24). Supplementary Information: The Future Orientation Index is available for download. 2012-05-24 тикшерелгән.

Сылтамалар

• Data, data everywhere (25 February 2010). 9 декабрь 2012 тикшерелде.

• Real Time Data Access and Total Data Integration (6 March 2018). 6 март 2018 тикшерелде.

 2018 елның 4 март көнендә архивланган.