Qual é o tamanho dos Big Data?

Quão grande é o Big Data?
Author

Eshna Verma

Last updated November 2, 2016


  • 2704 Views

Big Data é um termo popular usado para descrever a coleta massiva de dados, seja estruturada, semiestruturada, não estruturada ou bruta. Os dados podem ser definidos como um ativo no balanço.

De acordo com a Gartner, o Big Data compreende alto volume, velocidade e variedade de ativos de informação que demandam formas inovadoras e econômicas de processamento de informações para obter insights e tomadas de decisão aprimoradas. Portanto, os 3 Vs de Big Data aceitos globalmente são:

  • Volume - quantidade de dados
  • Velocidade - velocidade de entrada e saída de dados e
  • Variedade - variedade de tipos de dados e fontes que incluem: documentos de texto não estruturados, imagem, vídeo, e-mail, áudio, dados de ações, transações financeiras, etc.

No entanto, estudos recentes adicionaram mais dois componentes que descrevem Big Data, a saber:

  • Variabilidade: Às vezes, o fluxo de dados é altamente inconsistente com picos periódicos que dificultam o processo de manipulação e gerenciamento de dados de forma eficaz.
  • Complexidade: como grandes volumes de dados vêm de várias fontes, o gerenciamento de dados se torna uma tarefa desafiadora.



De fato, os conjuntos de dados são tão grandes e complexos que se torna muito difícil e desafiador processá-los usando os aplicativos tradicionais de processamento de dados. Estima-se que cerca de 2,5 quintilhões de bytes de dados sejam criados todos os dias.

Isto implica que cerca de 90% do total mundial de dados foi criado nos últimos dois anos. Deve-se notar aqui que cerca de 80% dos dados totais não são estruturados - há dados coletados de sensores usados ​​para coletar informações meteorológicas, postagens em mídias sociais, fotos e vídeos digitais, registros de transações de compra, GPS do telefone celular e muitos Mais.

Preparando-se para uma carreira em Ciência de Dados? Faça este teste para saber onde você está!





Tanto o governo quanto o setor privado usaram o Big Data para aumentar sua produtividade. A análise de Big Data teve um papel fundamental na bem-sucedida campanha de reeleição de Barack Obama em 2012. Testemunhando o papel do Big Data no enfrentamento dos problemas enfrentados pelo governo, o governo Obama anunciou a iniciativa Big Data Research and Development em 2012. O governo federal dos Estados Unidos possui seis dos dez supercomputadores mais poderosos do mundo.

No setor privado, o Facebook usa Big Data para lidar com 50 bilhões de fotos da base de seus usuários. A Amazon.com usou a tecnologia baseada em Linux para lidar com milhões de operações de back-end todos os dias. O eBay.com utiliza dois armazéns de dados de 7,5 PB e 40 PB, bem como um cluster de 40 PB Hadoop para pesquisa. O sistema de Detecção de Fraude de Cartões de Crédito da FICO Falcon garante 2,1 bilhões de contas ativas em todo o mundo.

O Walmart lida com mais de 1 milhão de transações de clientes a cada hora, que são importadas para bancos de dados com estimativa de mais de 2,5 petabytes de dados. Segundo estimativas, o volume de dados em todo o mundo dobra a cada 1,2 anos.

Papel do Big Data em uma empresa

A evolução dos bancos de dados de Big Data permitiu que as empresas soubessem a importância dos dados em seu crescimento e sucesso. Esses bancos de dados ajudaram as empresas a economizar dinheiro, aumentar a receita e alcançar muitos outros objetivos de negócios. O verdadeiro desafio enfrentado pelas empresas é encontrar uma informação crítica que forneça a vantagem competitiva. O Hadoop ajuda no gerenciamento e no gerenciamento de grandes quantidades de dados. Também ajuda a transformar os dados em uma estrutura e um formato mais utilizáveis ​​e extrai análises valiosas dela.
 

 

Big Data no Desenvolvimento Internacional

O escopo do Big Data não se limita a empresas de TI ou a qualquer setor específico. De acordo com a Pesquisa sobre Usos Eficazes de Tecnologias de Informação e Comunicação para o Desenvolvimento (ICT4D), as tecnologias de Big Data podem ser extremamente úteis e podem fazer contribuições importantes na solução de desafios no desenvolvimento internacional. Os avanços nas tecnologias de Big Data resultam na criação de oportunidades econômicas que ajudam a melhorar o processo de tomada de decisões em áreas críticas de desenvolvimento, como saúde, emprego, lei e crime, segurança, calamidade natural, etc.

Oportunidades de grande trabalho em Big Data

O Big Data oferece grandes oportunidades de emprego no setor de TI, desde que você tenha as qualificações certas. Um estudo realizado pela Mckinsey & Company em 2011, relata que os Estados Unidos podem enfrentar uma aguda escassez de pessoas com profundos conhecimentos analíticos em big data. As empresas estão e continuarão a procurar pessoas qualificadas que possam aproveitar a promessa de vantagem competitiva da Big Data. Existem vários trabalhos de big data que exigem profissionais qualificados.
 
Chief Data Officer : Uma pessoa responsável pela implementação geral e execução de Big Data em uma organização. Ele ou ela tem uma cadeira importante na organização. Ele ou ela deve ser um membro do conselho executivo de uma organização, reportando-se diretamente ao CEO.

Big Data Scientist: Este será um dos trabalhos mais procurados do século XXI. Como a indústria de Big Data está testemunhando um crescimento mágico, a demanda por Big Data Scientist é mais do que nunca. Mas esta não é uma tarefa fácil. Para se tornar um cientista de Big Data de sucesso, é necessário possuir algumas habilidades especializadas , como processos de aprendizagem natural, aprendizado de máquina, modelagem conceitual, análise estatística, modelagem preditiva e testes hipotéticos, etc.
Para ser um cientista de big data bem-sucedido, é preciso também dominar os seguintes recursos:

  • Capacidade de trabalhar em um ambiente multidisciplinar acelerado
  • Comunicação escrita e verbal forte
  • Ser capaz de desenvolver bancos de dados de programas.
  • Capacidade de consultar bancos de dados e realizar análises estatísticas
  • Capacidade de criar exemplos e demonstrações
  • Capacidade de trabalhar de forma autônoma
  • Bom entendimento de princípios de design e arquitetura

Big Data Analyst : O Big Data Analyst auxilia o Big Data Scientist na execução dos trabalhos necessários. Seu trabalho é principalmente trabalhar com dados em um determinado sistema e analisar diferentes conjuntos de dados. O próximo trabalho para um Analista de Big Data pode ser o de um cientista de Big Data. E, portanto, ele precisa possuir conjuntos semelhantes de habilidades e capacidades. As habilidades incluem habilidades de mineração de dados (incluindo auditoria de dados, agregação, validação e reconciliação), técnicas avançadas de modelagem,

About the Author

Eshna writes on PMP, PRINCE2, ITIL, ITSM, & Ethical Hacking. She has done her Masters in Journalism and Mass Communication and is a Gold Medalist in the same. A voracious reader, she has penned several articles in leading national newspapers like TOI, HT, and The Telegraph. She loves travelling and photography.

Recommended articles for you

Data Science vs. Big Data vs. Data Analytics

Article

The Simplilearn Edge: Big Data and Analytics

Article

How to Boost Your Career in Big Data and Analytics

Article

{{detail.h1_tag}}

{{detail.display_name}}
{{author.author_name}} {{author.author_name}}

{{author.author_name}}

{{detail.full_name}}

Published on {{detail.created_at| date}} {{detail.duration}}

  • {{detail.date}}
  • Views {{detail.downloads}}
  • {{detail.time}} {{detail.time_zone_code}}

Registrants:{{detail.downloads}}

Downloaded:{{detail.downloads}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}}

Hosted By

Profile

{{author.author_name}}

{{author.author_name}}

{{author.about_author}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}!

First Name*
Last Name*
Email*
Company*
Phone Number*

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

{{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}} Expired

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}

Email
{{ queryPhoneCode }}
Phone Number

Show full article video

Name Date Place
{{classRoomData.Date}} {{classRoomData.Place}} View Details

About the Author

{{detail.author_biography}}

About the Author

{{author.about_author}}

Recommended articles for you

{{ article.title }}

Article