Qual é o tamanho dos Big Data?

Quão grande é o Big Data?
Author

Eshna Verma

Last updated November 2, 2016


  • 2704 Views

Big Data é um termo popular usado para descrever a coleta massiva de dados, seja estruturada, semiestruturada, não estruturada ou bruta. Os dados podem ser definidos como um ativo no balanço.

De acordo com a Gartner, o Big Data compreende alto volume, velocidade e variedade de ativos de informação que demandam formas inovadoras e econômicas de processamento de informações para obter insights e tomadas de decisão aprimoradas. Portanto, os 3 Vs de Big Data aceitos globalmente são:

  • Volume - quantidade de dados
  • Velocidade - velocidade de entrada e saída de dados e
  • Variedade - variedade de tipos de dados e fontes que incluem: documentos de texto não estruturados, imagem, vídeo, e-mail, áudio, dados de ações, transações financeiras, etc.

No entanto, estudos recentes adicionaram mais dois componentes que descrevem Big Data, a saber:

  • Variabilidade: Às vezes, o fluxo de dados é altamente inconsistente com picos periódicos que dificultam o processo de manipulação e gerenciamento de dados de forma eficaz.
  • Complexidade: como grandes volumes de dados vêm de várias fontes, o gerenciamento de dados se torna uma tarefa desafiadora.



De fato, os conjuntos de dados são tão grandes e complexos que se torna muito difícil e desafiador processá-los usando os aplicativos tradicionais de processamento de dados. Estima-se que cerca de 2,5 quintilhões de bytes de dados sejam criados todos os dias.

Isto implica que cerca de 90% do total mundial de dados foi criado nos últimos dois anos. Deve-se notar aqui que cerca de 80% dos dados totais não são estruturados - há dados coletados de sensores usados ​​para coletar informações meteorológicas, postagens em mídias sociais, fotos e vídeos digitais, registros de transações de compra, GPS do telefone celular e muitos Mais.

Preparando-se para uma carreira em Ciência de Dados? Faça este teste para saber onde você está!





Tanto o governo quanto o setor privado usaram o Big Data para aumentar sua produtividade. A análise de Big Data teve um papel fundamental na bem-sucedida campanha de reeleição de Barack Obama em 2012. Testemunhando o papel do Big Data no enfrentamento dos problemas enfrentados pelo governo, o governo Obama anunciou a iniciativa Big Data Research and Development em 2012. O governo federal dos Estados Unidos possui seis dos dez supercomputadores mais poderosos do mundo.

No setor privado, o Facebook usa Big Data para lidar com 50 bilhões de fotos da base de seus usuários. A Amazon.com usou a tecnologia baseada em Linux para lidar com milhões de operações de back-end todos os dias. O eBay.com utiliza dois armazéns de dados de 7,5 PB e 40 PB, bem como um cluster de 40 PB Hadoop para pesquisa. O sistema de Detecção de Fraude de Cartões de Crédito da FICO Falcon garante 2,1 bilhões de contas ativas em todo o mundo.

O Walmart lida com mais de 1 milhão de transações de clientes a cada hora, que são importadas para bancos de dados com estimativa de mais de 2,5 petabytes de dados. Segundo estimativas, o volume de dados em todo o mundo dobra a cada 1,2 anos.

Papel do Big Data em uma empresa

A evolução dos bancos de dados de Big Data permitiu que as empresas soubessem a importância dos dados em seu crescimento e sucesso. Esses bancos de dados ajudaram as empresas a economizar dinheiro, aumentar a receita e alcançar muitos outros objetivos de negócios. O verdadeiro desafio enfrentado pelas empresas é encontrar uma informação crítica que forneça a vantagem competitiva. O Hadoop ajuda no gerenciamento e no gerenciamento de grandes quantidades de dados. Também ajuda a transformar os dados em uma estrutura e um formato mais utilizáveis ​​e extrai análises valiosas dela.
 

 

Big Data no Desenvolvimento Internacional

O escopo do Big Data não se limita a empresas de TI ou a qualquer setor específico. De acordo com a Pesquisa sobre Usos Eficazes de Tecnologias de Informação e Comunicação para o Desenvolvimento (ICT4D), as tecnologias de Big Data podem ser extremamente úteis e podem fazer contribuições importantes na solução de desafios no desenvolvimento internacional. Os avanços nas tecnologias de Big Data resultam na criação de oportunidades econômicas que ajudam a melhorar o processo de tomada de decisões em áreas críticas de desenvolvimento, como saúde, emprego, lei e crime, segurança, calamidade natural, etc.

Oportunidades de grande trabalho em Big Data

O Big Data oferece grandes oportunidades de emprego no setor de TI, desde que você tenha as qualificações certas. Um estudo realizado pela Mckinsey & Company em 2011, relata que os Estados Unidos podem enfrentar uma aguda escassez de pessoas com profundos conhecimentos analíticos em big data. As empresas estão e continuarão a procurar pessoas qualificadas que possam aproveitar a promessa de vantagem competitiva da Big Data. Existem vários trabalhos de big data que exigem profissionais qualificados.
 
Chief Data Officer : Uma pessoa responsável pela implementação geral e execução de Big Data em uma organização. Ele ou ela tem uma cadeira importante na organização. Ele ou ela deve ser um membro do conselho executivo de uma organização, reportando-se diretamente ao CEO.

Big Data Scientist: Este será um dos trabalhos mais procurados do século XXI. Como a indústria de Big Data está testemunhando um crescimento mágico, a demanda por Big Data Scientist é mais do que nunca. Mas esta não é uma tarefa fácil. Para se tornar um cientista de Big Data de sucesso, é necessário possuir algumas habilidades especializadas , como processos de aprendizagem natural, aprendizado de máquina, modelagem conceitual, análise estatística, modelagem preditiva e testes hipotéticos, etc.
Para ser um cientista de big data bem-sucedido, é preciso também dominar os seguintes recursos:

  • Capacidade de trabalhar em um ambiente multidisciplinar acelerado
  • Comunicação escrita e verbal forte
  • Ser capaz de desenvolver bancos de dados de programas.
  • Capacidade de consultar bancos de dados e realizar análises estatísticas
  • Capacidade de criar exemplos e demonstrações
  • Capacidade de trabalhar de forma autônoma
  • Bom entendimento de princípios de design e arquitetura

Big Data Analyst : O Big Data Analyst auxilia o Big Data Scientist na execução dos trabalhos necessários. Seu trabalho é principalmente trabalhar com dados em um determinado sistema e analisar diferentes conjuntos de dados. O próximo trabalho para um Analista de Big Data pode ser o de um cientista de Big Data. E, portanto, ele precisa possuir conjuntos semelhantes de habilidades e capacidades. As habilidades incluem habilidades de mineração de dados (incluindo auditoria de dados, agregação, validação e reconciliação), técnicas avançadas de modelagem,

Find our Big Data Hadoop and Spark Developer Online Classroom training classes in top cities:

Name Date Place
Big Data Hadoop and Spark Developer 29 Sep -4 Nov 2018, Weekend batch Your City View Details
Big Data Hadoop and Spark Developer 6 Oct -11 Nov 2018, Weekend batch Your City View Details
Big Data Hadoop and Spark Developer 14 Oct -4 Nov 2018, Weekdays batch Your City View Details

About the Author

Eshna writes on PMP, PRINCE2, ITIL, ITSM, & Ethical Hacking. She has done her Masters in Journalism and Mass Communication and is a Gold Medalist in the same. A voracious reader, she has penned several articles in leading national newspapers like TOI, HT, and The Telegraph. She loves travelling and photography.


{{detail.h1_tag}}

{{detail.display_name}}
{{author.author_name}} {{author.author_name}}

{{author.author_name}}

{{detail.full_name}}

Published on {{detail.created_at| date}} {{detail.duration}}

  • {{detail.date}}
  • Views {{detail.downloads}}
  • {{detail.time}} {{detail.time_zone_code}}

Registrants:{{detail.downloads}}

Downloaded:{{detail.downloads}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}}

Hosted By

Profile

{{author.author_name}}

{{author.author_name}}

{{author.about_author}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}!

First Name*
Last Name*
Email*
Company*
Phone Number*

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

{{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}} Expired

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}

Email
{{ queryPhoneCode }}
Phone Number

Show full article video

Name Date Place
{{classRoomData.Date}} {{classRoomData.Place}} View Details

About the Author

{{detail.author_biography}}

About the Author

{{author.about_author}}