O que é Big Data e por que você deveria se importar?

O que é Big Data e por que você deve se importar?
Author

Priyadharshini

Last updated August 4, 2017


  • 11324 Views

Com a tecnologia já tendo atingido o ápice de sua mais alta implementação de uso, você estaria bem ciente de suas principais funcionalidades, processos, usos e a importância geral. Em agosto de 2015, ele escapou do Hype Cycle for Emerging Technologies da Gartner em 2015 e criou uma grande agitação no mundo da tecnologia.

Se você não foi tão habilidoso em tecnologia e perdeu informações cruciais sobre Big Data, este artigo fornecerá detalhes sobre tudo o que você precisa saber desde o início para entender melhor a tecnologia.


Big Data - O que isso significa?

Como o Gartner define - "Big Data são ativos de informação de grande volume, alta velocidade e / ou alta variedade que exigem novas formas de processamento para permitir a tomada de decisão aprimorada, descoberta de insight e otimização de processo".

Vamos aprofundar e entender isso em termos mais simples.

O termo 'big data' é auto-explicativo - uma coleção de conjuntos de dados extremamente grandes que as técnicas de computação normais não podem processar. O termo não se refere apenas aos dados, mas também às várias estruturas, ferramentas e técnicas envolvidas.

O avanço tecnológico e o advento de novos canais de comunicação (como redes sociais) e dispositivos novos e mais fortes têm apresentado um desafio para os participantes do setor, no sentido de que eles precisam encontrar outras formas de lidar com os dados.



Desde o início dos anos até 2003, o mundo inteiro só tinha cinco bilhões de gigabytes de dados. A mesma quantidade de dados foi gerada em apenas dois dias em 2011. Até 2013, esse volume foi gerado a cada dez minutos. Não é, portanto, surpreendente que a geração de 90% de todos os dados do mundo tenha sido nos últimos anos.

Todos esses dados são úteis quando processados, mas foram negligenciados antes que o conceito de big data aparecesse.

Sugestão: Para saber mais sobre Big Data e obter seu apoio na indústria de Ciência de Dados, considere o treinamento de certificação profissional em Big Data ou em tecnologias afins, como Impala , Cassandra , Spark e Scala .

As principais fontes de big data

  1. Black Box Data : Estes são os dados gerados pelos aviões, incluindo jatos e helicópteros. Os dados da caixa preta incluem vozes da tripulação de voo, gravações de microfones e informações de desempenho da aeronave.
  2. Dados de mídia social : são dados desenvolvidos por sites de mídia social como Twitter, Facebook, Instagram, Pinterest e Google+.
  3. Dados da bolsa de valores: são dados das bolsas de valores sobre as decisões de compra e venda de ações tomadas pelos clientes.
  4. Dados da Power Grid : são dados das redes elétricas. Ele contém informações sobre nós específicos, como uso em formação.
  5. Dados de transporte : Isso inclui a capacidade possível, o modelo do veículo, a disponibilidade e a distância percorrida por um veículo.
  6. Dados do mecanismo de pesquisa : essa é uma das maiores fontes de big data. Os mecanismos de pesquisa têm vastos bancos de dados onde obtêm seus dados.

Além disso, Bernard Marr, um especialista em Big Data e Analytics, elaborou sua lista brilhante de 20 fontes de Big Data que estão disponíveis gratuitamente para todos na web. Alguns deles são informados sobre aqui.

  • Data.gov - onde todos os dados do governo dos EUA são de acesso livre e informações que variam do clima ao crime estão disponíveis.
  • Analogamente a este é o portal do Governo do Reino Unido, Data.gov.uk , onde os metadados de todos os livros e publicações do Reino Unido desde 1950 podem ser reunidos.
  • E algo mais próximo de nossos interesses - o Facebook Graph , fornece as informações da interface do programa aplicativo (Graph API), depois de coletar informações de todos os dados que são compartilhados publicamente por seus usuários.

Google Trends , Google Finance, conjuntos de dados públicos da Amazon Web Services , são exemplos semelhantes.
A partir desses exemplos, fica claro que big data não é apenas sobre volumes. Também inclui extensa variedade e alta velocidade de dados. Em 2001, Doug Laney - um analista da indústria - articulou os 3 Vs de big data como velocidade, volume e variedade.

A velocidade com que os dados são transmitidos, hoje em dia, é sem precedentes, dificultando o seu tratamento em tempo hábil. Medições inteligentes, sensores e etiquetas RFID tornam necessário lidar com torrents de dados quase em tempo real. A maioria das organizações acha difícil reagir aos dados rapidamente.

Não há muitos anos, ter muitos dados era simplesmente um problema de armazenamento. No entanto, com o aumento da capacidade de armazenamento e a redução dos custos de armazenamento, os participantes do setor, como o suporte DBA remoto, agora estão se concentrando em como os dados relevantes podem gerar valor.

Há uma variedade maior de dados hoje do que há alguns anos atrás. Os dados são amplamente classificados como dados estruturados (dados relacionais), dados semiestruturados (dados na forma de folhas XML) e dados não estruturados (registros de mídia e dados na forma de arquivos PDF, Word e Texto). Muitas empresas precisam lidar com o governo, o gerenciamento e a fusão das diferentes variedades de dados.



A veracidade (a qualidade dos dados), a variabilidade (a inconsistência que os dados às vezes exibem) e a complexidade (ao lidar com grandes volumes de dados de diferentes fontes) são outras características importantes dos dados.

Poucos dos muitos méritos…

  1. O consumidor de hoje é muito exigente. Ele fala com clientes anteriores em mídias sociais e analisa diferentes opções antes comprando. Um cliente quer ser tratado como indivíduo e ser agradecido depois de comprar um produto. Com o Big Data, você obterá dados acionáveis ​​que podem ser usados ​​para interagir com seus clientes individualmente, em tempo real.
Uma maneira pela qual o big data permite fazer isso é que você poderá verificar o perfil de um cliente reclamante em tempo real e obter informações sobre o (s) produto (s) sobre o qual ele / ela está reclamando. Você poderá, então, executar o gerenciamento de reputação.
  1. O Big Data permite que você desenvolva novamente os produtos / serviços que você está vendendo. Informações sobre o que os outros pensam sobre seus produtos - como através de textos não estruturados de sites de redes sociais - ajudam você no desenvolvimento de produtos.
  2. O Big Data permite que você teste diferentes variações de imagens CAD (design assistido por computador) para determinar como pequenas alterações afetam seu processo ou produto. Isso torna o big data inestimável no processo de fabricação.
  3. Análise preditiva irá mantê-lo à frente de seus concorrentes. O Big Data pode facilitar isso, por exemplo, digitalizando e analisando feeds de mídia social e relatórios de jornais. O Big Data também ajuda você a fazer testes de integridade em seus clientes, fornecedores e outras partes interessadas para ajudá-lo a reduzir riscos, como a falta de padrões.

  1. Big data é útil para manter os dados seguros. As ferramentas de Big Data ajudam você a mapear o panorama de dados de sua empresa, o que ajuda na análise de ameaças internas. Por exemplo, você saberá se suas informações confidenciais têm proteção ou não. Um exemplo mais específico é que você poderá sinalizar o envio por e-mail ou o armazenamento de números de 16 dígitos (que poderiam, potencialmente, ser cartão de crédito números).
  1. Big data permite que você diversifique seus fluxos de receita. A análise de big data pode fornecer dados de tendência que podem ajudá-lo a criar um fluxo de receita completamente novo.
  1. Seu site precisa ser dinâmico para competir favoravelmente no espaço on-line lotado. A análise de big data ajuda a personalizar a aparência / conteúdo e a sensação do seu site para atender a todos os visitantes com base, por exemplo, em nacionalidade e sexo. Um exemplo disso é o IBCF da Amazon (filtragem colaborativa baseada em itens) que direciona seus recursos “Pessoas que você pode conhecer” e “Frequentemente comprados juntos”.
  2. Se você estiver executando uma fábrica, o big data é importante porque você não precisará substituir peças de tecnologia com base no número de meses ou anos em que estiver em uso. Isso é caro e impraticável, já que diferentes peças se desgastam em taxas diferentes. O Big Data permite detectar dispositivos com falha e prever quando você deve substituí-los.
  3. Big data é importante no setor de saúde , que é uma das últimas indústrias ainda presas a uma abordagem convencional generalizada. Por exemplo, se tiver câncer, você passará por uma terapia e, se isso não funcionar, seu médico recomendará outra terapia. Big data permite que um paciente com câncer consiga medicação que é desenvolvida com base em seus genes individuais.

Então, nós decodificamos o enigma do Big Data para você? Ainda curioso para saber mais? Aqui está outro artigo - Big Data é exagerado? , que mergulha mais profundamente na importância da tecnologia e dos fatores de hype que cercam o domínio.

Preparando-se para uma carreira em Ciência de Dados? href = "https://www.simplilearn.com/data-science-foundations-with-r-free-practice-test?source=PracticeTestCTA" target = "_ blank"> Faça este teste para saber onde você está!



Para saber mais sobre o curso Big Data Hadoop Administrator oferecido pela Simplilearn, clique aqui.

Treinamento de Big Data e Administrador do Hadoop

Aqui está uma introdução aos treinamentos Big Data e Hadoop oferecidos por nós:

Encontre nosso Treinamento em Big Data e Certificação de Desenvolvedor Hadoop em suas cidades próximas:

Toronto Cingapura Melbourne Sydney Londres Hyderabad Bangalore Delhi target = "_ blank"> Mumbai
Chennai Dallas São Francisco Atlanta Houston Boston

Find our Big Data Hadoop and Spark Developer Online Classroom training classes in top cities:

Name Date Place
Big Data Hadoop and Spark Developer 29 Sep -4 Nov 2018, Weekend batch Your City View Details
Big Data Hadoop and Spark Developer 6 Oct -11 Nov 2018, Weekend batch Your City View Details
Big Data Hadoop and Spark Developer 14 Oct -4 Nov 2018, Weekdays batch Your City View Details

About the Author

Priyadharshini is a knowledge analyst at Simplilearn, specializing in Project Management, IT, Six Sigma, and e-Learning. With a penchant for writing and a passion for professional education & development, she is adept at penning educative articles. She was previously associated with Oxford University Press and Pearson Education, India.


{{detail.h1_tag}}

{{detail.display_name}}
{{author.author_name}} {{author.author_name}}

{{author.author_name}}

{{detail.full_name}}

Published on {{detail.created_at| date}} {{detail.duration}}

  • {{detail.date}}
  • Views {{detail.downloads}}
  • {{detail.time}} {{detail.time_zone_code}}

Registrants:{{detail.downloads}}

Downloaded:{{detail.downloads}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}}

Hosted By

Profile

{{author.author_name}}

{{author.author_name}}

{{author.about_author}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}!

First Name*
Last Name*
Email*
Company*
Phone Number*

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

{{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}} Expired

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}

Email
{{ queryPhoneCode }}
Phone Number

Show full article video

Name Date Place
{{classRoomData.Date}} {{classRoomData.Place}} View Details

About the Author

{{detail.author_biography}}

About the Author

{{author.about_author}}