Avalie as novas regras de armazenamento de dados na era Big Data

Avalie as novas regras de armazenamento de dados na era Big Data
Author

Eshna

Last updated October 31, 2016


  • 715 Views

O fundo
A quantidade de dados no mundo dos negócios continua a triplicar a cada ano. O McKinsey Global Institute prevê que os volumes de dados globais crescerão a uma taxa anual composta de 40% entre 2009 e 2020. Isso é amplamente explicado pela importância dos dados no suporte ao processo de tomada de decisão. Todos os dias, as organizações coletam cargas de dados sobre seus clientes, funcionários, concorrentes e os mercados em que operam. Olhando para além dos dados, estabelece o potencial para criar e desenvolver capacidades e competências de negócios.

Mineração desses conjuntos de dados para desenterrar informações críticas sobre como vários interessados ​​percebem a organização e no desenvolvimento de produtos melhores para satisfazer os clientes é a verdadeira arte. No futuro, esta será certamente a nova forma de operação comercial. O surgimento da disciplina de big data está agora entrincheirado na prática acadêmica e de negócios. O surgimento de plataformas multimídia, mídias sociais e internet continuará a impulsionar o surgimento de dados e informações nas organizações.

Preparando-se para uma carreira em Ciência de Dados? Faça este teste para saber onde você está!


Características de big data
Enquanto a maioria das organizações mantém a atenção no volume de dados gerados a cada ano, existem alguns outros recursos de dados que são igualmente importantes. A velocidade dos dados refere-se à velocidade com que os dados são transmitidos para as organizações. O surgimento de plataformas de mídia social significa que os clientes podem fornecer feedback em um ritmo mais rápido do que nunca.

Esse influxo de as opiniões podem ajudar as organizações a desenvolver melhores capacidades de gerenciamento de clientes. Outra característica é a variedade de dados. Os modernos métodos de dados apresentam recursos empolgantes capazes de capturar mais informações à medida que novos serviços são implantados.

Finalmente, o valor dos dados é igualmente importante. A mineração de dados é o processo pelo qual as organizações identificam o que é importante e o que não é importante. Há pouca dúvida em aumentar a necessidade de capturar o máximo de dados possível nas organizações e desbloquear as informações ocultas ocultas nele.

A grande vantagem continua a criar organizações competitivas capazes de criar e capturar mais valor. Mais importante, tornou-se um tema chave em vários setores. No entanto, é um fato interessante que o que consideramos big data hoje certamente será um dado muito pequeno nos próximos 10 a 20 anos. O crescimento exponencial dos dados continuará em uma trajetória ascendente no futuro próximo.

Redefinindo Big Data
Por um período muito longo, as organizações confiaram nas plataformas tradicionais de armazenamento de dados para tomar decisões. A maior parte do processo de tomada de decisão foi realizada por meio de dados transacionais capturados em bancos de dados organizacionais. O desenvolvimento dos dados não tradicionais e menos estruturados tem sido de grande importância. Nos últimos tempos, houve um enorme desenvolvimento de weblogs, plataformas de e-mail, mídias sociais, sensores e fotografias.

Essas são fontes de dados cruciais que podem ser extraídas para estabelecer insights críticos em gerenciamento de negócios. Essas fontes de dados não tradicionais são igualmente eficientes e menos dispendiosas. Como resultado, a maioria das organizações está incorporando rapidamente essas ferramentas em suas redes de business intelligence. De uma só vez, o big data envolve os dados corporativos tradicionais, os dados gerados pela máquina e os dados sociais. O investimento em ferramentas certas é importante para obter o máximo valor do big data. Desde a captura de transações até a realização de análises complexas, as organizações precisam desenvolver novos insights e descobrir novas relações comerciais.

A grande vantagem dos dados
Um estudo realizado pelo MGI e pelo escritório de tecnologia da Mckinsey é bastante interessante. O estudo abrangeu cinco setores principais nos Estados Unidos e na Europa, o sistema de saúde nos EUA, as empresas públicas na Europa, o setor de varejo nos EUA, a fabricação e a localização pessoal globalmente. A conclusão subjacente foi que big data tem o potencial de criar mais valor para esses setores. No setor de varejo, descobriu-se que um varejista que utiliza o big data tem o potencial de melhorar as margens operacionais em mais de sessenta pontos percentuais.

O sistema de saúde dos Estados Unidos poderia adicionar mais de US $ 300 bilhões por ano se a abordagem de big data fosse efetivamente aplicada. Da mesma forma, as economias desenvolvidas da Europa poderiam economizar US $ 149 bilhões em prestação de serviços e reduzir substancialmente a fraude, os erros e a corrupção. Além das vantagens do big data, as organizações e os governos precisam considerar os aspectos de armazenamento de dados.

Ameaças e armadilhas de segurança exigem a necessidade de garantir que esses conjuntos de dados sejam bem protegidos para evitar qualquer forma de invasão. Como tal, as pessoas precisam avaliar constantemente as novas regras de armazenamento de dados na era do big data. O significado do big data pode se manifestar de cinco formas principais. Como discutido anteriormente, os grandes conjuntos de dados podem obter um valor imenso, tornando as informações mais transparentes e disponíveis a uma taxa mais alta. Assim, acelera o processo de tomada de decisão.

Além disso, a gestão organizacional e os funcionários têm uma melhor compreensão de seus negócios. Isso vai mais provavelmente levar a uma maior produtividade, maior inovação e uma vantagem competitiva. Todos esses aspectos têm um impacto positivo nas linhas de cima e de baixo de uma organização. Bons exemplos incluem o uso de dispositivos de monitoramento doméstico para monitorar o paciente em casa. Esses gadgets ajudam a melhorar a prestação de serviços de saúde.

Os pacientes podem ser monitorados a partir de casa, portanto, não precisam freqüentar o hospital com frequência. Empresas de manufatura conectam sensores em seus produtos para monitorar seus clientes. Essas empresas podem receber padrões de uso e taxas de falha que estabelecem a base para outras melhorias. O uso extensivo de telefones celulares e de dispositivos habilitados para GPRS permite que profissionais de marketing e anunciantes alcancem os consumidores quando eles estão muito próximos de suas lojas. Assim, as organizações podem aumentar seus fluxos de receita. Em segundo lugar, uma vez que as organizações estão continuamente coletando informações sobre seus produtos e serviços, fica muito mais fácil desenvolver relatórios de desempenho detalhados que ajudam a expor áreas fracas na organização.

Os dados também podem ser usados ​​para simular a organização em diferentes circunstâncias. Isso pode ajudar a melhorar a tomada de decisões através de previsões e técnicas de casting. Terceiro, permite que as organizações desenvolvam uma segmentação mais restrita de seus clientes e, assim, desenvolvam produtos melhores para eles. Em quarto lugar, permite a criação de ferramentas analíticas de negócios mais sofisticadas . Por fim, esses dados podem ser usados ​​para desenvolver mais produtos e ofertas de serviços.

Desenvolvendo recursos de big data
O desenvolvimento de uma plataforma de big data requer considerações especiais. A recente onda de hacks de sistemas e problemas de segurança exige que os desenvolvedores manejem cuidadosamente cadeias de extrato envolvidas para desenvolver uma plataforma sólida que capture e mantenha a integridade do sistema. No desenvolvimento, os detalhes da plataforma precisam ser colocados nessas três áreas principais; aquisição de dados, organização de dados e análise de dados. A aquisição de dados deve ser capaz de capturar grandes fluxos de dados.

O fenômeno dos big data envolve maior velocidade e maior variedade. A plataforma deve ser previsível na captura de dados e na execução de consultas simples. Mais importante, deve ser capaz de acomodar volumes razoavelmente altos de transações, que geralmente são distribuídas em muitos locais. As organizações de dados envolvem a integração dos dados capturados de uma maneira que pode ser facilmente analisada. Por exemplo, pode-se desejar agrupar todos os clientes de acordo com algum critério especificado.

O desenvolvimento de grandes volumes de dados requer que a plataforma desenvolva mecanismos de organização dos dados em seu destino inicial. Isso ajuda a economizar tempo e dinheiro, pois não envolve a movimentação de grandes volumes de dados. O desenvolvimento da tecnologia Hadoop é bastante interessante. Ele permite o processamento de grandes volumes de dados nos dispositivos iniciais de armazenamento de dados e clusters. Veja um exemplo do sistema de arquivos distribuídos do Hadoop, que é um sistema de armazenamento de longo prazo para os registros da Web. A tecnologia manipula os logs da web em sessões de navegação pelo uso de programas MapReduce. Os programas geram resultados agregados no mesmo cluster que são então carregados nos sistemas de gerenciamento de banco de dados relacionais .

A análise de dados pode envolver o movimento de dados do local de armazenamento inicial ou também pode ser feito em Localizações. Em um ambiente distribuído, alguns dados podem ser deixados em seu local original, enquanto o restante é movido para um data warehouse. A análise de dados envolve análises mais profundas, como métodos estatísticos e recursos de mineração de dados. Uma boa análise de dados deve ser capaz de processar grandes volumes, desenvolver mecanismos de resposta rápida e automatizar decisões com base em modelos desenvolvidos. Melhores insights devem ser capazes de analisar os novos dados no contexto dos conjuntos de dados anteriores e fornecer novos insights sobre os problemas anteriores.

O espectro de solução e armazenamento
Há uma grande variedade de plataformas tecnológicas para atender aos requisitos de infra-estrutura necessários para cuidar da captura, integração e análise de dados. Embora existam mais de 120 bancos de dados de código aberto para capturar e armazenar dados, a tecnologia Hadoop se destacou como a mais comum na organização de dados enormes. Esses sistemas também criaram soluções compostas de soluções SQL e não SQL. Enquanto os sistemas não SQL são desenvolvidos para capturar dados e classificá-los na entrada no sistema, os sistemas SQL colocam os dados em estruturas definidas.

Toda vez que as organizações quiserem migrar grandes quantidades de dados das plataformas de armazenamento existentes para os recursos de big data, precisarão alterar bastante os processos de ETL. Os desenvolvimentos recentes na tecnologia da CPU garantem que os novos processos serão integrados sem problemas. O maior desafio, no entanto, tem sido os recursos de armazenamento. Plataformas de Big Data exigem transferência maciça de enormes quantidades de dados. Em muitas circunstâncias, os bancos de dados podem precisar ser obtidos através do processo ETL. Durante esse processo, as informações geralmente são removidas das fontes atuais e desenvolvidas para um formato compatível, como o Hadoop, antes de serem carregadas para o formato final do HDFS.

Como tal, o processo de ETL é um componente importante no processo de big data. É importante Perceba que as velocidades de rede e armazenamento normalmente são executadas em uma fração mínima de todo o processo de computação. Isso reduz a eficácia e a latência do sistema. A tecnologia Hadoop processa dados em lotes, o que requer que todas as informações sejam redirecionadas por meio do ETL. As soluções de armazenamento de estado sólido melhoram o desempenho da leitura ou gravação de informações no final do processo de ETL. Eles permitem que a leitura e a gravação de dados sejam feitas em altas velocidades. A instalação de memórias de estado sólido nas duas extremidades da rede é certamente a melhor solução para os recursos de big data. Funciona permitindo que as informações sejam transmitidas rapidamente de uma extremidade à outra da rede.

A velocidade rápida das informações permite a gravação e a latência de dados. Largura de banda de informação também é melhorada. Também é muito fácil eliminar a rede de alta velocidade se os armazenamentos de origem e destino estiverem nos mesmos sistemas. Ele reduz efetivamente os atrasos associados ao processo de ETL quando os dados não precisam viajar por uma rede. Os recursos de armazenamento em estado sólido fornecem soluções práticas e econômicas para as plataformas e tecnologias de big data. Isso é assim porque; eles geralmente processam milhões de dados. Pelo contrário, no entanto, os discos rígidos tradicionais são geralmente muito lentos e muito caros. O desempenho também depende muito do tempo para valorizar e do tempo para as capacidades de percepção.

O tempo de percepção pode ser reduzido processando mais informações mais rapidamente. No entanto, reduzir o tempo para o valor pode exigir o aumento do processo com experiência e intuição. Como tal, isso torna a simplicidade uma consideração importante ao resolver os problemas de armazenamento para as plataformas de big data. As plataformas de big data geralmente incorporam várias melhorias para lidar com o aumento de complexidades. Complexidade é geralmente um recurso recorrente. À medida que mais e mais componentes precisam ser integrados, o nível de a complexidade aumenta igualmente. O gerenciamento dos componentes aumentados também pode ser outra dor de cabeça.

É importante observar que, reduzindo o número de componentes, não se reduz necessariamente a complexidade da plataforma de Big Data. O uso de um array de memória totalmente flash foi apontado como uma das melhores práticas em problemas de armazenamento na tecnologia de Big Data. Os dispositivos de estado sólido não precisam ser ligados, como é o caso dos sistemas tradicionais de armazenamento magnético. As tecnologias de big data apresentam uma série de desafios. Eles provavelmente falharão com frequência. Por isso, o teste constante é muitas vezes um mantra repetido e confiável no desenvolvimento e manutenção desses sistemas.

About the Author

Eshna is a writer at Simplilearn. She has done Masters in Journalism and Mass Communication and is a Gold Medalist in the same. A voracious reader, she has penned several articles in leading national newspapers like TOI, HT and The Telegraph. She loves traveling and photography.

Recommended articles for you

Data Science vs. Big Data vs. Data Analytics

Article

What's The Big Deal About Big Data?

Article

How Big Is Big Data?

Article

{{detail.h1_tag}}

{{detail.display_name}}
{{author.author_name}} {{author.author_name}}

{{author.author_name}}

{{detail.full_name}}

Published on {{detail.created_at| date}} {{detail.duration}}

  • {{detail.date}}
  • Views {{detail.downloads}}
  • {{detail.time}} {{detail.time_zone_code}}

Registrants:{{detail.downloads}}

Downloaded:{{detail.downloads}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}}

Hosted By

Profile

{{author.author_name}}

{{author.author_name}}

{{author.about_author}}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

About the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook' }}

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}!

First Name*
Last Name*
Email*
Company*
Phone Number*

View {{detail.about_title && detail.about_title != null ? detail.about_title : 'On-Demand Webinar'}}

Webcast

Register Now!

{{detail.about_title && detail.about_title != null ? detail.about_title : 'Webinar'}} Expired

Download the {{detail.about_title && detail.about_title != null ? detail.about_title : 'Ebook'}}

Email
{{ queryPhoneCode }}
Phone Number

Show full article video

Name Date Place
{{classRoomData.Date}} {{classRoomData.Place}} View Details

About the Author

{{detail.author_biography}}

About the Author

{{author.about_author}}

Recommended articles for you

{{ article.title }}

Article