Contente
- Princípios de código aberto salientes que inspiraram o Apache Hadoop
- Influência do código aberto no ecossistema Hadoop
- Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
- Conclusão
Fonte: Volker Schlichting / Dreamstime.com
Leve embora:
O código-fonte aberto está no centro do desenvolvimento de software, dando aos criadores um domínio livre. Isto é especialmente verdade com o Hadoop e suas muitas facetas.
Uma das principais razões pelas quais o ecossistema do Hadoop é um sucesso tão grande é o fato de ser uma estrutura de software de big data gratuita e aberta. Os desenvolvedores de software podem acessar e modificar seu código-fonte para criar seus próprios produtos ou aplicativos de big data. O Hadoop resultou na criação de vários aplicativos de análise de big data. No momento em que o big data está definindo nossas vidas, provavelmente é justo dizer que o Hadoop está definindo como o big data deve ser analisado. Isso foi possível principalmente porque o ecossistema Apache Hadoop deriva seus princípios dos valores de software de código aberto. Nesse contexto, é bastante pertinente determinar os princípios que inspiraram o ecossistema do Hadoop. Os princípios destacados são discutidos abaixo.
Princípios de código aberto salientes que inspiraram o Apache Hadoop
- Acesso ao código-fonte - De acordo com os princípios de código-fonte aberto, o código-fonte do software de código-fonte aberto deve estar disponível para qualquer pessoa para modificação e aprimoramento. Um desenvolvedor de software pode até criar aplicativos de software usando o código-fonte. Portanto, a estrutura do Hadoop está sendo reutilizada e modificada para desenvolver vários aplicativos de software em torno dela.
- Colaboração - Um software de código aberto de qualidade é criado quando várias pessoas se reúnem. A colaboração pode dar origem a novas idéias, resolver problemas complexos que alguém que trabalha em um silo provavelmente não pode e descobrir novas maneiras de visualizar um problema.
- Não há discriminação contra nenhum interesse - De acordo com o sistema de código aberto, qualquer pessoa pode editar o código-fonte, criar um aplicativo e distribuí-lo gratuitamente, vendê-lo ou usá-lo para fins de pesquisa. Esse princípio inspira a criação de vários aplicativos de software disponíveis gratuitamente ou comercialmente.
- A licença é neutra em termos de tecnologia - os termos e condições da licença de código-fonte aberto não favorecem nenhuma tecnologia ou linguagem de programação específica. O código fonte pode ser usado para desenvolver aplicativos de software em qualquer plataforma.
- Sem restrições no software usado - Qualquer pessoa que acesse o código-fonte e desenvolva outro aplicativo de software é livre para usar outro software ou outros códigos-fonte.
Influência do código aberto no ecossistema Hadoop
O ecossistema Hadoop é um arranjo abrangente e bem organizado que torna a análise de big data simples e precisa. O ecossistema Hadoop compreende vários aplicativos de software, cada um especializado em uma tarefa específica. No entanto, enquanto todo o ecossistema é uma combinação de ferramentas de software, cada uma delas é capaz de realizar um trabalho especializado de forma independente. Isso significa que você pode escolher as ferramentas específicas necessárias para cumprir seu objetivo - o Hadoop é flexível. O Hadoop não o vincula por regras que o obrigam a usar o software de uma certa maneira. Você pode usar o código-fonte da maneira que desejar.
Vamos dar uma olhada em uma visão geral de como o ecossistema Hadoop funciona e também como ele adota os princípios de código aberto ao longo do caminho.
Vamos começar com uma definição básica do Hadoop. De acordo com a IBM, “o Apache Hadoop é um projeto de software de código aberto que permite o processamento distribuído de grandes conjuntos de dados entre clusters de servidores comuns. Ele foi projetado para expandir de um único servidor para milhares de máquinas, com alto grau de tolerância a falhas. Em vez de depender de hardware de ponta, a resiliência desses clusters vem da capacidade dos softwares de detectar e lidar com falhas na camada de aplicativos. ”
Como o Hadoop funciona? O ecossistema do Hadoop compreende unidades diferentes e cada unidade executa um trabalho diferente. As diferentes unidades são:
- Hadoop Distributed Filesystem (HDFS) - O HDFS é o sistema de armazenamento de big data do Hadoops. Você pode armazenar enormes volumes de dados e retirá-los no momento do processamento. Para armazenar dados, o Hadoop usa uma estrutura distribuída na qual os dados são armazenados em vários servidores comuns. O arranjo é tal que, mesmo que um servidor fique offline, ele não perturba toda a instalação; é negócio como sempre. É isso que torna o Hadoop um sistema tão resiliente. Embora o HDFS seja o próprio recurso de armazenamento de dados do Hadoop, ele também pode usar sistemas de arquivos externos para armazenar dados.
- MapReduce - O aplicativo MapReduce analisa e processa os grandes dados que o HDFS armazena. Ele extrai dados do HDFS sem precisar usar o SQL padrão do setor ou outras linguagens de consulta. O MapReduce emprega outros aplicativos baseados em Java para processar dados.
O ecossistema do Hadoop oferece velocidade e confiabilidade, porque o armazenamento e a análise de dados não dependem de nenhum dos vários servidores básicos que hospedam dados. O big data, bem como o HDFS e o MapReduce, são armazenados em cada servidor comum. Portanto, mesmo se um ou mais servidores forem desativados, o trabalho não será interrompido. A suposição aqui é que os servidores podem funcionar mal a qualquer momento e isso não pode ser parado. Portanto, é necessário que haja um sistema que garanta que o trabalho não seja interrompido no caso de mau funcionamento do servidor.
Um ótimo recurso do Hadoop é a sua flexibilidade. Para desenvolver aplicativos de software, os usuários do Hadoop não precisam necessariamente usar o HDFS ou o MapReduce. Por exemplo, o sistema Amazon Web Services adaptou seu sistema de arquivos S3 proprietário com o Hadoop sem precisar usar o HDFS. Da mesma forma, o DataStax Brisk é um aplicativo Hadoop que não está usando o HDFS. Em vez disso, está usando o Apache Cassandras CassandraFS. Então você já pode ver como os princípios do sistema de código aberto inspiraram o ecossistema do Hadoop.
Não é difícil identificar como o código aberto influenciou o Hadoop. Provavelmente, é seguro dizer que o ecossistema do Hadoop escreverá as regras de como o big data deve ser processado no futuro. Este será o caso, desde que o Hadoop permaneça fiel aos valores do software de código aberto. Código aberto é o espírito e a alma do ecossistema Hadoop. Não importa quão robusta ou inteligente seja uma ferramenta de software, ela não pode obter aceitação universal sem dar ou compartilhar com a comunidade global de software.
Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.
Conclusão
Atualmente, o software de código aberto é um importante ponto de atração para todas as comunidades de software. O Apache Hadoop é uma das plataformas de código aberto mais bem-sucedidas. Os produtos do ecossistema Hadoop associados também são baseados em software de código aberto. A filosofia de código aberto certamente ganhará popularidade no futuro próximo, o que significa que podemos esperar muitas novas plataformas de software.