19) Big Data Posts – Spark 1.6: Project Tungsten

#bigdata #hadoop #spark

No período outubro 27~29 eu estive no Spark Summit Europe 2015, em Amsterdam. Um dos assuntos muito debatidos nesse Summit foi o Project Tungsten, que está prometido para ser entregue como um módulo dentro da versão 1.6 do Spark. A incorporação do Project Tungsten ao Spark é uma orientação estratégica de alta tecnologia, com consequências para quem pretende desenvolver software para Spark.

A proposta original do Spark é centrada na classe RDD (Resilient Distributed Dataset), concebida pelo autor do Spark - Matei Zaharia - em sua tese de doutorado. O texto dessa tese pode ser baixado nesse link. O código com uso de RDD, associado ao conceito de “lazy execution”, faz criar um DAG (Directed Acyclic Graph), que é o grafo que descreve como a execução será feita quando chegar o momento. A análise especializada do código gerado dessa forma permite que se façam propostas de padrões de código que melhoram o desempenho de execução. Mas essa análise requer aprofundamento muito intrincado em tecnologia, o que torna o uso de Spark menos palatável para o grande público do que se desejaria.

Os “gurus do Spark” acreditam que com o Project Tungsten chegaram a uma proposta adequada para entregar uma versão de Spark que é ao mesmo tempo otimizada em eficiência de execução e relativamente pouco complexa para ser programada. Para que essas qualidades sejam de fato obtidas, recomenda-se aos usuários de Spark que dentro do possível deixem de trabalhar com RDDs e passem a trabalhar com DataFrames. Isso porque o RDD, embora seja e será sempre o centro do Spark, não permite otimização automática das DAGs. Mas o DataFrame gera um tipo de estrutura que pode ser otimizada antes de ser executada, e essa otimização faz bastante diferença no desempenho. No final das contas, um programa com RDD, se for otimizado “na mão”, com todas as intrincadas técnicas de análise de DAG, terá na melhor das hipóteses um desempenho tão bom quanto um programa feito com DataFrame, que é otimizado automaticamente e não requer análise intrincada por parte do programador Spark. E há uma vantagem adicional: considerando que todas as linguagens Spark usam o mesmo DataFrameAPI, o desempenho otimizado dos DataFrames ocorre igualmente para qualquer linguagem que o programador desejar usar (atualmente incluindo Scala, R, Python, entre outras). Em contraste, o uso direto de RDD tem desempenho melhor quando feito em Scala, em relação a outras linguagens.

Para quem está aprendendo Spark agora, a mensagem é a seguinte: é preciso aprender RDD, porque há funcionalidades de Spark que apenas funcionam assim, e porque ainda há muito código com o qual se precisa interagir que é baseado em RDD. As novas versões do Spark não terão qualquer problema com código para RDD. Mas ao mesmo tempo, seja pela simplicidade de uso, seja por desempenho, é bom apostar na estrutura de dados baseado em DataFrame, pois sinaliza-se que o futuro do código Spark tende para essa direção. Pode-se usar DataFrame desde as versões atuais. Mas será a partir da futura versão 1.6 (que inclui o Project Tungsten) que se espera que o uso pleno de DataFrames, com seu potencial e desempenho plenos sejam disponibilizados para o público.

A propósito: considerando que no Summit havia um clima de forte incentivo ao open-source, eu pedi para o pessoal da Databricks que me dessem o código com o qual eles implementaram a famosa quebra de recorde de benchmark, em outubro de 2014 (aqui e aqui). Eles não me deram esse código, e explicaram o motivo. Acontece que o código realmente bateu o recorde, mas foi feito com muitos “truques de baixo nível”. Esses truques são úteis para pesquisa, mas não são boas práticas de programação. Com a pesquisa feita com esses truques, eles evoluíram e criaram estruturas de alto nível, e as colocaram no Project Tungsten.

Em resumo: o Spark segue evoluindo rapidamente, como a comunidade espera, e como deve ser. Para o desenvolvedor Spark, o Data Analyst ou Cientista de Dados, o que interessa é que a estrutura de dados no foco deve ser mais e mais o DataFrame, ao invés de RDD, mas esse último continuará sempre funcionando muito bem. A próxima versão 1.6 vai ser liberada em breve, e será um marco no estímulo ao uso de DataFrames. As versões atuais já permitem o uso de DataFrames, para quem quiser fazer experiências com essa estrutura de dados.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

18) Big Data Posts – Spark Summit Europe 2015

#bigdata #hadoop #spark

No período outubro 27~29 eu estive no Spark Summit Europe2015, em Amsterdam. É muito importante que se registre e se divulgue o que está acontecendo: uma revolução! A quantidade, qualidade e velocidade das transformações que estão ocorrendo no ambiente de tecnologia de informação são de tal magnitude que a situação atual não pode receber outra qualificação. E como se sabe por exemplos (Google, Smartphones, Uber, e muitos outros), grandes projetos de tecnologia de informação tem o potencial de mudar a vida de muita gente.

Peço ao leitor a permissão de mencionar brevemente minha história e sua relação com Big Data. Desde que voltei do doutorado no Japão em 1998, tendo estudado “Controle Automático” (no nível de doutorado esse assunto torna-se “matemática aplicada”), tenho mantido atividade na área de consultoria relacionada à desenvolvimento de software de alta tecnologia. Como temos que estar sempre nos atualizando, naturalmente tomei conhecimento da tecnologia de software para Big Data. Tomei a decisão estratégica de estudar seriamente o assunto em 2014, quando trabalhei com Hadoop. Nesse mesmo ano solicitei e obtive aprovação para a criação de primeira disciplina de Big Data Developer da UFRJ, no DEL (Departamento de Engenharia Eletrônica e de Computação), onde trabalho desde 1991. Em março de 2015 eu fiz o curso da Cloudera de Spark Developer, na empresa paulista Semantix. Com esse excelente curso, o sentimento imediato foi: “eu vi o futuro: chama-se Spark”. Apliquei tudo que aprendi na minha turma de Big Data Developer da UFRJ de  2015_1, com cerca de 25 alunos. Fizemos excelentes trabalhos com Spark. Agora vendo o Spark Summit Europa, a mensagem é clara: “está confirmado: o futuro definitivamente é Spark, sendo esse já o presente para muitas empresas e pessoas”. Com esse post, pretendo reportar algumas passagens do Summit, bem como algumas reflexões pessoais.

• A escala de adoção de Spark é muito impressionante sob qualquer perspectiva que se observe. A velocidade explosiva de incorporação de novidades é possível com tecnologia de informação, devido à natureza imaterial com que se trabalha. O efeito combinado da genialidade que começou com a tese de doutorado de Matei Zaharia, com a visão empresarial de Ion Stoica, CEO da Databricks está materializando a revolução. Partindo da ideia da tese do Zaharia, agora apoiado na Databricks por um time de gente brilhante, o Spark segue sendo aperfeiçoado rapidamente, sendo tudo disponibilizado de forma Open Source. Eu conversei casualmente com Ion Stoica (o Summit serve inclusive para permitir essas coisas); ele fizera na sua palestra alguns minutos antes da conversa comigo, algumas considerações sobre como tecnologias são incorporadas pela sociedade. Eu comentei que o Google chegou atrasado no mercado de mobile, e que conseguiu – com um modelo Open Source bem suportado por um time brilhante – fazer o Android vencer os concorrentes e ficar com a fatia do leão no mercado de mobile. O Ion Stoica abriu um sorriso, e disse que ele adora essa analogia, e que com certeza deseja que o mesmo ocorra com Spark. E está ocorrendo!
• Em seguidas palestras, empresas importantes reportaram como trabalham com problemas reais relacionados a Big Data, e como Spark foi usado para resolve-los. Em uma dessas palestras, Anjul Bhambhri, Vice President of Product Development, Big Data and Analytics Platform, da IBM, repetiu merecidos elogios ao Spark (assim como muitos no Summit). Afirmou também que o Spark é um “Analytics Operating System”, e que a IBM fez a opção estratégica de apostar e incentivar o uso de Spark. Já há vários projetos da IBM sendo feitos com Spark.
• Spark é um pacote único que funciona muito bem para resolver o que se propõe, é particularmente bom para tratar conjuntos de dados de tamanho enorme, conecta-se com muitas fontes de dados, possui interface para algumas linguagens de programação das mais usadas pelas pessoas da área: atualmente incluindo Scala, Java, Python e R. Spark funciona em vários ambientes (inclusive Windows, o que muitos achavam que não ia acontecer), sendo que a combinação de Spark com cloud (aluguel de datacenter com recursos que permitem automatizar o comando do aluguel por software, tendo a Amazon como empresa líder) torna o uso de Spark extremamente fácil.

Eu comecei a escrever esse post estando hospedado em uma residência de Amsterdam, refletindo sobre o significado de tudo o que vi no Spark Summit. Diga-se de passagem, o mecanismo que viabilizou eu estar hospedado em uma residência, e não num hotel como seria mais tradicional, é por estar usando o sistema Airbnb. Eu pessoalmente gosto muito de Airbnb, sendo que esse sistema é outra dessas novidades muito impactantes da tecnologia de informação nas nossas vidas. Voltemos para as reflexões. No Summit há sempre um local para estandes de patrocinadores, que são empresas divulgando seus produtos. É muito bom conversar com as pessoas das empresas. Eu abordei em conversas com várias pessoas um tema que me interessa muito: estratégia empresarial, isso é, planos empresariais de longo prazo. Como se sabe bem, uma empresa precisa ter bem claro para si mesmo e para o mercado o significado de sua existência. A empresa existe porque executa sua missão. Se a missão não existe mais, a empresa precisa encontrar outra missão, ou deixa de existir. Conversando com o pessoal de uma dessas empresas (MAPR), eu ouvi uma frase interessante: “Hadoop is loosing his job”. Hadoop, para quem não sabe, é a primeira geração de tecnologia Open Source para Big Data. Quando comparado com Spark, Hadoop parece complicado demais, sem falar no problema de desempenho de execução (Spark é superior). Quando Hadoop era a única alternativa para Big Data, e se necessitava que alguma tecnologia tratasse os volumes enormes de dados que se produzia, criou-se um ambiente empresarial para dar suporte a Hadoop. Muitos empregos bons, incluindo engenheiros de software, suporte e outros, foram criados no contexto de dar suporte para Hadoop, que por sua complexidade de fato requer muito suporte. Tudo isso custa um preço que os clientes pagavam para ter acesso ao desempenho superior que a tecnologia de Big Data proporcionava. Mas agora tudo isso está sob forte transformação. Spark incorpora tudo de forma mais simples, mais elegante, mais eficaz e com desempenho superior. Hadoop está perdendo o emprego, como disse o pessoal da MAPR. A filosofia Open Source está completamente implantada. Há tutoriais e fóruns por toda parte.

Convido o leitor a especular comigo as principais características do ambiente profissional de tecnologia de informação que está sendo moldado, considerando as tendências que descrevi. Não se esqueça, caro leitor, que nossa espécie humana tem instinto egoísta. Muito pouca gente compra um produto de uma empresa pensando no sentimento do dono da empresa ou de seu funcionário. Quem compra pensa em si mesmo. Se Spark simplificou tudo, se a necessidade de suporte foi muito reduzida, bom para o consumidor (ou cliente), que poderá usar esses serviços pagando pouco (ou nada, se souber usar). Mas resta a ser definido qual o papel do profissional de tecnologia de informação.

Relembremos um aspecto da história. Os computadores de grande porte eram terrivelmente complexos de serem operados. Havia operadores contratados (gente treinada) para fazer aquilo funcionar. Hoje os computadores de grande porte que ainda existem são muito mais fáceis de se operar, e uma parte enorme do serviço de processamento é feito em computadores pessoais, com algum sistema operacional que espera-se ser suficientemente simples para que muitas pessoas consigam opera-lo sem precisar contratar suporte. Resultado: hoje usamos muito intensamente o processamento digital, e usa-se relativamente pouco suporte contratado; isso se deve ao efeito combinado de os sistemas terem ficado mais simples e de muita gente ter aprendido como usar os tais sistemas.

Concluo esse post tentando fazer senso de dessas tendências para definir as qualidades do profissional de tecnologia de informação valorizado no futuro.

• Big Data é absolutamente importante, sendo que Spark vai ser (ou já é) a tecnologia central para resolver os problemas nessa área. Portanto, aprender os problemas clássicos de Big Data e como resolve-los com Spark é uma das grandes habilidades valorizadas.
• Percebo que aumenta a importância de conhecimento de matemática e estatística. Muitos dos problemas que se deseja tratar estão relacionados a uma formulação matemática bem-feita. O computador não erra as contas. Mas quando se o programa erradamente, os resultados ficam errados. Interpretar dados erradamente, ou programar o computador para explorar uma quantidade exageradamente grande de possibilidades são outros erros comuns. Para resolver tudo isso, o profissional deve buscar uma boa formação em matemática.
• O idioma inglês é claramente central, pois mais que nunca tudo está sendo feito de forma colaborativa. Há códigos fonte, tutoriais e blogs por toda parte, sendo a maior e melhor parte em inglês.
• Outra característica é a meritocracia. No Summit pode-se var todo tipo de gente – altos, baixos, gordos, magros, todas as raças humanas, de todas as cores que pode haver na pele. A cultura da meritocracia é muito compatível com a do liberalismo econômico, que presa o lucro como recompensa para o esforço individual. Curiosamente a mesma visão de liberalismo econômico é quase sempre associada também ao culto a propriedade privada. Mas a ênfase enorme que se está dando ao compartilhamento de tudo o que se tem é em boa parte uma visão oposta.
• O tempo está na essência de tudo. Embora a Internet esteja abarrotada de material, faz muito sentido fazer o que eu fiz: pagar para aprender mais rápido; igualmente importante é criar laços com a comunidade de gente que usa essa mesma tecnologia.

É preciso que se diga: vi muitas empresas no Summit que apesar de tentarem se diferenciar, eram no fundo parecidas. Eram empresas de suporte, treinamento e consultoria de Big Data, com especialidade em Spark. Essa parece ser a direção para onde todo mundo está indo, inclusive eu. Todos nós precisamos lutar para ter um diferencial, e precisamos também conseguir vender alguma coisa para alguém. Para que se venda, é preciso conseguir fazer algo valioso para o cliente. Quem deseja atuar como consultor, deve ter experiência comprovada, talento, tempo, habilidade para montar times se necessário, capacidade e visão empreendedora, entre outras coisas. Ajuda muito ter boa formação geral, especialmente em matemática, boa agilidade mental para ler rapidamente e fazer senso útil de toneladas de blogs e tutoriais, para transformar tudo isso em valor para clientes (pessoas e empresas) reais. É preciso entender REALMENTE o cliente deseja, e eventualmente montar um serviço para ser vendido para esse cliente. O mundo atual, está repleto de problemas interessantes que podem ser resolvidos com tecnologia de Big Data (Spark). Vamos construir esse mundo. O momento é esse.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

17) Big Data e Empresa Privada COM Fins Lucrativos

#bigdata #hadoop #spark

Convido o leitor a refletir sobre o seguinte: pense em um dia típico e nos objetos com os quais interage. Quase todos esses objetos são produtos produzidos por uma Empresa Privada COM Fins Lucrativos. Esse tipo de organização de pessoas é tão importante que merece uma sigla: EPFL. A lista dos objetos produzidos por EPFL inclui a cama onde o leitor dormiu, o pijama que usou para dormir, a escova de dentes e pasta que usou para a higiene bucal, a casa onde mora, a comida que comeu no café da manhã, todos os eletrônicos que usa, e muito mais. Da mesma forma, quase todos os serviços que atendem ao leitor são prestados por EPFL. Essa lista de serviços inclui o plano do telefone celular, o provimento de Internet, a tv por assinatura, o banco onde o leitor tem conta, o salão que corta o cabelo do leitor e muito mais. O comércio que abastece de bens o leitor também consiste basicamente de EPFLs. Não há dúvida: a grande maioria dos produtos e serviços que dão suporte a nossa vida é gerada por EPFLs. É, portanto, correto entender a EPFL como uma das bases da nossa sociedade, e também uma das formas mais comuns de ocupação de pessoas. Quando se foca nos produtos e serviços inovadores, é ainda mais clara a presença de EPFL.

Toda sociedade tem uma cultura. A sociedade Brasileira, tem componentes de sentimento anti-capitalista. O capitalismo é uma filosofia que enfatiza a liberdade de iniciativa, decisão, e a responsabilidade individual; por isso é uma filosofia relacionada ao liberalismo, amante das EPFLs. Muita gente pouco compreende do funcionamento da sociedade, mas repete meio sem pensar chavões como “o empresário explora o trabalhador”, ou “os liberais não gostam nem respeitam os pobres”, entre outros. Há muitos erros e problemas em qualquer sistema em que se viva, por certo, posto que o sistema é sempre composto por humanos que são sabidamente cheios de defeitos. Mas os eventuais erros que os liberais tenham não faz a alternativa ser isenta de problemas, nem monopolista da virtude. Toda ideologia ou filosofia de vida merece ser debatida abertamente, e ter suas características analisadas a partir de fatos. Qualquer interessado pode estudar como vivem as pessoas em países com ideologia liberal e em países ideologia oposta, e chegar a suas próprias conclusões sobre quão bem a população vive.

No caso de tecnologias digitais, há um fenômeno econômico muito interessante que causa grande impacto no ambiente. A tecnologia evoluiu tanto, e fez o preço de vários produtos baixar a tal ponto, que se tornou viável oferecer muita coisa sem se cobrar nada. Armazenar conteúdos tornou-se gratuito. Muitas redes sociais são gratuitas. Muitos produtos de software têm várias funcionalidades gratuitas, e oferecem funcionalidades mais avançadas com planos pagos. No caso de desenvolvimento de software, surgiu o conceito de software open-source. No início foi visto com desconfiança. Mas o tempo passou e hoje muitas das melhores opções em software são open-source. Essa enorme quantidade de serviços digitais gratuitos ou baratos é um produto direto da filosofia liberal. Muitos produtos gratuitos eventualmente levarão a uma futura venda, e apenas por isso já há incentivo para que se invista. Nunca haveria o atual ambiente digital cheio de produtos gratuitos ou baratos se tudo tivesse sido construído com a ideologia comunista. O mundo digital atual, tão cheio de recursos, é um triunfo do liberalismo e do capitalismo.

A atual crise Brasileira é aguda, muito grave, e já está causando muita dor a muita gente, com juros altos, inflação, desemprego e talvez o pior de tudo: desesperança. É uma hora perfeita para repensarmos nossos valores. Quais as práticas do governo no passado recente? É lícito defender que foram essas práticas que causaram nossa crise. Se queremos superar a crise, é preciso um ambiente que incentive quem quer produzir. Há países em que muitas das necessidades básicas estão consideravelmente bem resolvidas. Nesses países, as empresas precisam disputar os clientes com dificuldade, fazendo produtos com características excelentes, e vendendo-os com margens cada vez menores, devido à enorme competição. No Brasil, com tantas deficiências ainda por serem resolvidas, há espaço de sobra para a implantação de EPFLs que atendam nossas carências. Mas o ambiente atual de crise está demasiadamente pouco atraente para as empresas. Há excesso de tributos, custo excessivo do Estado, incerteza severa na política, no marco regulatório e muitos outros incentivos negativos.

A vida pode melhorar por se investir em suprir várias de nossas carências de produtos e serviços. As EPFLs podem supri-los quase sempre de forma muito mais eficiente que o governo. A sociedade pode superar essa crise por criar um ambiente que atrapalhe pouco quem quer produzir e investir.  

Há que se pensar também no momento em que o mundo vive, em que se aprofunda a sofisticação da sociedade digital. O mundo repleto de serviços digitais é por vezes referido como “Big Data”, embora esse termo seja tecnicamente mais adequado para referir-se a software com sistemas distribuídos tal como Hadoop e Spark. Como sempre acontece com o ambiente cheio de inovações, há muita oportunidade. Mas ninguém duvida que as melhores oportunidades não ficarão disponíveis por muito tempo.

Vou repetir minha sugestão de que a sociedade brasileira opte estrategicamente por sair dessa crise por se criar um ambiente favorável para as EPFLs, estimulando quem quer produzir e investir. As EPFLs, pela sua procura natural de busca de resultados (lucro), investirão e criarão formas mais eficientes de prover para a sociedade. Muitas estruturas produtivas e serviços da sociedade foram concebidos em uma época com muito menos opções tecnológicas. Podemos repensar nossa forma de viver de forma estruturalmente mais eficiente, usando com sabedoria as tecnologias digitais. Devemos estimular que as novas tecnologias substituam as formas antigas de se trabalhar, sempre de olho na eficiência estrutural, na rapidez, na robustez. Devemos estimular que as EPFLs se estabeleçam, com base na competição sem viés, e na vitória do produto e serviço que seja o melhor e o mais econômico. Devemos educar a população para preparar-se mais e mais para viver no ambiente competitivo, e não proteger a sociedade da competição. Nossa cultura deve sistematicamente identificar e eliminar as ineficiências e desperdícios.

Proteção em excesso cria leniência, e baixa eficiência. Com o tempo, toda a sociedade fica ineficiente, com dificuldade de competir com o mundo, e, portanto, mais pobre como estamos agora. A solução para a nossa crise é optar pela filosofia liberal, pelo apoio às EPFLs e pelo uso intenso de tecnologia de informação, para sempre focando em eficiência estrutural.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

16) Big Data, demografia e eficiência

#bigdata #hadoop #spark

Considero tecnicamente correto definir um sistema computacional “com tecnologia Big Data” a partir da sua referência original, isso é, quando se está usando um sistema distribuído (em geral Hadoop e/ou Spark) capaz de usar cluster (em geral gerenciado por Yarn, Mesos ou Spark Standalone) sobre um sistema de arquivos distribuído (em geral HDFS). Contudo, a expressão “Big Data” tem sido mais e mais usada num contexto mais abrangente que a definição tecnicamente original acima. Essa definição mais abrangente refere-se a Big Data como o uso massivo de tecnologia de informação, isso é, o mundo em que muitas coisas são medidas, armazenadas, processadas, decididas e disponibilizadas digitalmente. A eficiência geral da sociedade está fortemente relacionada a “Big Data”, na sua definição abrangente. No contexto demográfico Brasileiro, que vive os momentos finais do “bônus demográfico”, recomenda-se especialmente que a sociedade adote massivamente a tecnologia de informação, mirando na eficiência.

Falemos sobre “bônus demográfico”. Esse é um fenômeno social no qual uma grande quantidade de pessoas faz a opção ao mesmo tempo de ter menos filhos. Como se sabe bem, o perfil econômico de uma pessoa é resumidamente de ter 3 fases: infância, idade ativa, senhoridade. Nas duas fases das pontas, a pessoa é economicamente inativa. O período economicamente inativo de uma pessoa ao nascer é longo, em geral definido como 15 anos (mas muita gente fica bem mais tempo estudando e se preparando para futura fase ativa, que vai até os 64 anos). Durante esse período inicial, a pessoa economicamente consome recursos e não os cria. Quando muitas pessoas decidem ao mesmo tempo adiar o momento de ter filhos, ou de ter poucos ou nenhum filho, essas pessoas em idade ativa deixam de investir tempo e dinheiro para criar a nova geração. Esse investimento que deixa de ser feito é tecnicamente um recurso adicional que a sociedade tem à disposição. Durante o bônus demográfico, a economia tende a ter melhor desempenho. Mas a boa notícia do bônus demográfico tem um recado claro: trata-se de um episódio único em uma sociedade, que tem data para terminar. Já se observou esse fenômeno em muitas sociedades, e sabe-se que esse bônus dura cerca de uma geração, isso é, cerca de 30 anos, ou no máximo 35 anos.

Muitos estudos alertam para um risco para o Brasil: tornar-se uma sociedade envelhecida sem antes emergir até o status de país desenvolvido. Enquanto o Brasil for “mais ativo” por consequência do bônus demográfico, deve construir uma forma mais desenvolvida de vida, isso é, deve aprender a ser eficiente e com isso tornar-se mais próspero.

Vou repetir nesse o post minha tese principal: o Brasil precisa adotar massivamente a tecnologia de informação para tornar-se eficiente. Isso é equivalente a usar Big Data, tanto na definição técnica original do termo quanto na definição abrangente supracitada.

A efetividade e eficiência da vida com uso de tecnologia de informação requer mais que a pura e simples instalação de hardware e software. É preciso que exista uma cultura de uso dos sistemas digitais de forma efetiva e eficaz. Essa cultura é criada inclusive com muito estudo. Mas acima de tudo, a sociedade precisa conscientizar-se dos seus objetivos estratégicos, e apoiar a construção do futuro que interessa a todos nós. É preciso que consigamos automatizar os sistemas e procedimentos que nos servem, fazendo-os funcionar com cada vez menos gente, e em muitos casos de forma totalmente automatizada.

Vou reportar um exemplo de nível elevado de automatização, implantada em país desenvolvido: quem já foi para os EUA (várias cidades) pela Delta deve ter feito escala em Atlanta. A Delta usa a cidade de Atlanta como “hub” (ponto de interconexão), fazendo muitos voos para essa cidade. Uma empresa aérea precisa resolver o problema de conectar muitos pontos (cidades) entre si. A abordagem tradicional é simplesmente conectar as cidades diretamente. Mas isso é muito ineficiente. A alternativa é usar hubs. Vai-se da cidade A para a cidade B passando pelo hub. Exemplo: Rio de Janeiro para Miami passando por Atlanta. O uso de hubs é muito mais eficiente que a ligação de todas as cidades diretamente. Mas isso cria um fluxo enorme no hub. O resultado é um aeroporto de tamanho gigantesco em Atlanta. Para dar conta de atender a todas as pessoas em trânsito no aeroporto de Atlanta, há nível muito elevado de automatização. Dentre os vários sistemas automáticos, incluem-se o sistema de informação para o local para onde os passageiros devem ir, e também o trem entre os “concourses” (alas do aeroporto), que opera sem piloto. Qualquer pessoa que tenha passado por esse aeroporto impressiona-se pela quantidade grande de gente que é atendida, com relativamente poucas pessoas para atende-las. Eficiência é isso. Dessa eficiência decorre a prosperidade que tanto desejamos.

Todos os países prósperos do mundo vivem com alto e crescente nível de automatização, sempre com base em muito estudo e sistema de educação forte. Se quisermos ser prósperos, temos que fazer como eles.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

15) Big Data, política e estratégia

#bigdata #hadoop #spark

Como se sabe bem, o Brasil vive grave crise financeira e política. O governo – sem alternativa – impõe um ajuste econômico em que há profundos cortes de gastos, para que as contas da nação possam ficar em ordem. Num cenário de cortes de gastos, ouve-se com frequência pessoas que representam um setor dizer que seu setor é muito importante, que o impacto dos cortes sobre esse setor é terrível, e que seria muito bom a sociedade orientar o ajuste para penalizar outro setor. De certa forma é isso que eu vou fazer com esse post. Critico o aumento de impostos que o governo pretende fazer para produtos de informática, incluindo computadores, smartphones e tablets. Esse aumento foi amplamente reportado, sendo que uma das referências é essa . Convido o leitor a apreciar a lógica do argumento, que considero ser fundamentalmente diferente da maioria do que se tem ouvido.

Parto das seguintes premissas: (1) A prosperidade coletiva somente pode ser obtida no caso de a sociedade ser estruturalmente eficiente, isso é, capaz de produzir mais com menos consumo de recursos. (2) Um dos fatores mais importantes para se construir uma sociedade estruturalmente eficiente é o uso massivo e sábio de tecnologia de informação. (3) O Brasil ainda tem grandes desníveis sociais, e a inclusão digital é um grande objetivo nacional, no sentido de garantir que os benefícios do uso de tecnologias digitais sejam percebidos por muitas pessoas.

Pensemos em exemplos de como a sociedade fica mais eficiente a partir do uso de tecnologias de informação. (1) Declaração do imposto de renda por computador. (2) Agendamento de licenciamento de carros. (3) Gerenciamento do Enem. (3) Uso de banco por computador ou celular. (4) Educação a distância. (5) Uso de mapas em computador ou celular para facilitar a localização de endereços. (6) Comércio pela Internet ou celular. (7) Busca de empregos pela Internet ou celular.  

Seria possível enumerar muitos outros exemplos. A sociedade está experimentando uma forte re-invenção de si mesma, em que muitas atividades estão sendo substituídas por outras com a cara do século 21. No nosso século, queremos tudo rápido, customizado, integrado com outros sistemas, em todas as plataformas que usamos, disponível 24 por dia. Os negócios, sempre muito competitivos, precisam se re-inventar. O antigo diferencial competitivo pode ficar obsoleto no mundo atual. Hoje o cliente consulta as alternativas de produtos e serviços, e sabe muito bem o que quer e quanto quer pagar. O cliente odeia perder tempo, e quer ter todas as opções de uso dos produtos e serviços acessíveis facilmente. Considerando que o cliente já declarou em várias oportunidades algumas coisas que o caracterizam, existe a expectativa que os negócios levem essas declarações em consideração e acertem melhor os desejos do consumidor. Nesse último item a tecnologia de Big Data tem papel de destaque.

Voltando ao ponto inicial: argumento que é uma ideia péssima para a sociedade optar por resolver o problema de ajuste de contas por onerar os produtos relacionados a tecnologia de informação. É certo que o preço do ajuste tem que ser pago a partir de algum lugar. Mas o ponto do argumento aqui apresentado é que a tecnologia de informação não é “consumo”, mas “investimento”. Será muito difícil que a sociedade se torne mais eficiente, se a população for afastada do uso de tecnologias de informação. Quanto dinheiro se perderia se não se pudesse mais declarar imposto de renda por computador? Ou se os alunos do Enem tivessem que ir pessoalmente a uma secretaria para cada pedido de informação? Quantas outras formas de se melhorar a sociedade ainda estão esperando para serem implantadas, e que precisam inclusive de equipamentos para que possam existir?

Um outro fator para se conquistar a prosperidade é se exercer atividades econômicas com alta criação de valor. Qualquer empresário adora pagar salários altos, desde que seja possível criar valor suficiente a partir do funcionário, de forma a que aquele emprego se pague e ainda gere lucro. Quando uma atividade gera pouco valor, não é possível que se pague um salário grande. Qualquer pessoa interessada pode ver como se percebe o valor das atividades hoje em dia, e se perceberá que empresas no setor de tecnologia de informação estão entre as mais valorizadas do mundo. As empresas desse setor valem muito, vendem produtos e serviços de alto valor, e pagam salários altos para profissionais altamente especializados.

Em resumo: a sociedade deve tomar o setor de tecnologia de informação como um aliado para a eficiência e para a prosperidade. Não faz sentido onerar o que nos salva. A sociedade ganhará muito por adotar uma política que estimule o uso sábio de tecnologias de informação, bem como o investimento em educação e treinamentos que nos ajude a formar as pessoas que de fato vão produzir e usar os sistemas de uma sociedade informatizada e eficiente. A atual tecnologia no foco é Big Data. Se quisermos tirar proveito pleno das atuais oportunidades relacionadas à essa tecnologia, devemos ter uma política que nos estimule a isso.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

14) Saindo da crise andando para frente, com Big Data e demais tecnologias digitais

#bigdata #hadoop #spark

Convido o leitor a apreciar a seguinte analogia: comparar andar de uma pessoa com a economia. Uma pessoa andando tipicamente o faz segundo um ciclo periódico conhecido como “andar dinâmico”, que pode ser descrito assim: o andar consiste em uma série de passos (ciclos), sendo que cada passo parte de uma posição estável, seguido de uma fase instável em que a pessoa “cai” para a próxima posição estável, a partir do qual o ciclo se repete. Uma pessoa observadora sabe que o mundo ultimamente está absorvendo inovações rapidamente. Em particular, as inovações relacionadas à tecnologia digital têm alto impacto na vida de muita gente. Pensemos no Uber concorrendo com taxis, ou WhatsUp concorrendo com SMS. Cada inovação dessas “desestabiliza” a organização que se fazia para resolver algum problema (deslocamento em cidade, ou troca de mensagens de texto), e estimula que a sociedade alcance um novo patamar de estabilização. É como uma pessoa dando um passo. Outra forma de se referir a esse fenômeno é o que o economista austríaco Joseph Schumpeter chamou de “destruição criativa”. A criação de uma inovação destrói a forma anterior de se executar alguma coisa.

Há quem chame de “Big Data” o nome do fenômeno econômico atual de uso massivo de tecnologias digitais, que cria e processa enormes volumes de dados. Eu considero em parte essa designação um abuso de notação, preferindo chamar de Big Data os sistemas computacionais que usam sistema de arquivo distribuído, tal como Hadoop ou Spark. Mas admito que faz um certo sentido chamar de Big Data também o fenômeno econômico citado, pois muitas vezes uma coisa leva ao uso da outra.

Pensemos nas “dores” causadas pela incorporação de novas tecnologias em geral, em especial as tecnologias digitais. Quem vive de vender algum produto ou serviço baseado em uma tecnologia, compreensivelmente fica apreensivo quando uma surge alguma inovação que torna o seu meio de vida irrelevante ou obsoleto. Todos precisamos viver de alguma coisa, e investe-se tempo e dinheiro para se conquistar uma posição na sociedade que nos conduza a ter um meio de vida. É um instinto compreensível que se queira preservar o meio de vida que se tem. Mas a proteção ao meio de vida das pessoas é ao mesmo tempo um entrave à inovação. E em geral a inovação interessa a coletividade. Fica-se, portanto, em uma situação de se decidir o que vale mais: proteger um grupo ou proteger a coletividade. A história é repleta de casos como esse, e o momento atual está convivendo com diversos casos justamente agora. São tantos os exemplos de inovações que desestabilizam setores estabelecidos, que é impossível que o leitor não reconheça alguns dos exemplos listados abaixo.

Tradicional	Inovação
Taxi	Uber
Telefone fixo	Telefone celular
SMS	WhatsUp
Canais de TV	Youtube
Redes sociais tradicionais	Facebook e similares
Correio, cartas	Email
Agência de empregos	Web empregos, LinkedIn
Ensino presencial	Ensino a distância

O mundo ficou melhor ou pior com a introdução dessas inovações? A resposta em geral é de que o mundo está muito melhor. Existem muito mais e muito melhores produtos e serviços para se escolher, e em muitos casos oferecidos por menos que antes. Viver em uma sociedade onde há muitos produtos e serviços para escolher, e oferecido por cada vez menos, é bom ou ruim? Muitos tenderiam a dizer que é bom. Mas para que o indivíduo efetivamente ache que sua vida está boa, é preciso que consiga ter um meio de vida, isso é, que uma parte do valor criado pela sociedade seja feito por ele, ou elaborando melhor, que a pessoa esteja inserida ou conectada a uma parte relevante do fluxo de criação de valor da sociedade.

Considerando que as inovações estão por todo lado, afetando quase todos os segmentos econômicos, o segmento em que o leitor atua deve ser um dos que está experimentando mudanças. Se está com dificuldade de permanecer competitivo, que atitude se deve tomar? Digamos que o leitor é taxista, e considera o Uber um competidor desleal. É sensato tentar bloquear legalmente essa competição? E se quiser juntar uns colegas para uma manifestação pedindo isso, talvez usará o Facebook ou o WhatsUp para chamar os colegas? Lembrou-se que as telefônicas estão querendo proibir o WhatsUp porque acham que é competição ilegal contra elas? Analogamente, os executivos das telefônicas que querem se reunir para pedir o bloqueio do WhatsUp eventualmente se deslocarão usando o Uber. Em resumo, os grupos específicos reivindicam eliminar a competição no seu segmento, mas acham ótimo a competição no segmento em que não atuam.

Vou dar uma opinião, que é particularmente adequada para ser considerada nesse momento de crise em que o Brasil se encontra. Devemos seguir em frente. Devemos deixar o vento das mudanças nos afetar, e construir moinhos de vento para aproveita-los. Ao invés de brigar contra o Uber, criemos um concorrente! Também é bem-vindo que se melhore os taxis para que se enfrente a concorrência, com qualidade e preço. Há taxas demais para o taxista pagar? Vamos repensar isso. Ao invés de bloquear o WhatsUp, criemos outros serviços de mensagens que sejam tão bons quanto, ou melhores. Talvez o preço do SMS esteja caro demais. Talvez as telefônicas possam fazer mais para melhorar o serviço e baixar o preço. O governo cobra imposto demais? Vamos repensar isso. Vamos identificar o que é obsoleto, caro demais e ineficiente, e substituir por alternativas mais adequadas. Temos que competir e lutar para sermos desejados pela qualidade e preço dos nossos produtos e serviços. Para isso, devemos fazer o mesmo que é feito pelos povos que fazem os produtos e serviços que encantam os clientes e com isso mudam o mundo. Precisamos estudar, pesquisar, investir, e melhorar o ambiente de negócios. Devemos incentivar quem quer trabalhar, e retirar os incentivos de quem quer ficar parasitando os que trabalham. Quem quer trabalhar e produzir não deve ser gerenciado e/ou controlado por pessoas que pouco produzem.

Big Data e uso com sabedoria de tecnologia de informação tem um potencial gigantesco de produzir eficiência estrutural. Quem tem cabelos brancos pela idade deve lembrar-se da época em que a declaração do imposto de renda era feita manualmente. Era um horror completo. Hoje, com os programas da receita federal, tudo ficou muitíssimo mais simples. Perde-se menos tempo e consegue-se fazer a declaração num ambiente muito melhor, com muito menos erros. Para entregar a declaração, basta um click. A introdução do sistema de imposto de renda por software tornou o Brasil mais eficiente. Esse exemplo mostra o quanto a tecnologia de informação agiliza e cria eficiência estrutural. A única forma de conquistarmos prosperidade coletiva duradoura é transformar o país em uma sociedade com alta eficiência estrutural. Isso se consegue inicialmente com uma educação forte. Adicione-se isso a um ambiente em que todos os segmentos são projetados para serem eficientes. Tudo deve ser feito com baixo consumo de recursos. O tempo para se fazer as coisas deve ser cada vez mais curto. O que pode ser automatizado deve ser automatizado. Empregos inúteis ou obsoletos devem ser substituídos por sistemas automáticos. Devemos celebrar e incentivar as inovações, especialmente as que trazem eficiência para a sociedade. Devemos incentivar startups. Devemos incentivar e investir muito em estudo, e fazer com que o estudo seja prático e gerador de valor percebido por qualquer um. Devemos estudar o que é necessário aprender. Devemos entender o mundo novo e digital que está sendo construído, e nos tornar parte dele.

Em particular, o estudo das tecnologias de Big Data é hoje em dia um dos grandes pontos focais de toda a transformação que o mundo vem experimentando. Quem não entender dessas coisas, vai ficar para trás. É inevitável competir. Se demorarmos a nos preparar para a competição, vamos ficar para trás. A história mostra que lutar contra as inovações é uma luta perdida. Se não fosse assim, estaríamos usando ainda as coisas que hoje consideramos obsoletas, tal como disquete de computador, filmadora super 8, charrete para andar na rua, etc.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

13) Big Data e o futuro do trabalho

#bigdata #hadoop #spark

O Brasil tem colecionado notícias ruins ultimamente. Têm decrescido o emprego, a renda, as vendas, a aprovação do governo. Têm subido os juros, o dólar, o endividamento, a inadimplência. Há um agrupamento de crises, incluído problemas na política, na economia, no meio ambiente, na segurança, na saúde, na educação, na moral e outros setores. Estamos obviamente vivendo uma grave crise sistêmica. O presente é ruim, e as perspectivas não são animadoras, pois se as nossas práticas nos levaram ao presente ruim, é fácil argumentar que nós não devemos fazer mais do mesmo. É preciso mudar nossas práticas. Muitos têm opinado sobre como deve ser o novo perfil das nossas práticas, e é isso que eu vou fazer com esse post. Vou centrar meus argumentos em 2 pontos – devemos optar por Capitalismo e por Tecnologia de Informação. Como se verá, isso tem forte relação com Big Data e o futuro do trabalho.

Optar por capitalismo. “Economia” é o estudo do que as pessoas fazem para viver. A sociedade humana, desde remotíssimo passado, tem “relações de troca” entre indivíduos, também chamadas de “transações econômicas”. Isso ocorre quando duas pessoas trocam “valores”. Um exemplo remoto (mas válido até hoje) seria “eu lhe dou uma caça, e você me dá uma lança”. A sociedade atual é muitíssimo complexa, e para agilizar e reduzir o custo das transações econômicas inventou-se o “dinheiro”, que tem muitos sinônimos, sendo um deles “capital”. “Capitalismo” (as vezes chamado de “liberalismo”) é o nome que se dá a uma das possíveis formas de organização das sociedades. Num super sintético resumo, pode-se dizer que uma alternativa ao capitalismo-liberalismo é o “socialismo-comunismo”. Pode haver conceitos híbridos em uma sociedade (em alguns aspectos ser capitalista-liberal, e em outros ser socialista-comunista). Mantendo-se o espírito de grande síntese dos argumentos, pode-se dizer que o capitalismo-liberal enfatiza o incentivo a iniciativa individual, garantindo a quem tem iniciativa a apropriação dos resultados do seu trabalho e do seu investimento. Na visão alternativa do socialismo-comunismo, a ênfase é em iniciativas e atividades controladas por representantes do povo (o governo), que supostamente deveria tomar decisões que maximizam o interesse de toda a comunidade. Membros do governo decidem a carga tributária – que consiste em subtrair os resultados de quem trabalha e investe – para financiar o Estado. Em resumo, o liberal gosta de empresas privadas, e o comunista gosta de empresas públicas.

A iniciativa individual é muito poderosa. A história está repleta de exemplos de o quanto se construiu com iniciativas individuais. Pensemos nesse: em pouquíssimo tempo a humanidade criou a sociedade conectada, com intenso uso de aparelhos móveis (celular). Trata-se de um triunfo, que obviamente é consequência do modelo capitalista, com sua característica de deixar boa parte do resultado do trabalho e do investimento com quem tem a inciativa. Por um lado, enriquecem os donos das grandes empresas que fornecem celulares e seus componentes. Mas por outro lado, enriquece toda a humanidade, que se torna muito mais eficiente ao passar a contar com o novo e poderosíssimo recurso, que inclusive faz melhorar a vida de muita gente das camadas populares.

O Brasil tem muitas deficiências. Para que a vida melhore, é preciso que se trabalhe e se invista, para construirmos um mundo melhor. Defendo que o sistema capitalista é claramente o mais adequado para conduzir e incentivar muita gente a ter inciativa de trabalhar e investir. Os países que eu mais admiro, e que tem padrão material de vida muito superior ao nosso, construíram sua riqueza com base no sistema predominantemente capitalista. Dentre esses países estão EUA, Canada, Inglaterra, Alemanha, Japão, Singapura.

Percebe-se que o Brasil tem cultura com forte preconceito contra o Capitalismo. É perfeitamente lícito qualquer pessoa ter sua própria opinião sobre como devemos nos organizar. Mas penso que muitos que repetem “chavões” contra o capitalismo, de fato pouco sabem sobre o sistema. Um amigo meu recentemente escreveu um livro que ajuda a entender o capitalismo, [ link ] .

Optar por tecnologia de informação. Argumento que a única forma de se obter prosperidade coletiva é fazer aumentar a eficiência média da sociedade. A palavra “eficiência” representa a medida de quanto se consegue produzir com uma dada quantidade de recursos. Nas minhas aulas de empreendedorismo eu sempre faço o seguinte e breve exercício. Pergunto à turma quem gosta de comer batata frita. Sempre ocorre de muita gente levantar o braço. A batata frita tem 2 componentes: “batata” e “frita”. Pensemos no segundo componente, que requer tipicamente o consumo de óleo de soja. O leitor tem consciência de como se planta e se colhe soja no Brasil hoje? Procure saber. A intensidade do uso de tecnologia e mecanização é enorme, resultado de uma longa sequência de investimentos. Nossa soja é a mais produtiva do mundo. Esse é outro triunfo do sistema capitalista. A propósito: o setor de agri-business é um dos poucos que nos dá notícias boas atualmente. Com muita tecnologia, há muita produtividade, e há muita abundância. A sociedade toda torna-se próspera em decorrência disso.

Colheita de soja, com alta economia de escala

A tecnologia de informação tem o potencial de aumentar enormemente a eficiência da sociedade. Desde que boa parte dos indivíduos passou a estar sempre carregando um dispositivo digital conectado e ligado (o celular), muitos procedimentos podem ser repensados para que sejam mais eficientes. A economia compartilhada é uma área que tem mostrado particularmente muito potencial, sendo que algumas empresas de destaque no setor incluem uber e airbnb. Há muito mais a fazer. Em quase todos os setores há transformações esperando para serem implementadas, sendo muitas geradoras de aumento de eficiência. Pensando um pouco, podemos reformar ou revolucionar várias áreas, incluindo educação, entretenimento, comércio, política, saúde, justiça, meio ambiente, finanças, arte e muito mais. Tudo isso já está acontecendo. Quem chega primeiro, come a maior fatia do bolo. Seria muito bom que nossa organização social nos incentivasse a agir agora para construir esse novo mundo, de forma a garantir uma parte desse bolo para nós.

Estou obviamente sugerindo que a sociedade brasileira adote a opção estratégica de ser competitiva em tecnologias digitais. Somos atrasados em tudo, mas há que se lembrar que todos temos igual acesso ao elemento fundamental para a inovação: neurônios. Associe-se a isso o fato de que as tecnologias digitais de suporte são mercadorias a disposição de todos quase sem distinção. Quando uma grande empresa lança um produto ou serviço (Google, Amazon, Apple, Samsung, Microsoft, IBM, Apache, Gnu, Databricks), e se esse serviço for impactante no ambiente, todos temos acesso ao serviço ao mesmo tempo. O Matei Zaharia, dono da Databricks, bateu o recorde mundial de sort benchmark com tecnologia de Big Data, e ele não tem datacenter (alugou da Amazon). Hoje ele tem uma empresa que vale várias dezenas de milhões. Em teoria, tudo poderia ter acontecido no Brasil. Na economia digital, os numerosos e lamentáveis itens do “custo Brasil” são relativamente menores que em outros setores.

Discutamos a evolução do trabalho, do tradicional ao futuro. A relação tradicional de trabalho considera o trabalhador “hipossuficiente” para negociar seus interesses. Isso é de fato verdade quando se pensa em uma atividade tradicional tal como um cortador de cana com facão e sua relação com o dono do canavial. Em função disso se criou um conjunto de leis trabalhistas, sindicatos para trabalhadores e patrões e outras instituições. No caso do cortador de cana, isso faz bastante sentido. Mas no caso da economia criativa e digital, essa forma de se relacionar parece uma aberração. O trabalho digital é altamente criativo, altamente compartilhado, com muito forte componente de conhecimento. A forma capitalista de organização ajusta-se perfeitamente, criando incentivo para criação e financiamento do crescimento de empresas novas (startups). Para prosperarmos na economia digital, precisamos estudar os modelos que funcionam, e adaptar à nossa sociedade de forma pragmática.

Big Data é uma das inovações que impactam fortemente o ambiente atual. Organizando os computadores de uma forma inovadora, conseguimos uma potência computacional aumentada, e a partir disso podemos fazer muitas coisas que não podíamos antes. Essa é uma área em ebulição. Muito está sendo construído exatamente agora. A janela está aberta, mas vai se fechar (isso sempre acontece). Não devemos esperar para passar pela janela. Por isso, é importante investir agora para se qualificar e criar novos sistemas valiosos para toda a sociedade, e no processo obter prosperidade pessoal. O momento de se estudar e investir em Big Data é agora, mesmo estando o Brasil em crise, ou talvez justamente por isso.

--------------------------------------------------------------------------------

Sergio Barbosa Villas-Boas (sbVB), Ph.D.

software development, Big Data, cloud, mobile, IoT, HPC, optimization

sbvillasboas@gmail.com, sbvb@poli.ufrj.br

Skype: sbvbsbvb

http://www.sbVB.com.br

https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337