2015-12-24

21) Big Data Posts – Natal, reflexão e superação da crise

#bigdata #hadoop #spark #crise


Os Slides gratuitos do curso Geonumerica Training de "Big Data Spark Developer" podem ser baixados nesse link.

Caros colegas da espécie humana, que comigo compartilham o Brasil e também nosso planeta; todos sabemos das dificuldades que o Brasil em particular está enfrentando atualmente. Desejo a todos nesse natal que aproveitemos o momento de reflexão de fim de ano para que pensemos como podemos colaborar de forma concreta para que nossa nação supere a atual crise. Há muita polarização e intolerância na mente das pessoas. Recomendo que conversemos com calma, com nossos conhecidos e familiares, sobre o presente do nosso país, e também como desejamos que seja o nosso futuro. Diante da atual crise, o que nós vamos efetivamente FAZER (além de protestar, reclamar)?


Podemos ser no futuro o que desejarmos ser. O que fazemos no presente é que constrói nosso futuro. São pessoas excelentes, mais que qualquer outro elemento, que estão por trás das grandes realizações humanas. Precisamos curar nossos problemas. Curar significa cuidar. Precisamos cuidar de gente, parar de perder tempo com bobagem e construir um ambiente em que incentivemos quem quer estudar, trabalhar e investir. Precisamos investir sempre e muito em educação, a base de tudo. Precisamos estudar para aprender, e não para obter um diploma. Precisamos entender o mundo em que vivemos e estar ciente de seus problemas concretos. Usando nosso tempo, o conhecimento imenso já acumulado pela humanidade, e também as tecnologias maravilhosas que conseguimos inventar, podemos construir um mundo muito mais sensato, eficiente e próspero.


Preserve-se física e mentalmente.
E que possamos fazer com nosso trabalho o ano de 2016 ser próspero.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb

+55-21-97699-1337

2015-11-28

20) Big Data Posts – Slides gratuitos Big Data Spark Developer

#bigdata #hadoop #spark

Os Slides gratuitos do curso Geonumerica Training de "Big Data Spark Developer" podem ser baixados nesse link (o usuário deve registrar-se e confirmar email, para então fazer download).

No período outubro 27~29 eu estive no Spark Summit Europe 2015, em Amsterdam. É de impressionar qualquer um constatar a quantidade de aditivos open-source para Spark que a comunidade está criando. O Spark é um produto tão bom, tão disponível (por ser open-source), tem uma comunidade tão sólida de usuários-desenvolvedores, que o apelo para o usar Spark é irresistível. Mas todo esse movimento de aprimoramento e adoção maciça de Spark esconde um paradoxo. É preciso que se construa um ambiente econômico que dê sustentação para as pessoas envolvidas. Percebi claramente que diante do cenário descrito, o que muitas pessoas e empresas estão fazendo é especializar-se no trio – treinamento, consultoria e suporte (de Spark). Nesse momento, em que está ocorrendo um forte crescimento da adoção de Spark, isso faz muito sentido. É isso com certeza que eu estou fazendo. A sustentabilidade de longo prazo dessa prática é algo que a história haverá de mostrar.

Estamos vivendo a segunda década do século 21, com o mundo repleto de inovações, em especial as inovações relacionadas a tecnologia digital. O futuro de diversas atividades econômicas está sendo refeito nesse contexto. Analisemos o que está acontecendo com o Education Business. Um dos fenômenos do ambiente é o MOOC (Massive Online Open Course). Um ator de grande impacto que pratica o MOOC é o Khan Academy, com um modelo de negócios baseado em empresa não orientada a lucro. Outro ator é o Coursera, que tem vários cursos gratuitos e alguns serviços pagos. Ainda outro ator a citar é o PluralSight, que tem foco em tecnologia de informação, com muitos assuntos e muito material, e que permite período de cortesia em que o aluno experimenta o produto e depois decide se quer ou não comprar inscrição para continuar a ver o material. Claro que há muito mais gente que poderia ser citada, mas algumas características importantes já ficam claras com esses exemplos:
  1. A maior parte dos materiais é em Inglês.
  2. Espera-se que o aluno tenha maturidade para ver o material e aprender com ele, com dose considerável de esforço individual; caso seja necessário suporte, esse deve ser feito com tecnologia remota (email, chat, videoconferência, etc.)
  3. O material deve conter uma sequência lógica para que o aluno possa seguir uma linha e aprender o conteúdo em questão.
  4. O material deve sugerir e incluir exercícios para a prática do conteúdo em questão.
  5. Muitos cursos tem alguma componente gratuita, o que ajuda a atrair atenção; mas para sustentar-se os cursos buscam vender seu material de alguma forma.
Inspirado em tudo isso, eu iniciei em 2015 um projeto em que estou dando consultoria para montar com a empresa Geonumerica – da incubadora de empresas da UFRJ – na sua sucursal de treinamento chamada Geonumerica Training, um curso de Big Data Spark Developer. O curso é um projeto ambicioso que está sendo construído agora, já com muitas partes funcionando. No futuro, vamos incluir no curso o assunto de Dados Geoespaciais e sua ligação com tecnologia de Big Data. Optamos por liberar os slides do módulo Big Data Spark Developer do curso gratuitamente (o usuário deve registrar-se e confirmar email, para então fazer download). O link é esse.

O material do curso é todo feito na empresa, sendo os slides e material de apoio todo feito em português. Nosso objetivo é o de efetivamente absorver o conhecimento relacionado a esse assunto, e inclusive por isso optamos por criar nosso material original em português (embora o texto do código fonte muitas vezes seja em inglês). O assunto Big Data Spark Developer é empolgante, assim como os assuntos derivados (Datos Geoespaciais e outros). Por liberar os slides do curso, esperamos atrair uma comunidade de gente que quer estudar e aprender. Na sociedade do conhecimento, compartilhar é essencial. O objetivo é compreender efetivamente esse assunto, de forma a conquistar as boas consultorias nessa área.

O mundo é sempre muito competitivo. Na área de software, as desvantagens brasileiras (muitas vezes chamadas de “custo Brasil”) são relativamente menos relevantes, pois usamos as mesmas ferramentas que nossos concorrentes no exterior. Quem for da área de tecnologia de informação e estiver buscando opções para progredir na carreira, faz muito favor a si mesmo por estudar Big Data Spark Developer agora, quando a comunidade está crescendo.

2015-11-20

19) Big Data Posts – Spark 1.6: Project Tungsten

#bigdata #hadoop #spark

No período outubro 27~29 eu estive no Spark Summit Europe 2015, em Amsterdam. Um dos assuntos muito debatidos nesse Summit foi o Project Tungsten, que está prometido para ser entregue como um módulo dentro da versão 1.6 do Spark. A incorporação do Project Tungsten ao Spark é uma orientação estratégica de alta tecnologia, com consequências para quem pretende desenvolver software para Spark.

A proposta original do Spark é centrada na classe RDD (Resilient Distributed Dataset), concebida pelo autor do Spark - Matei Zaharia - em sua tese de doutorado. O texto dessa tese pode ser baixado nesse link. O código com uso de RDD, associado ao conceito de “lazy execution”, faz criar um DAG (Directed Acyclic Graph), que é o grafo que descreve como a execução será feita quando chegar o momento. A análise especializada do código gerado dessa forma permite que se façam propostas de padrões de código que melhoram o desempenho de execução. Mas essa análise requer aprofundamento muito intrincado em tecnologia, o que torna o uso de Spark menos palatável para o grande público do que se desejaria.

Os “gurus do Spark” acreditam que com o Project Tungsten chegaram a uma proposta adequada para entregar uma versão de Spark que é ao mesmo tempo otimizada em eficiência de execução e relativamente pouco complexa para ser programada. Para que essas qualidades sejam de fato obtidas, recomenda-se aos usuários de Spark que dentro do possível deixem de trabalhar com RDDs e passem a trabalhar com DataFrames. Isso porque o RDD, embora seja e será sempre o centro do Spark, não permite otimização automática das DAGs. Mas o DataFrame gera um tipo de estrutura que pode ser otimizada antes de ser executada, e essa otimização faz bastante diferença no desempenho. No final das contas, um programa com RDD, se for otimizado “na mão”, com todas as intrincadas técnicas de análise de DAG, terá na melhor das hipóteses um desempenho tão bom quanto um programa feito com DataFrame, que é otimizado automaticamente e não requer análise intrincada por parte do programador Spark. E há uma vantagem adicional: considerando que todas as linguagens Spark usam o mesmo DataFrameAPI, o desempenho otimizado dos DataFrames ocorre igualmente para qualquer linguagem que o programador desejar usar (atualmente incluindo Scala, R, Python, entre outras). Em contraste, o uso direto de RDD tem desempenho melhor quando feito em Scala, em relação a outras linguagens.

Para quem está aprendendo Spark agora, a mensagem é a seguinte: é preciso aprender RDD, porque há funcionalidades de Spark que apenas funcionam assim, e porque ainda há muito código com o qual se precisa interagir que é baseado em RDD. As novas versões do Spark não terão qualquer problema com código para RDD. Mas ao mesmo tempo, seja pela simplicidade de uso, seja por desempenho, é bom apostar na estrutura de dados baseado em DataFrame, pois sinaliza-se que o futuro do código Spark tende para essa direção. Pode-se usar DataFrame desde as versões atuais. Mas será a partir da futura versão 1.6 (que inclui o Project Tungsten) que se espera que o uso pleno de DataFrames, com seu potencial e desempenho plenos sejam disponibilizados para o público.

A propósito: considerando que no Summit havia um clima de forte incentivo ao open-source, eu pedi para o pessoal da Databricks que me dessem o código com o qual eles implementaram a famosa quebra de recorde de benchmark, em outubro de 2014 (aqui e aqui). Eles não me deram esse código, e explicaram o motivo. Acontece que o código realmente bateu o recorde, mas foi feito com muitos “truques de baixo nível”. Esses truques são úteis para pesquisa, mas não são boas práticas de programação. Com a pesquisa feita com esses truques, eles evoluíram e criaram estruturas de alto nível, e as colocaram no Project Tungsten.

Em resumo: o Spark segue evoluindo rapidamente, como a comunidade espera, e como deve ser. Para o desenvolvedor Spark, o Data Analyst ou Cientista de Dados, o que interessa é que a estrutura de dados no foco deve ser mais e mais o DataFrame, ao invés de RDD, mas esse último continuará sempre funcionando muito bem. A próxima versão 1.6 vai ser liberada em breve, e será um marco no estímulo ao uso de DataFrames. As versões atuais já permitem o uso de DataFrames, para quem quiser fazer experiências com essa estrutura de dados.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-11-07

18) Big Data Posts – Spark Summit Europe 2015

#bigdata #hadoop #spark

No período outubro 27~29 eu estive no Spark Summit Europe2015, em Amsterdam. É muito importante que se registre e se divulgue o que está acontecendo: uma revolução! A quantidade, qualidade e velocidade das transformações que estão ocorrendo no ambiente de tecnologia de informação são de tal magnitude que a situação atual não pode receber outra qualificação. E como se sabe por exemplos (Google, Smartphones, Uber, e muitos outros), grandes projetos de tecnologia de informação tem o potencial de mudar a vida de muita gente.


Peço ao leitor a permissão de mencionar brevemente minha história e sua relação com Big Data. Desde que voltei do doutorado no Japão em 1998, tendo estudado “Controle Automático” (no nível de doutorado esse assunto torna-se “matemática aplicada”), tenho mantido atividade na área de consultoria relacionada à desenvolvimento de software de alta tecnologia. Como temos que estar sempre nos atualizando, naturalmente tomei conhecimento da tecnologia de software para Big Data. Tomei a decisão estratégica de estudar seriamente o assunto em 2014, quando trabalhei com Hadoop. Nesse mesmo ano solicitei e obtive aprovação para a criação de primeira disciplina de Big Data Developer da UFRJ, no DEL (Departamento de Engenharia Eletrônica e de Computação), onde trabalho desde 1991. Em março de 2015 eu fiz o curso da Cloudera de Spark Developer, na empresa paulista Semantix. Com esse excelente curso, o sentimento imediato foi: “eu vi o futuro: chama-se Spark”. Apliquei tudo que aprendi na minha turma de Big Data Developer da UFRJ de  2015_1, com cerca de 25 alunos. Fizemos excelentes trabalhos com Spark. Agora vendo o Spark Summit Europa, a mensagem é clara: “está confirmado: o futuro definitivamente é Spark, sendo esse já o presente para muitas empresas e pessoas”. Com esse post, pretendo reportar algumas passagens do Summit, bem como algumas reflexões pessoais.
  • A escala de adoção de Spark é muito impressionante sob qualquer perspectiva que se observe. A velocidade explosiva de incorporação de novidades é possível com tecnologia de informação, devido à natureza imaterial com que se trabalha. O efeito combinado da genialidade que começou com a tese de doutorado de Matei Zaharia, com a visão empresarial de Ion Stoica, CEO da Databricks está materializando a revolução. Partindo da ideia da tese do Zaharia, agora apoiado na Databricks por um time de gente brilhante, o Spark segue sendo aperfeiçoado rapidamente, sendo tudo disponibilizado de forma Open Source. Eu conversei casualmente com Ion Stoica (o Summit serve inclusive para permitir essas coisas); ele fizera na sua palestra alguns minutos antes da conversa comigo, algumas considerações sobre como tecnologias são incorporadas pela sociedade. Eu comentei que o Google chegou atrasado no mercado de mobile, e que conseguiu – com um modelo Open Source bem suportado por um time brilhante – fazer o Android vencer os concorrentes e ficar com a fatia do leão no mercado de mobile. O Ion Stoica abriu um sorriso, e disse que ele adora essa analogia, e que com certeza deseja que o mesmo ocorra com Spark. E está ocorrendo!
  • Em seguidas palestras, empresas importantes reportaram como trabalham com problemas reais relacionados a Big Data, e como Spark foi usado para resolve-los. Em uma dessas palestras, Anjul Bhambhri, Vice President of Product Development, Big Data and Analytics Platform, da IBM, repetiu merecidos elogios ao Spark (assim como muitos no Summit). Afirmou também que o Spark é um “Analytics Operating System”, e que a IBM fez a opção estratégica de apostar e incentivar o uso de Spark. Já há vários projetos da IBM sendo feitos com Spark.
  • Spark é um pacote único que funciona muito bem para resolver o que se propõe, é particularmente bom para tratar conjuntos de dados de tamanho enorme, conecta-se com muitas fontes de dados, possui interface para algumas linguagens de programação das mais usadas pelas pessoas da área: atualmente incluindo Scala, Java, Python e R. Spark funciona em vários ambientes (inclusive Windows, o que muitos achavam que não ia acontecer), sendo que a combinação de Spark com cloud (aluguel de datacenter com recursos que permitem automatizar o comando do aluguel por software, tendo a Amazon como empresa líder) torna o uso de Spark extremamente fácil.
Eu comecei a escrever esse post estando hospedado em uma residência de Amsterdam, refletindo sobre o significado de tudo o que vi no Spark Summit. Diga-se de passagem, o mecanismo que viabilizou eu estar hospedado em uma residência, e não num hotel como seria mais tradicional, é por estar usando o sistema Airbnb. Eu pessoalmente gosto muito de Airbnb, sendo que esse sistema é outra dessas novidades muito impactantes da tecnologia de informação nas nossas vidas. Voltemos para as reflexões. No Summit há sempre um local para estandes de patrocinadores, que são empresas divulgando seus produtos. É muito bom conversar com as pessoas das empresas. Eu abordei em conversas com várias pessoas um tema que me interessa muito: estratégia empresarial, isso é, planos empresariais de longo prazo. Como se sabe bem, uma empresa precisa ter bem claro para si mesmo e para o mercado o significado de sua existência. A empresa existe porque executa sua missão. Se a missão não existe mais, a empresa precisa encontrar outra missão, ou deixa de existir. Conversando com o pessoal de uma dessas empresas (MAPR), eu ouvi uma frase interessante: “Hadoop is loosing his job”. Hadoop, para quem não sabe, é a primeira geração de tecnologia Open Source para Big Data. Quando comparado com Spark, Hadoop parece complicado demais, sem falar no problema de desempenho de execução (Spark é superior). Quando Hadoop era a única alternativa para Big Data, e se necessitava que alguma tecnologia tratasse os volumes enormes de dados que se produzia, criou-se um ambiente empresarial para dar suporte a Hadoop. Muitos empregos bons, incluindo engenheiros de software, suporte e outros, foram criados no contexto de dar suporte para Hadoop, que por sua complexidade de fato requer muito suporte. Tudo isso custa um preço que os clientes pagavam para ter acesso ao desempenho superior que a tecnologia de Big Data proporcionava. Mas agora tudo isso está sob forte transformação. Spark incorpora tudo de forma mais simples, mais elegante, mais eficaz e com desempenho superior. Hadoop está perdendo o emprego, como disse o pessoal da MAPR. A filosofia Open Source está completamente implantada. Há tutoriais e fóruns por toda parte.

Convido o leitor a especular comigo as principais características do ambiente profissional de tecnologia de informação que está sendo moldado, considerando as tendências que descrevi. Não se esqueça, caro leitor, que nossa espécie humana tem instinto egoísta. Muito pouca gente compra um produto de uma empresa pensando no sentimento do dono da empresa ou de seu funcionário. Quem compra pensa em si mesmo. Se Spark simplificou tudo, se a necessidade de suporte foi muito reduzida, bom para o consumidor (ou cliente), que poderá usar esses serviços pagando pouco (ou nada, se souber usar). Mas resta a ser definido qual o papel do profissional de tecnologia de informação.

Relembremos um aspecto da história. Os computadores de grande porte eram terrivelmente complexos de serem operados. Havia operadores contratados (gente treinada) para fazer aquilo funcionar. Hoje os computadores de grande porte que ainda existem são muito mais fáceis de se operar, e uma parte enorme do serviço de processamento é feito em computadores pessoais, com algum sistema operacional que espera-se ser suficientemente simples para que muitas pessoas consigam opera-lo sem precisar contratar suporte. Resultado: hoje usamos muito intensamente o processamento digital, e usa-se relativamente pouco suporte contratado; isso se deve ao efeito combinado de os sistemas terem ficado mais simples e de muita gente ter aprendido como usar os tais sistemas.

Concluo esse post tentando fazer senso de dessas tendências para definir as qualidades do profissional de tecnologia de informação valorizado no futuro.
  • Big Data é absolutamente importante, sendo que Spark vai ser (ou já é) a tecnologia central para resolver os problemas nessa área. Portanto, aprender os problemas clássicos de Big Data e como resolve-los com Spark é uma das grandes habilidades valorizadas.
  • Percebo que aumenta a importância de conhecimento de matemática e estatística. Muitos dos problemas que se deseja tratar estão relacionados a uma formulação matemática bem-feita. O computador não erra as contas. Mas quando se o programa erradamente, os resultados ficam errados. Interpretar dados erradamente, ou programar o computador para explorar uma quantidade exageradamente grande de possibilidades são outros erros comuns. Para resolver tudo isso, o profissional deve buscar uma boa formação em matemática.
  • O idioma inglês é claramente central, pois mais que nunca tudo está sendo feito de forma colaborativa. Há códigos fonte, tutoriais e blogs por toda parte, sendo a maior e melhor parte em inglês.
  • Outra característica é a meritocracia. No Summit pode-se var todo tipo de gente – altos, baixos, gordos, magros, todas as raças humanas, de todas as cores que pode haver na pele. A cultura da meritocracia é muito compatível com a do liberalismo econômico, que presa o lucro como recompensa para o esforço individual. Curiosamente a mesma visão de liberalismo econômico é quase sempre associada também ao culto a propriedade privada. Mas a ênfase enorme que se está dando ao compartilhamento de tudo o que se tem é em boa parte uma visão oposta.
  • O tempo está na essência de tudo. Embora a Internet esteja abarrotada de material, faz muito sentido fazer o que eu fiz: pagar para aprender mais rápido; igualmente importante é criar laços com a comunidade de gente que usa essa mesma tecnologia.
É preciso que se diga: vi muitas empresas no Summit que apesar de tentarem se diferenciar, eram no fundo parecidas. Eram empresas de suporte, treinamento e consultoria de Big Data, com especialidade em Spark. Essa parece ser a direção para onde todo mundo está indo, inclusive eu. Todos nós precisamos lutar para ter um diferencial, e precisamos também conseguir vender alguma coisa para alguém. Para que se venda, é preciso conseguir fazer algo valioso para o cliente. Quem deseja atuar como consultor, deve ter experiência comprovada, talento, tempo, habilidade para montar times se necessário, capacidade e visão empreendedora, entre outras coisas. Ajuda muito ter boa formação geral, especialmente em matemática, boa agilidade mental para ler rapidamente e fazer senso útil de toneladas de blogs e tutoriais, para transformar tudo isso em valor para clientes (pessoas e empresas) reais. É preciso entender REALMENTE o cliente deseja, e eventualmente montar um serviço para ser vendido para esse cliente. O mundo atual, está repleto de problemas interessantes que podem ser resolvidos com tecnologia de Big Data (Spark). Vamos construir esse mundo. O momento é esse.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-09-13

17) Big Data e Empresa Privada COM Fins Lucrativos

#bigdata #hadoop #spark

Convido o leitor a refletir sobre o seguinte: pense em um dia típico e nos objetos com os quais interage. Quase todos esses objetos são produtos produzidos por uma Empresa Privada COM Fins Lucrativos. Esse tipo de organização de pessoas é tão importante que merece uma sigla: EPFL. A lista dos objetos produzidos por EPFL inclui a cama onde o leitor dormiu, o pijama que usou para dormir, a escova de dentes e pasta que usou para a higiene bucal, a casa onde mora, a comida que comeu no café da manhã, todos os eletrônicos que usa, e muito mais. Da mesma forma, quase todos os serviços que atendem ao leitor são prestados por EPFL. Essa lista de serviços inclui o plano do telefone celular, o provimento de Internet, a tv por assinatura, o banco onde o leitor tem conta, o salão que corta o cabelo do leitor e muito mais. O comércio que abastece de bens o leitor também consiste basicamente de EPFLs. Não há dúvida: a grande maioria dos produtos e serviços que dão suporte a nossa vida é gerada por EPFLs. É, portanto, correto entender a EPFL como uma das bases da nossa sociedade, e também uma das formas mais comuns de ocupação de pessoas. Quando se foca nos produtos e serviços inovadores, é ainda mais clara a presença de EPFL.

Toda sociedade tem uma cultura. A sociedade Brasileira, tem componentes de sentimento anti-capitalista. O capitalismo é uma filosofia que enfatiza a liberdade de iniciativa, decisão, e a responsabilidade individual; por isso é uma filosofia relacionada ao liberalismo, amante das EPFLs. Muita gente pouco compreende do funcionamento da sociedade, mas repete meio sem pensar chavões como “o empresário explora o trabalhador”, ou “os liberais não gostam nem respeitam os pobres”, entre outros. Há muitos erros e problemas em qualquer sistema em que se viva, por certo, posto que o sistema é sempre composto por humanos que são sabidamente cheios de defeitos. Mas os eventuais erros que os liberais tenham não faz a alternativa ser isenta de problemas, nem monopolista da virtude. Toda ideologia ou filosofia de vida merece ser debatida abertamente, e ter suas características analisadas a partir de fatos. Qualquer interessado pode estudar como vivem as pessoas em países com ideologia liberal e em países ideologia oposta, e chegar a suas próprias conclusões sobre quão bem a população vive.

No caso de tecnologias digitais, há um fenômeno econômico muito interessante que causa grande impacto no ambiente. A tecnologia evoluiu tanto, e fez o preço de vários produtos baixar a tal ponto, que se tornou viável oferecer muita coisa sem se cobrar nada. Armazenar conteúdos tornou-se gratuito. Muitas redes sociais são gratuitas. Muitos produtos de software têm várias funcionalidades gratuitas, e oferecem funcionalidades mais avançadas com planos pagos. No caso de desenvolvimento de software, surgiu o conceito de software open-source. No início foi visto com desconfiança. Mas o tempo passou e hoje muitas das melhores opções em software são open-source. Essa enorme quantidade de serviços digitais gratuitos ou baratos é um produto direto da filosofia liberal. Muitos produtos gratuitos eventualmente levarão a uma futura venda, e apenas por isso já há incentivo para que se invista. Nunca haveria o atual ambiente digital cheio de produtos gratuitos ou baratos se tudo tivesse sido construído com a ideologia comunista. O mundo digital atual, tão cheio de recursos, é um triunfo do liberalismo e do capitalismo.

A atual crise Brasileira é aguda, muito grave, e já está causando muita dor a muita gente, com juros altos, inflação, desemprego e talvez o pior de tudo: desesperança. É uma hora perfeita para repensarmos nossos valores. Quais as práticas do governo no passado recente? É lícito defender que foram essas práticas que causaram nossa crise. Se queremos superar a crise, é preciso um ambiente que incentive quem quer produzir. Há países em que muitas das necessidades básicas estão consideravelmente bem resolvidas. Nesses países, as empresas precisam disputar os clientes com dificuldade, fazendo produtos com características excelentes, e vendendo-os com margens cada vez menores, devido à enorme competição. No Brasil, com tantas deficiências ainda por serem resolvidas, há espaço de sobra para a implantação de EPFLs que atendam nossas carências. Mas o ambiente atual de crise está demasiadamente pouco atraente para as empresas. Há excesso de tributos, custo excessivo do Estado, incerteza severa na política, no marco regulatório e muitos outros incentivos negativos.

A vida pode melhorar por se investir em suprir várias de nossas carências de produtos e serviços. As EPFLs podem supri-los quase sempre de forma muito mais eficiente que o governo. A sociedade pode superar essa crise por criar um ambiente que atrapalhe pouco quem quer produzir e investir.  

Há que se pensar também no momento em que o mundo vive, em que se aprofunda a sofisticação da sociedade digital. O mundo repleto de serviços digitais é por vezes referido como “Big Data”, embora esse termo seja tecnicamente mais adequado para referir-se a software com sistemas distribuídos tal como Hadoop e Spark. Como sempre acontece com o ambiente cheio de inovações, há muita oportunidade. Mas ninguém duvida que as melhores oportunidades não ficarão disponíveis por muito tempo.

Vou repetir minha sugestão de que a sociedade brasileira opte estrategicamente por sair dessa crise por se criar um ambiente favorável para as EPFLs, estimulando quem quer produzir e investir. As EPFLs, pela sua procura natural de busca de resultados (lucro), investirão e criarão formas mais eficientes de prover para a sociedade. Muitas estruturas produtivas e serviços da sociedade foram concebidos em uma época com muito menos opções tecnológicas. Podemos repensar nossa forma de viver de forma estruturalmente mais eficiente, usando com sabedoria as tecnologias digitais. Devemos estimular que as novas tecnologias substituam as formas antigas de se trabalhar, sempre de olho na eficiência estrutural, na rapidez, na robustez. Devemos estimular que as EPFLs se estabeleçam, com base na competição sem viés, e na vitória do produto e serviço que seja o melhor e o mais econômico. Devemos educar a população para preparar-se mais e mais para viver no ambiente competitivo, e não proteger a sociedade da competição. Nossa cultura deve sistematicamente identificar e eliminar as ineficiências e desperdícios.

Proteção em excesso cria leniência, e baixa eficiência. Com o tempo, toda a sociedade fica ineficiente, com dificuldade de competir com o mundo, e, portanto, mais pobre como estamos agora. A solução para a nossa crise é optar pela filosofia liberal, pelo apoio às EPFLs e pelo uso intenso de tecnologia de informação, para sempre focando em eficiência estrutural.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-09-07

16) Big Data, demografia e eficiência

#bigdata #hadoop #spark

Considero tecnicamente correto definir um sistema computacional “com tecnologia Big Data” a partir da sua referência original, isso é, quando se está usando um sistema distribuído (em geral Hadoop e/ou Spark) capaz de usar cluster (em geral gerenciado por Yarn, Mesos ou Spark Standalone) sobre um sistema de arquivos distribuído (em geral HDFS). Contudo, a expressão “Big Data” tem sido mais e mais usada num contexto mais abrangente que a definição tecnicamente original acima. Essa definição mais abrangente refere-se a Big Data como o uso massivo de tecnologia de informação, isso é, o mundo em que muitas coisas são medidas, armazenadas, processadas, decididas e disponibilizadas digitalmente. A eficiência geral da sociedade está fortemente relacionada a “Big Data”, na sua definição abrangente. No contexto demográfico Brasileiro, que vive os momentos finais do “bônus demográfico”, recomenda-se especialmente que a sociedade adote massivamente a tecnologia de informação, mirando na eficiência.

Falemos sobre “bônus demográfico”. Esse é um fenômeno social no qual uma grande quantidade de pessoas faz a opção ao mesmo tempo de ter menos filhos. Como se sabe bem, o perfil econômico de uma pessoa é resumidamente de ter 3 fases: infância, idade ativa, senhoridade. Nas duas fases das pontas, a pessoa é economicamente inativa. O período economicamente inativo de uma pessoa ao nascer é longo, em geral definido como 15 anos (mas muita gente fica bem mais tempo estudando e se preparando para futura fase ativa, que vai até os 64 anos). Durante esse período inicial, a pessoa economicamente consome recursos e não os cria. Quando muitas pessoas decidem ao mesmo tempo adiar o momento de ter filhos, ou de ter poucos ou nenhum filho, essas pessoas em idade ativa deixam de investir tempo e dinheiro para criar a nova geração. Esse investimento que deixa de ser feito é tecnicamente um recurso adicional que a sociedade tem à disposição. Durante o bônus demográfico, a economia tende a ter melhor desempenho. Mas a boa notícia do bônus demográfico tem um recado claro: trata-se de um episódio único em uma sociedade, que tem data para terminar. Já se observou esse fenômeno em muitas sociedades, e sabe-se que esse bônus dura cerca de uma geração, isso é, cerca de 30 anos, ou no máximo 35 anos.

Muitos estudos alertam para um risco para o Brasil: tornar-se uma sociedade envelhecida sem antes emergir até o status de país desenvolvido. Enquanto o Brasil for “mais ativo” por consequência do bônus demográfico, deve construir uma forma mais desenvolvida de vida, isso é, deve aprender a ser eficiente e com isso tornar-se mais próspero.

Vou repetir nesse o post minha tese principal: o Brasil precisa adotar massivamente a tecnologia de informação para tornar-se eficiente. Isso é equivalente a usar Big Data, tanto na definição técnica original do termo quanto na definição abrangente supracitada.

A efetividade e eficiência da vida com uso de tecnologia de informação requer mais que a pura e simples instalação de hardware e software. É preciso que exista uma cultura de uso dos sistemas digitais de forma efetiva e eficaz. Essa cultura é criada inclusive com muito estudo. Mas acima de tudo, a sociedade precisa conscientizar-se dos seus objetivos estratégicos, e apoiar a construção do futuro que interessa a todos nós. É preciso que consigamos automatizar os sistemas e procedimentos que nos servem, fazendo-os funcionar com cada vez menos gente, e em muitos casos de forma totalmente automatizada.

Vou reportar um exemplo de nível elevado de automatização, implantada em país desenvolvido: quem já foi para os EUA (várias cidades) pela Delta deve ter feito escala em Atlanta. A Delta usa a cidade de Atlanta como “hub” (ponto de interconexão), fazendo muitos voos para essa cidade. Uma empresa aérea precisa resolver o problema de conectar muitos pontos (cidades) entre si. A abordagem tradicional é simplesmente conectar as cidades diretamente. Mas isso é muito ineficiente. A alternativa é usar hubs. Vai-se da cidade A para a cidade B passando pelo hub. Exemplo: Rio de Janeiro para Miami passando por Atlanta. O uso de hubs é muito mais eficiente que a ligação de todas as cidades diretamente. Mas isso cria um fluxo enorme no hub. O resultado é um aeroporto de tamanho gigantesco em Atlanta. Para dar conta de atender a todas as pessoas em trânsito no aeroporto de Atlanta, há nível muito elevado de automatização. Dentre os vários sistemas automáticos, incluem-se o sistema de informação para o local para onde os passageiros devem ir, e também o trem entre os “concourses” (alas do aeroporto), que opera sem piloto. Qualquer pessoa que tenha passado por esse aeroporto impressiona-se pela quantidade grande de gente que é atendida, com relativamente poucas pessoas para atende-las. Eficiência é isso. Dessa eficiência decorre a prosperidade que tanto desejamos.


Todos os países prósperos do mundo vivem com alto e crescente nível de automatização, sempre com base em muito estudo e sistema de educação forte. Se quisermos ser prósperos, temos que fazer como eles.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-09-02

15) Big Data, política e estratégia

#bigdata #hadoop #spark

Como se sabe bem, o Brasil vive grave crise financeira e política. O governo – sem alternativa – impõe um ajuste econômico em que há profundos cortes de gastos, para que as contas da nação possam ficar em ordem. Num cenário de cortes de gastos, ouve-se com frequência pessoas que representam um setor dizer que seu setor é muito importante, que o impacto dos cortes sobre esse setor é terrível, e que seria muito bom a sociedade orientar o ajuste para penalizar outro setor. De certa forma é isso que eu vou fazer com esse post. Critico o aumento de impostos que o governo pretende fazer para produtos de informática, incluindo computadores, smartphones e tablets. Esse aumento foi amplamente reportado, sendo que uma das referências é essa . Convido o leitor a apreciar a lógica do argumento, que considero ser fundamentalmente diferente da maioria do que se tem ouvido.

Parto das seguintes premissas: (1) A prosperidade coletiva somente pode ser obtida no caso de a sociedade ser estruturalmente eficiente, isso é, capaz de produzir mais com menos consumo de recursos. (2) Um dos fatores mais importantes para se construir uma sociedade estruturalmente eficiente é o uso massivo e sábio de tecnologia de informação. (3) O Brasil ainda tem grandes desníveis sociais, e a inclusão digital é um grande objetivo nacional, no sentido de garantir que os benefícios do uso de tecnologias digitais sejam percebidos por muitas pessoas.

Pensemos em exemplos de como a sociedade fica mais eficiente a partir do uso de tecnologias de informação. (1) Declaração do imposto de renda por computador. (2) Agendamento de licenciamento de carros. (3) Gerenciamento do Enem. (3) Uso de banco por computador ou celular. (4) Educação a distância. (5) Uso de mapas em computador ou celular para facilitar a localização de endereços. (6) Comércio pela Internet ou celular. (7) Busca de empregos pela Internet ou celular.  

Seria possível enumerar muitos outros exemplos. A sociedade está experimentando uma forte re-invenção de si mesma, em que muitas atividades estão sendo substituídas por outras com a cara do século 21. No nosso século, queremos tudo rápido, customizado, integrado com outros sistemas, em todas as plataformas que usamos, disponível 24 por dia. Os negócios, sempre muito competitivos, precisam se re-inventar. O antigo diferencial competitivo pode ficar obsoleto no mundo atual. Hoje o cliente consulta as alternativas de produtos e serviços, e sabe muito bem o que quer e quanto quer pagar. O cliente odeia perder tempo, e quer ter todas as opções de uso dos produtos e serviços acessíveis facilmente. Considerando que o cliente já declarou em várias oportunidades algumas coisas que o caracterizam, existe a expectativa que os negócios levem essas declarações em consideração e acertem melhor os desejos do consumidor. Nesse último item a tecnologia de Big Data tem papel de destaque.

Voltando ao ponto inicial: argumento que é uma ideia péssima para a sociedade optar por resolver o problema de ajuste de contas por onerar os produtos relacionados a tecnologia de informação. É certo que o preço do ajuste tem que ser pago a partir de algum lugar. Mas o ponto do argumento aqui apresentado é que a tecnologia de informação não é “consumo”, mas “investimento”. Será muito difícil que a sociedade se torne mais eficiente, se a população for afastada do uso de tecnologias de informação. Quanto dinheiro se perderia se não se pudesse mais declarar imposto de renda por computador? Ou se os alunos do Enem tivessem que ir pessoalmente a uma secretaria para cada pedido de informação? Quantas outras formas de se melhorar a sociedade ainda estão esperando para serem implantadas, e que precisam inclusive de equipamentos para que possam existir?

Um outro fator para se conquistar a prosperidade é se exercer atividades econômicas com alta criação de valor. Qualquer empresário adora pagar salários altos, desde que seja possível criar valor suficiente a partir do funcionário, de forma a que aquele emprego se pague e ainda gere lucro. Quando uma atividade gera pouco valor, não é possível que se pague um salário grande. Qualquer pessoa interessada pode ver como se percebe o valor das atividades hoje em dia, e se perceberá que empresas no setor de tecnologia de informação estão entre as mais valorizadas do mundo. As empresas desse setor valem muito, vendem produtos e serviços de alto valor, e pagam salários altos para profissionais altamente especializados.

Em resumo: a sociedade deve tomar o setor de tecnologia de informação como um aliado para a eficiência e para a prosperidade. Não faz sentido onerar o que nos salva. A sociedade ganhará muito por adotar uma política que estimule o uso sábio de tecnologias de informação, bem como o investimento em educação e treinamentos que nos ajude a formar as pessoas que de fato vão produzir e usar os sistemas de uma sociedade informatizada e eficiente. A atual tecnologia no foco é Big Data. Se quisermos tirar proveito pleno das atuais oportunidades relacionadas à essa tecnologia, devemos ter uma política que nos estimule a isso.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-08-22

14) Saindo da crise andando para frente, com Big Data e demais tecnologias digitais

#bigdata #hadoop #spark

Convido o leitor a apreciar a seguinte analogia: comparar andar de uma pessoa com a economia. Uma pessoa andando tipicamente o faz segundo um ciclo periódico conhecido como “andar dinâmico”, que pode ser descrito assim: o andar consiste em uma série de passos (ciclos), sendo que cada passo parte de uma posição estável, seguido de uma fase instável em que a pessoa “cai” para a próxima posição estável, a partir do qual o ciclo se repete. Uma pessoa observadora sabe que o mundo ultimamente está absorvendo inovações rapidamente. Em particular, as inovações relacionadas à tecnologia digital têm alto impacto na vida de muita gente. Pensemos no Uber concorrendo com taxis, ou WhatsUp concorrendo com SMS. Cada inovação dessas “desestabiliza” a organização que se fazia para resolver algum problema (deslocamento em cidade, ou troca de mensagens de texto), e estimula que a sociedade alcance um novo patamar de estabilização. É como uma pessoa dando um passo. Outra forma de se referir a esse fenômeno é o que o economista austríaco Joseph Schumpeter chamou de “destruição criativa”. A criação de uma inovação destrói a forma anterior de se executar alguma coisa.

Há quem chame de “Big Data” o nome do fenômeno econômico atual de uso massivo de tecnologias digitais, que cria e processa enormes volumes de dados. Eu considero em parte essa designação um abuso de notação, preferindo chamar de Big Data os sistemas computacionais que usam sistema de arquivo distribuído, tal como Hadoop ou Spark. Mas admito que faz um certo sentido chamar de Big Data também o fenômeno econômico citado, pois muitas vezes uma coisa leva ao uso da outra.

Pensemos nas “dores” causadas pela incorporação de novas tecnologias em geral, em especial as tecnologias digitais. Quem vive de vender algum produto ou serviço baseado em uma tecnologia, compreensivelmente fica apreensivo quando uma surge alguma inovação que torna o seu meio de vida irrelevante ou obsoleto. Todos precisamos viver de alguma coisa, e investe-se tempo e dinheiro para se conquistar uma posição na sociedade que nos conduza a ter um meio de vida. É um instinto compreensível que se queira preservar o meio de vida que se tem. Mas a proteção ao meio de vida das pessoas é ao mesmo tempo um entrave à inovação. E em geral a inovação interessa a coletividade. Fica-se, portanto, em uma situação de se decidir o que vale mais: proteger um grupo ou proteger a coletividade. A história é repleta de casos como esse, e o momento atual está convivendo com diversos casos justamente agora. São tantos os exemplos de inovações que desestabilizam setores estabelecidos, que é impossível que o leitor não reconheça alguns dos exemplos listados abaixo.

Tradicional
Inovação
TaxiUber
Telefone fixoTelefone celular
SMSWhatsUp
Canais de TVYoutube
Redes sociais tradicionaisFacebook e similares
Correio, cartasEmail
Agência de empregosWeb empregos, LinkedIn
Ensino presencialEnsino a distância

O mundo ficou melhor ou pior com a introdução dessas inovações? A resposta em geral é de que o mundo está muito melhor. Existem muito mais e muito melhores produtos e serviços para se escolher, e em muitos casos oferecidos por menos que antes. Viver em uma sociedade onde há muitos produtos e serviços para escolher, e oferecido por cada vez menos, é bom ou ruim? Muitos tenderiam a dizer que é bom. Mas para que o indivíduo efetivamente ache que sua vida está boa, é preciso que consiga ter um meio de vida, isso é, que uma parte do valor criado pela sociedade seja feito por ele, ou elaborando melhor, que a pessoa esteja inserida ou conectada a uma parte relevante do fluxo de criação de valor da sociedade.

Considerando que as inovações estão por todo lado, afetando quase todos os segmentos econômicos, o segmento em que o leitor atua deve ser um dos que está experimentando mudanças. Se está com dificuldade de permanecer competitivo, que atitude se deve tomar? Digamos que o leitor é taxista, e considera o Uber um competidor desleal. É sensato tentar bloquear legalmente essa competição? E se quiser juntar uns colegas para uma manifestação pedindo isso, talvez usará o Facebook ou o WhatsUp para chamar os colegas? Lembrou-se que as telefônicas estão querendo proibir o WhatsUp porque acham que é competição ilegal contra elas? Analogamente, os executivos das telefônicas que querem se reunir para pedir o bloqueio do WhatsUp eventualmente se deslocarão usando o Uber. Em resumo, os grupos específicos reivindicam eliminar a competição no seu segmento, mas acham ótimo a competição no segmento em que não atuam.

Vou dar uma opinião, que é particularmente adequada para ser considerada nesse momento de crise em que o Brasil se encontra. Devemos seguir em frente. Devemos deixar o vento das mudanças nos afetar, e construir moinhos de vento para aproveita-los. Ao invés de brigar contra o Uber, criemos um concorrente! Também é bem-vindo que se melhore os taxis para que se enfrente a concorrência, com qualidade e preço. Há taxas demais para o taxista pagar? Vamos repensar isso. Ao invés de bloquear o WhatsUp, criemos outros serviços de mensagens que sejam tão bons quanto, ou melhores. Talvez o preço do SMS esteja caro demais. Talvez as telefônicas possam fazer mais para melhorar o serviço e baixar o preço. O governo cobra imposto demais? Vamos repensar isso. Vamos identificar o que é obsoleto, caro demais e ineficiente, e substituir por alternativas mais adequadas. Temos que competir e lutar para sermos desejados pela qualidade e preço dos nossos produtos e serviços. Para isso, devemos fazer o mesmo que é feito pelos povos que fazem os produtos e serviços que encantam os clientes e com isso mudam o mundo. Precisamos estudar, pesquisar, investir, e melhorar o ambiente de negócios. Devemos incentivar quem quer trabalhar, e retirar os incentivos de quem quer ficar parasitando os que trabalham. Quem quer trabalhar e produzir não deve ser gerenciado e/ou controlado por pessoas que pouco produzem.

Big Data e uso com sabedoria de tecnologia de informação tem um potencial gigantesco de produzir eficiência estrutural. Quem tem cabelos brancos pela idade deve lembrar-se da época em que a declaração do imposto de renda era feita manualmente. Era um horror completo. Hoje, com os programas da receita federal, tudo ficou muitíssimo mais simples. Perde-se menos tempo e consegue-se fazer a declaração num ambiente muito melhor, com muito menos erros. Para entregar a declaração, basta um click. A introdução do sistema de imposto de renda por software tornou o Brasil mais eficiente. Esse exemplo mostra o quanto a tecnologia de informação agiliza e cria eficiência estrutural. A única forma de conquistarmos prosperidade coletiva duradoura é transformar o país em uma sociedade com alta eficiência estrutural. Isso se consegue inicialmente com uma educação forte. Adicione-se isso a um ambiente em que todos os segmentos são projetados para serem eficientes. Tudo deve ser feito com baixo consumo de recursos. O tempo para se fazer as coisas deve ser cada vez mais curto. O que pode ser automatizado deve ser automatizado. Empregos inúteis ou obsoletos devem ser substituídos por sistemas automáticos. Devemos celebrar e incentivar as inovações, especialmente as que trazem eficiência para a sociedade. Devemos incentivar startups. Devemos incentivar e investir muito em estudo, e fazer com que o estudo seja prático e gerador de valor percebido por qualquer um. Devemos estudar o que é necessário aprender. Devemos entender o mundo novo e digital que está sendo construído, e nos tornar parte dele.

Em particular, o estudo das tecnologias de Big Data é hoje em dia um dos grandes pontos focais de toda a transformação que o mundo vem experimentando. Quem não entender dessas coisas, vai ficar para trás. É inevitável competir. Se demorarmos a nos preparar para a competição, vamos ficar para trás. A história mostra que lutar contra as inovações é uma luta perdida. Se não fosse assim, estaríamos usando ainda as coisas que hoje consideramos obsoletas, tal como disquete de computador, filmadora super 8, charrete para andar na rua, etc.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-08-06

13) Big Data e o futuro do trabalho

#bigdata #hadoop #spark

O Brasil tem colecionado notícias ruins ultimamente. Têm decrescido o emprego, a renda, as vendas, a aprovação do governo. Têm subido os juros, o dólar, o endividamento, a inadimplência. Há um agrupamento de crises, incluído problemas na política, na economia, no meio ambiente, na segurança, na saúde, na educação, na moral e outros setores. Estamos obviamente vivendo uma grave crise sistêmica. O presente é ruim, e as perspectivas não são animadoras, pois se as nossas práticas nos levaram ao presente ruim, é fácil argumentar que nós não devemos fazer mais do mesmo. É preciso mudar nossas práticas. Muitos têm opinado sobre como deve ser o novo perfil das nossas práticas, e é isso que eu vou fazer com esse post. Vou centrar meus argumentos em 2 pontos – devemos optar por Capitalismo e por Tecnologia de Informação. Como se verá, isso tem forte relação com Big Data e o futuro do trabalho.

Optar por capitalismo. “Economia” é o estudo do que as pessoas fazem para viver. A sociedade humana, desde remotíssimo passado, tem “relações de troca” entre indivíduos, também chamadas de “transações econômicas”. Isso ocorre quando duas pessoas trocam “valores”. Um exemplo remoto (mas válido até hoje) seria “eu lhe dou uma caça, e você me dá uma lança”. A sociedade atual é muitíssimo complexa, e para agilizar e reduzir o custo das transações econômicas inventou-se o “dinheiro”, que tem muitos sinônimos, sendo um deles “capital”. “Capitalismo” (as vezes chamado de “liberalismo”) é o nome que se dá a uma das possíveis formas de organização das sociedades. Num super sintético resumo, pode-se dizer que uma alternativa ao capitalismo-liberalismo é o “socialismo-comunismo”. Pode haver conceitos híbridos em uma sociedade (em alguns aspectos ser capitalista-liberal, e em outros ser socialista-comunista). Mantendo-se o espírito de grande síntese dos argumentos, pode-se dizer que o capitalismo-liberal enfatiza o incentivo a iniciativa individual, garantindo a quem tem iniciativa a apropriação dos resultados do seu trabalho e do seu investimento. Na visão alternativa do socialismo-comunismo, a ênfase é em iniciativas e atividades controladas por representantes do povo (o governo), que supostamente deveria tomar decisões que maximizam o interesse de toda a comunidade. Membros do governo decidem a carga tributária – que consiste em subtrair os resultados de quem trabalha e investe – para financiar o Estado. Em resumo, o liberal gosta de empresas privadas, e o comunista gosta de empresas públicas.

A iniciativa individual é muito poderosa. A história está repleta de exemplos de o quanto se construiu com iniciativas individuais. Pensemos nesse: em pouquíssimo tempo a humanidade criou a sociedade conectada, com intenso uso de aparelhos móveis (celular). Trata-se de um triunfo, que obviamente é consequência do modelo capitalista, com sua característica de deixar boa parte do resultado do trabalho e do investimento com quem tem a inciativa. Por um lado, enriquecem os donos das grandes empresas que fornecem celulares e seus componentes. Mas por outro lado, enriquece toda a humanidade, que se torna muito mais eficiente ao passar a contar com o novo e poderosíssimo recurso, que inclusive faz melhorar a vida de muita gente das camadas populares.

O Brasil tem muitas deficiências. Para que a vida melhore, é preciso que se trabalhe e se invista, para construirmos um mundo melhor. Defendo que o sistema capitalista é claramente o mais adequado para conduzir e incentivar muita gente a ter inciativa de trabalhar e investir. Os países que eu mais admiro, e que tem padrão material de vida muito superior ao nosso, construíram sua riqueza com base no sistema predominantemente capitalista. Dentre esses países estão EUA, Canada, Inglaterra, Alemanha, Japão, Singapura.

Percebe-se que o Brasil tem cultura com forte preconceito contra o Capitalismo. É perfeitamente lícito qualquer pessoa ter sua própria opinião sobre como devemos nos organizar. Mas penso que muitos que repetem “chavões” contra o capitalismo, de fato pouco sabem sobre o sistema. Um amigo meu recentemente escreveu um livro que ajuda a entender o capitalismo, [ link ] .

http://www.amazon.com.br/gp/product/B0131AY15A?keywords=capitalismo%20modo%20de%20usar&qid=1438869748&ref_=sr_1_1&sr=8-1


Optar por tecnologia de informaçãoArgumento que a única forma de se obter prosperidade coletiva é fazer aumentar a eficiência média da sociedade. A palavra “eficiência” representa a medida de quanto se consegue produzir com uma dada quantidade de recursos. Nas minhas aulas de empreendedorismo eu sempre faço o seguinte e breve exercício. Pergunto à turma quem gosta de comer batata frita. Sempre ocorre de muita gente levantar o braço. A batata frita tem 2 componentes: “batata” e “frita”. Pensemos no segundo componente, que requer tipicamente o consumo de óleo de soja. O leitor tem consciência de como se planta e se colhe soja no Brasil hoje? Procure saber. A intensidade do uso de tecnologia e mecanização é enorme, resultado de uma longa sequência de investimentos. Nossa soja é a mais produtiva do mundo. Esse é outro triunfo do sistema capitalista. A propósito: o setor de agri-business é um dos poucos que nos dá notícias boas atualmente. Com muita tecnologia, há muita produtividade, e há muita abundância. A sociedade toda torna-se próspera em decorrência disso.

Colheita de soja, com alta economia de escala


A tecnologia de informação tem o potencial de aumentar enormemente a eficiência da sociedade. Desde que boa parte dos indivíduos passou a estar sempre carregando um dispositivo digital conectado e ligado (o celular), muitos procedimentos podem ser repensados para que sejam mais eficientes. A economia compartilhada é uma área que tem mostrado particularmente muito potencial, sendo que algumas empresas de destaque no setor incluem uber e airbnb. Há muito mais a fazer. Em quase todos os setores há transformações esperando para serem implementadas, sendo muitas geradoras de aumento de eficiência. Pensando um pouco, podemos reformar ou revolucionar várias áreas, incluindo educação, entretenimento, comércio, política, saúde, justiça, meio ambiente, finanças, arte e muito mais. Tudo isso já está acontecendo. Quem chega primeiro, come a maior fatia do bolo. Seria muito bom que nossa organização social nos incentivasse a agir agora para construir esse novo mundo, de forma a garantir uma parte desse bolo para nós.

Estou obviamente sugerindo que a sociedade brasileira adote a opção estratégica de ser competitiva em tecnologias digitais. Somos atrasados em tudo, mas há que se lembrar que todos temos igual acesso ao elemento fundamental para a inovação: neurônios. Associe-se a isso o fato de que as tecnologias digitais de suporte são mercadorias a disposição de todos quase sem distinção. Quando uma grande empresa lança um produto ou serviço (Google, Amazon, Apple, Samsung, Microsoft, IBM, Apache, Gnu, Databricks), e se esse serviço for impactante no ambiente, todos temos acesso ao serviço ao mesmo tempo. O Matei Zaharia, dono da Databricks, bateu o recorde mundial de sort benchmark com tecnologia de Big Data, e ele não tem datacenter (alugou da Amazon). Hoje ele tem uma empresa que vale várias dezenas de milhões. Em teoria, tudo poderia ter acontecido no Brasil. Na economia digital, os numerosos e lamentáveis itens do “custo Brasil” são relativamente menores que em outros setores.

Discutamos a evolução do trabalho, do tradicional ao futuro. A relação tradicional de trabalho considera o trabalhador “hipossuficiente” para negociar seus interesses. Isso é de fato verdade quando se pensa em uma atividade tradicional tal como um cortador de cana com facão e sua relação com o dono do canavial. Em função disso se criou um conjunto de leis trabalhistas, sindicatos para trabalhadores e patrões e outras instituições. No caso do cortador de cana, isso faz bastante sentido. Mas no caso da economia criativa e digital, essa forma de se relacionar parece uma aberração. O trabalho digital é altamente criativo, altamente compartilhado, com muito forte componente de conhecimento. A forma capitalista de organização ajusta-se perfeitamente, criando incentivo para criação e financiamento do crescimento de empresas novas (startups). Para prosperarmos na economia digital, precisamos estudar os modelos que funcionam, e adaptar à nossa sociedade de forma pragmática.

Big Data é uma das inovações que impactam fortemente o ambiente atual. Organizando os computadores de uma forma inovadora, conseguimos uma potência computacional aumentada, e a partir disso podemos fazer muitas coisas que não podíamos antes. Essa é uma área em ebulição. Muito está sendo construído exatamente agora. A janela está aberta, mas vai se fechar (isso sempre acontece). Não devemos esperar para passar pela janela. Por isso, é importante investir agora para se qualificar e criar novos sistemas valiosos para toda a sociedade, e no processo obter prosperidade pessoal. O momento de se estudar e investir em Big Data é agora, mesmo estando o Brasil em crise, ou talvez justamente por isso.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-07-04

12) Big Data, como toda tecnologia de informação, tende a tornar-se mercadoria

#bigdata #hadoop #spark

Permito-me a fazer uma breve revisão de um aspecto de teoria econômica. Uma transação econômica consiste tipicamente da venda de um objeto (produto ou serviço). Há um importante parâmetro no objeto vendido, que é o seu “nível de diferenciação”. Se o objeto for muito diferenciado, é dito ser “de marca” (também chamado de “diferenciado”). Se for pouco diferenciado, é dito o objeto ser “mercadoria”. O nível de diferenciação muda a qualidade da transação. Se o mercado está em uma situação de oferta abundante, uma transação de objeto tipo “mercadoria” tende a deixar o comprador feliz e o vendedor triste; já uma transação de objeto tipo “de marca” tende a deixar o comprador triste e o vendedor feliz.

Explico com exemplos. Pensemos primeiramente na missão de comprar objetos do tipo “mercadoria”. Esse é o caso de quem está querendo comprar computadores para equipar uma sala, para digamos 20 pessoas; no caso em que “qualquer computador serve”. Considera-se que há dinheiro disponível, e que se vive num local bem articulado, tal como uma grande cidade, onde há oferta abundante de produtos de informática. A especificação diz que “qualquer computador serve” (o que caracteriza o objeto como mercadoria). Nesse caso, procura-se por preço. O vendedor pouco pode fazer a não ser baixar o preço, o que lhe reduz o ganho da operação de venda. Pensemos num segundo exemplo, na missão de comprar objetos do tipo “de marca”. Esse é o caso de colocar em produção um sistema de informação que é baseado num componente de software que é propriedade licenciada de algum fornecedor. Vou citar um produto em particular com o qual já tive que interagir no caso de um projeto – o IBM web sphere – que é um servidor de aplicação. Uma certa empresa desenvolvera um sistema baseado nesse componente, e desejava colocar em produção 7 unidades do seu sistema. Para fazê-lo, a lei exige que se compre 7 licenças do componente em questão. O preço dessas licenças não era nada barato e estava causando problemas ao projeto. A empresa tinha pressa (sempre tem), e não era viável em pouco tempo adaptar o software para que deixasse de depender do componente em questão, e utilizar uma opção gratuita com funcionalidade equivalente (o componente gratuito mais indicado nesse caso seria o JBoss). Resultado, a empresa acabou comprando as licenças pagando o preço que o vendedor pediu (que era bem alto). Em resumo, no segundo exemplo o objeto negociado era “de marca”, o comprador ficou triste e o vendedor ficou feliz.

A qualidade de um componente de software ser gratuito (muitas vezes combinado com ser também open-source), impede que o usuário do mesmo eventualmente precise pagar por licenças no momento de colocar o sistema em produção. Desde que o componente de software em questão efetivamente funcione bem, a qualidade de ser gratuito e open-source é bem atrativa para o engenheiro de software que toma decisões de dependência tecnológica de sistemas. Os componentes da tecnologia de Big Data, incluindo Hadoop e Spark são gratuitos e open-source. Pode-se implantar um cluster com qualquer quantidade de workers, e não se precisa pagar por licenças dos componentes do Big Data. Isso agrada muito a empresas e consumidores de serviços de informação. Analisemos como fica o ambiente econômico de serviços de informação nesse ambiente cheio de componentes gratuitos e open-souce.

Pela perspectiva das empresas (como consumidoras), governos e outros consumidores de serviços de informação, Big Data é uma excelente opção, em rápida expansão de uso. O fato de ser tudo gratuito e open-source é um fator a estimular muito a sua ampla utilização. Não há possibilidade de um usuário de Big Data tornar-se de alguma forma pressionado em custos no momento de se colocar em produção novos sistemas de informação (como descrito no segundo exemplo, dois parágrafos acima). Em resumo, seja para novos sistemas, seja para substituição de sistemas antigos, pelas suas excelentes qualidades, a tecnologia de Big Data é uma tecnologia no foco do momento atual.

Pela perspectiva das empresas (como fornecedoras), profissionais e consultores de serviços de informação, Big Data é também uma excelente opção, em rápida expansão de uso. O fato de ser tudo gratuito e open-source, que tanto estimula os consumidores, é fator a estimular o estudo da tecnologia, para tornar o fornecedor devidamente conhecedor da habilidade que pretende fornecer. Os melhores projetos e salários hoje tendem a estar relacionados a projetos de Big Data. Mas esse grupo de fornecedores merece uma reflexão adicional. Como aconteceu com todas as outras tecnologias de informação (e.g. Java, web, C++, Banco de Dados e outras), a tendência é que a tecnologia de informação torne-se mercadoria. Como vimos, quando um objeto negociado é da categoria mercadoria, “qualquer fornecedor serve”. Essa é a situação em que o comprador fica feliz e o fornecedor (vendedor) fica triste.

Cientes do inevitável destino de tornar-se mercadoria, um dos instintos dos fornecedores é o de “produtizar” suas melhores habilidades e ideias. Ao invés de fornecer sua habilidade para os consumidores, desenvolver um produto e licenciar o produto para o consumidor. Se o consumidor contrata via outsourcing um serviço de desenvolvimento de software, o consumidor é proprietário desse software. Se o cliente licencia um software, a propriedade segue sempre sendo do fornecedor.

Então o que o fornecedor deve fazer, desenvolver software para os consumidores, ou para si mesmo e licenciar o produto desenvolvido? Essa é uma resposta que varia caso a caso. A resposta depende muito das oportunidades que efetivamente se consegue contratar, e do conhecimento que já se tem acumulado, entre outros fatores. Pode acontecer de um contrato ser interessante para o fornecedor, por leva-lo a incrementar sua experiência com certas tecnologias. Tudo isso é levado em conta na hora de definir o preço do serviço. Para aumentar a complexidade da decisão, tudo varia rapidamente com o tempo. Muita gente está mudando rapidamente sua compreensão das tecnologias. O mundo todo está mudando muito rapidamente, com a introdução de novos serviços que mudam o panorama. Há um exemplo de serviço merece ser mencionado no caso de Big Data. É a possibilidade de se criar facilmente um cluster de Spark na cloud, com quantos computadores se desejar. Essa possibilidade – que está disponível para todos nesse planeta – torna o problema de implantação de cluster de Big Data muito fácil.

É lícito especular que os ventos de mudança seguirão sendo bem fortes. Diante disso, dá vontade de lembrar da frase do Érico Veríssimo: “Quando os ventos de mudança sopram, umas pessoas levantam barreiras, outras constroem moinhos de vento”.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-06-06

11) Big Data e estratégia

#bigdata #hadoop #spark

A palavra “estratégia” pode ser em muitos casos substituída por “com ênfase nos objetivos de longo prazo”. Por exemplo: “plano estratégico” deve ser entendido como “plano com ênfase nos objetivos de longo prazo”. Nações, povos, indivíduos e empresas fazem bem em cultivar seus próprios planos estratégicos, pois muitos planos (os bons) fazem sentido apenas se praticados em prazos longos. O oposto de ter e cultivar um plano estratégico é seguir os conselhos do Zeca Pagodinho com a música “deixe a vida me levar, vida leva eu ...”. Quem não tem plano estratégico não está indo a lugar nenhum. O mundo não costuma ser benevolente com quem pensa e age assim.

Pensemos na origem da palavra “crise” em chinês. A imagem representa as 2 letras chinesas que combinadas significam “crise”, sendo a letra da esquerda a representação de “perigo” e a da direita “oportunidade”. Pronuncia-se “wéijī”. O Brasil encontra-se claramente em situação de grave crise. Nesse Post abordo os aspectos de perigo e de oportunidade da nossa crise corrente. Apresento também um argumento que Big Data é um bom componente para um plano estratégico coletivo e individual.

O Perigo: O programa Globo News Painel, exibido no dia 30/05/2015, conduzido por Renata Lo Prete, tem título “Especialistas avaliam a polêmica sobre o ajuste fiscal”. A pauta foi de “tentar esboçar uma agenda de desenvolvimento para o Brasil, pós ajuste fiscal”. Consta que quase todo mundo concorda que “a retomada do controle das contas públicas não basta para produzir crescimento”. Para piorar “como se pode falar num pós ajuste, se o próprio ajuste não está assegurado?”. Os convidados para discutir o tema foram Marcos Lisboa, Fernando Sampaio, Cesar Benjamin. Vou fazer uma seleção de citações desse programa. Numa passagem do programa, Cesar Benjamin comentou que “nós (brasileiros) vivemos numa região muito periférica do mundo; a minha impressão é que o mundo quer do Brasil alimentos (soja e outros alimentos), minérios, petróleo, e de preferência temperado com uma cerejinha de juros altos (…); se o Brasil oferecer ao mundo alimentos, minério, petróleo e juros altos, o mundo está (sic) satisfeitíssimo (…); se nós (brasileiros) quisermos não ficar nessa posição (…) nós temos que ter uma enorme capacidade de fazer um esforço endógeno; nós dizermos 'não é essa a posição que eu quero, eu quero construir uma outra' como os Estados Unidos fizeram no século 19, em que eram país periférico como o Brasil e terminaram o século como a grande potência industrial, como a China vem fazendo na segunda metade do século 20 para cá; quer dizer, são grandes países periféricos que num certo momento da sua história disseram: 'eu não quero esse lugar que vocês estão me designando, e eu vou construir o lugar que eu quero, e vou pagar o preço, porque isso tem preço'. Eu acho que o Brasil perdeu essa capacidade. Isso não tem a ver exclusivamente com o governo Dilma. É uma coisa muito mais ampla. Envolve o nosso sistema político e envolve o nosso Estado Nacional, que foi completamente depauperado. Nós há muitos anos construímos governabilidades de curto prazo a custa do loteamento do Estado, gerando uma ingovernabilidade de longo prazo. E o longo prazo chegou. Essa soma de governabilidades de curto prazo gera um Estado que não cumpre suas grandes funções estruturantes.(...) Nós temos um problema que está fora da macroeconomia. Nós não temos hoje um estado nacional e um sistema político capaz de liderar um projeto nacional que diga para o mundo (...): 'Não podemos ser uma economia exportadora de soja, minério de ferro e petróleo. Esses juros que vocês querem, nós não vamos dar.' Para fazer isso você tem que ter custo. Tem que ter um projeto e pagar o custo, como todos os que tiveram projeto nacional pagaram. Nosso sistema político não tem capacidade nem de formular esse projeto nem de bancar nenhum custo associado a ele. Acho que está aí o X do problema.

Antes de prosseguir, faço uma reflexão. É muito citado o fato de o Brasil ser um país com desigualdades sociais. É adequado ressaltar que as desigualdades brasileiras são também educacionais e intelectuais. E existe forte correlação entre deficiência de educação e de nível social. A boa notícia é que todos os humanos possuem quantidade aproximadamente igual do recurso essencial para o desenvolvimento educacional e intelectual: neurônios. Em toda história da humanidade, nunca nasceu um indivíduo com muito mais neurônios que os demais integrantes da nossa espécie. Não se sabe o motivo de eventualmente nascer uma pessoa genial. Aparentemente a capacidade mental elevada é um fenômeno que pode ocorrer em qualquer lugar e tempo. Se estimulado adequadamente, e se houver oportunidade, qualquer um de nós pode fazer alguma coisa sensacional. Na era da Internet, embora a parte estrutural ainda precise melhorar muito, já há acesso a informação e oportunidade para muitas pessoas.

A Oportunidade: Pensemos. O mundo está construindo uma nova sociedade digital. O mobile é o controle remoto do mundo, que está sempre ligado e conectado a Internet (cloud). Há uma quantidade enorme de procedimentos da vida humana que podem e devem ser repensados diante da possibilidade de uso de sistemas digitais, com ênfase em cloud e mobile. O uso intensivo de tecnologia de informação cria enormes quantidades de dados, para os quais a tecnologia de Big Data pode auxiliar para que sejam tratados. As oportunidades que o mundo observa nesse setor são gigantescas. O que nos limita para fazermos no Brasil o melhor software do mundo? O que nos limita para jogarmos o jogo que eventualmente nos tornará autores e proprietários de novas empresas de referência como Facebook? Claro que há alguns fatores que atrapalham especificamente o Brasil. Há quem chame esses fatores de “custo Brasil”. Mas no setor de software, estamos proporcionalmente muito pouco afetados por esses fatores. Não é difícil ter acesso aqui a todo o necessário para desenvolver software e implantá-lo na cloud, da mesma forma que nossos concorrentes.

Estou obviamente pregando que o Brasil tenha pelo menos um plano estratégico: ser um país forte em software. Se quisermos isso para nós, deveremos nos empenhar em criar as condições para favorecer o florescimento dessa atividade. Devemos em primeiro lugar, reforçar a educação básica, e também a educação e treinamento específico para a atividade de software. Tenho procurado conduzir a UFRJ, onde atuo, para que lá se cumpra o papel de formar pessoas que possam de fato atuar em software. Em 2010, criei e sigo ministrando a disciplina de “software para smartphones e cloud computer” na UFRJ. Em 2015 criei e estou ministrando com a primeira turma de “Big Data Developer” da UFRJ. Nos meus cursos, falo muito de tecnologia, mas também falo de estatísticas de mercado e modelo de negócios. Espero formar gente que possa ao mesmo tempo entender de tecnologia e de negócios, pois esse é o perfil mais adequado para favorecer o empreendedorismo.

A melhor notícia que podemos ter é saber que empreendedores digitais brasileiros estão tendo sucesso. Essas histórias servem de inspiração para que mais gente se interesse pela atividade, e com isso se aumente o volume de gente e de conhecimento sobre esse assunto. O eventual vigor da atividade de software deverá também servir de pressão para que outros segmentos da sociedade funcionem melhor. Felizmente há bons exemplos sucesso a reportar. Falo sobre isso em outro Post.

Independentemente de o Brasil efetivamente implementar como política de Estado um plano de longo prazo para ser forte em software, pode-se tomar individualmente a decisão de se preparar para atuar nessa atividade. Software bem feito pode tornar-se meio de vida para muita gente no Brasil. É cada vez mais comum ver gente boa de software trabalhando no Brasil, em favor de projetos de empresas estrangeiras que nos contratam. Eu acho isso excelente. É um sintoma de que software pode de fato uma excelente alternativa de carreira, com muitas oportunidades. Mas é claro que quem atua tem que ser realmente bom, e estudar muito. Big Data está particularmente no foco agora. É um momento excelente para se investir em estudar essa tecnologia, e se preparar para oportunidades que com certeza vão surgir.


--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337


 

2015-05-31

10) Quão urgente é aprender Big Data ?

#bigdata #hadoop #spark

Estou montando um curso de Big Data. O público-alvo inclui empreendedores, engenheiros de software, desenvolvedores, analistas e gerentes de projeto de tecnologia. O curso será divulgado em breve. Enquanto conversava com um consultor amigo, para refletir sobre aspectos do curso, meu amigo fez umas ponderações interessantes, que merecem ser comentadas aqui no Blog. Nesse post, vou comentar duas dessas ponderações: “1) Big Data não está no horizonte de urgências das pequenas empresas” e “2) De que maneira Big Data pode trazer mais clientes para as pequenas empresas?”.

A primeira ponderação pode ser re-escrita de forma mais geral como o título desse post: “Quão urgente é aprender Big Data?”. Minha resposta para essa pergunta é que o nível de urgência para aprender Big Data depende do que se considera "urgência". É necessário lembrar que nosso país vive um momento com características especiais. Há um conjunto de várias crises simultâneas, todas graves. Diante desse momento, é realmente de se ponderar se o investimento de tempo e dinheiro para se aprender Big Data é ou não uma "urgência". Acontece que a parte dinâmica do mundo não está nada parada. Muita gente está exatamente agora investindo pesadamente em modernizar-se e incorporar novas formas de se viver e empreender - com lauto uso de tecnologias digitais, em especial Big Data (a tecnologia inovadora atualmente no foco). O mundo vai seguir modernizando-se. Quem tiver qualquer motivo para não conseguir ou não querer investir para modernizar-se, com certeza vai ficar para trás.

Há algo melhor que aprender com os próprios erros: é aprender com os erros dos outros. Pode-se estudar história com foco em refletir sobre erros e acertos do passado, e dessa forma destilar de grandes lições. Abaixo listo alguns exemplos históricos.

  • Na década de 1980, a IBM era líder em tecnologia de informação, e ganhava muito dinheiro vendendo mainframes. A Apple provou que havia mercado para computadores pessoais, e a IBM reagiu criando uma divisão nova para vender seu próprio computador pessoal IBM-PC. Mas não entendeu que a grande oportunidade estava no software e não no hardware. O resultado foi perder para a Microsoft a oportunidade de ganhar dinheiro com software (em particular com sistema operacional). Com o jogo já muito avançado, tentou recuperar o terreno lançando seu próprio sistema operacional, mas demasiado já tinha acontecido, e o mercado ficou mesmo com a Microsoft. A IBM perdeu tempo, e perdeu oportunidade.
  • Na primeira década do século 21, a Microsoft era dominante absoluta do mercado de software para computador pessoal. Após alguns casos impactantes de briga agressiva e vitória sobre concorrentes (o mais notável foi a guerra dos browsers, de 1994 a 1998, que derrotou a Netscape), parecia impossível alguém vencer o colosso Microsoft. A Google cresceu sem concorrer diretamente com a Microsoft, atuando no mercado de busca (então dominado pela Yahoo e Altavista), com a inovação de usar tecnologias automáticas para a busca. Essas tecnologias mais tarde se transformariam em tecnologia de Big Data. Aos poucos o mundo foi mudando, e a Google amadureceu vários produtos que hoje competem e em muitos casos ganham da Microsoft. Ainda se poderia falar na tecnologia de mobile, na qual a Google chegou atrasada com o Android, conseguiu crescer e hoje é dominante. No longo prazo, a Google está melhor que a Microsoft. A Microsoft perdeu tempo, e perdeu oportunidade.
  • As gravadoras de música (EMI e outras) tem lembranças doces do gigantesco lucro que um dia conseguiram obter. Somente com os Beatles, as vendas foram um colosso. Muito se vendeu no formato LP (Long Play). Na década 1980, iniciou-se a venda de CD, com o mesmo modelo (controlar a venda da media permitia o controle da venda do conteúdo). Inovações modificaram completamente o cenário. O uso de mp3, Internet e software de compartilhamento (napster e depois outros), fez a venda de CD praticamente desaparecer. O mercado de música mudou completamente. Dentre as empresas de destaque atualmente no cenário de música incluem-se a a Apple com o iTunes, a Amazon, que vende vários tipos de media, e a Google com o youtube. As gravadoras perderam tempo tentando manter vivo um modelo de negócios marcado para morrer, e perderam a oportunidade que hoje está com as empresas dominantes do setor.

Numa tentativa de resumir o que se pode aprender com esses exemplos, digo que é imperativo adaptar-se aos novos tempos. Muita empresa grande apegou-se demais ao sucesso do passado, demorou a reagir e perdeu. Muitas empresas que existem hoje vão  acabar por tornarem-se incapazes de competir com os métodos e expedientes que se exige na atualidade. É sábio investir em modernização enquanto ainda é tempo. 

A segunda ponderação do meu amigo também tem resposta. Empresas que vendem pela Internet podem colocar um painel com sugestões de produtos que outros clientes compraram depois de comprar o que está no carrinho de compras. Um painel desses é tipicamente produzido com tecnologia de Big Data. O marketing pode ficar muito mais eficaz pela incorporação de informações de Business Inteligence vindas de processamento de com Big Data sobre log de vendas, ou sobre redes sociais. Big Data pode ser aplicado hoje para resolver problemas já existentes, e também para criar serviço inovador e valioso. O mesmo instinto de oportunidade que fez a empresa ser criada no primeiro momento, deve ser usado para prospectar usos para Big Data hoje, para potencializar as possibilidades da empresa.

O Spark (Big Data Geração 2) está crescendo exatamente agora. O artigo que mostrou o enorme ganho de desempenho que Spark tem sobre a geração anterior é de outubro de 2014 (Veja esse post). Apesar de dificuldades que o Brasil passa especificamente agora, é imperativo conseguir investir para se criar cultura de uso de Big Data. O momento de se investir é agora. Em relativamente pouco tempo, as melhores oportunidades terão ido para quem está investindo agora. Precisamos construir um futuro que tenha alta criação de valor nas atividades que são feitas por brasileiros, ou os demais países alegremente nos conduzirão para uma posição subalterna de fornecedor de produtos básicos. 

A única forma de se obter prosperidade coletiva é construir uma sociedade eficiente, com alta produtividade. O uso intensivo e sábio de tecnologia de informação é fator essencial de eficiência e produtividade. Há inúmeros setores no Brasil esperando para tornarem-se mais eficientes com o uso de TI. Big Data é a tecnologia no foco. Os principais projetos atualmente vão usar essa tecnologia. Empresas que investirem agora vão pegar as melhores oportunidades. Profissionais de TI que investirem agora vão valorizar seus currículos. 

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization 
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337