2015-09-13

17) Big Data e Empresa Privada COM Fins Lucrativos

#bigdata #hadoop #spark

Convido o leitor a refletir sobre o seguinte: pense em um dia típico e nos objetos com os quais interage. Quase todos esses objetos são produtos produzidos por uma Empresa Privada COM Fins Lucrativos. Esse tipo de organização de pessoas é tão importante que merece uma sigla: EPFL. A lista dos objetos produzidos por EPFL inclui a cama onde o leitor dormiu, o pijama que usou para dormir, a escova de dentes e pasta que usou para a higiene bucal, a casa onde mora, a comida que comeu no café da manhã, todos os eletrônicos que usa, e muito mais. Da mesma forma, quase todos os serviços que atendem ao leitor são prestados por EPFL. Essa lista de serviços inclui o plano do telefone celular, o provimento de Internet, a tv por assinatura, o banco onde o leitor tem conta, o salão que corta o cabelo do leitor e muito mais. O comércio que abastece de bens o leitor também consiste basicamente de EPFLs. Não há dúvida: a grande maioria dos produtos e serviços que dão suporte a nossa vida é gerada por EPFLs. É, portanto, correto entender a EPFL como uma das bases da nossa sociedade, e também uma das formas mais comuns de ocupação de pessoas. Quando se foca nos produtos e serviços inovadores, é ainda mais clara a presença de EPFL.

Toda sociedade tem uma cultura. A sociedade Brasileira, tem componentes de sentimento anti-capitalista. O capitalismo é uma filosofia que enfatiza a liberdade de iniciativa, decisão, e a responsabilidade individual; por isso é uma filosofia relacionada ao liberalismo, amante das EPFLs. Muita gente pouco compreende do funcionamento da sociedade, mas repete meio sem pensar chavões como “o empresário explora o trabalhador”, ou “os liberais não gostam nem respeitam os pobres”, entre outros. Há muitos erros e problemas em qualquer sistema em que se viva, por certo, posto que o sistema é sempre composto por humanos que são sabidamente cheios de defeitos. Mas os eventuais erros que os liberais tenham não faz a alternativa ser isenta de problemas, nem monopolista da virtude. Toda ideologia ou filosofia de vida merece ser debatida abertamente, e ter suas características analisadas a partir de fatos. Qualquer interessado pode estudar como vivem as pessoas em países com ideologia liberal e em países ideologia oposta, e chegar a suas próprias conclusões sobre quão bem a população vive.

No caso de tecnologias digitais, há um fenômeno econômico muito interessante que causa grande impacto no ambiente. A tecnologia evoluiu tanto, e fez o preço de vários produtos baixar a tal ponto, que se tornou viável oferecer muita coisa sem se cobrar nada. Armazenar conteúdos tornou-se gratuito. Muitas redes sociais são gratuitas. Muitos produtos de software têm várias funcionalidades gratuitas, e oferecem funcionalidades mais avançadas com planos pagos. No caso de desenvolvimento de software, surgiu o conceito de software open-source. No início foi visto com desconfiança. Mas o tempo passou e hoje muitas das melhores opções em software são open-source. Essa enorme quantidade de serviços digitais gratuitos ou baratos é um produto direto da filosofia liberal. Muitos produtos gratuitos eventualmente levarão a uma futura venda, e apenas por isso já há incentivo para que se invista. Nunca haveria o atual ambiente digital cheio de produtos gratuitos ou baratos se tudo tivesse sido construído com a ideologia comunista. O mundo digital atual, tão cheio de recursos, é um triunfo do liberalismo e do capitalismo.

A atual crise Brasileira é aguda, muito grave, e já está causando muita dor a muita gente, com juros altos, inflação, desemprego e talvez o pior de tudo: desesperança. É uma hora perfeita para repensarmos nossos valores. Quais as práticas do governo no passado recente? É lícito defender que foram essas práticas que causaram nossa crise. Se queremos superar a crise, é preciso um ambiente que incentive quem quer produzir. Há países em que muitas das necessidades básicas estão consideravelmente bem resolvidas. Nesses países, as empresas precisam disputar os clientes com dificuldade, fazendo produtos com características excelentes, e vendendo-os com margens cada vez menores, devido à enorme competição. No Brasil, com tantas deficiências ainda por serem resolvidas, há espaço de sobra para a implantação de EPFLs que atendam nossas carências. Mas o ambiente atual de crise está demasiadamente pouco atraente para as empresas. Há excesso de tributos, custo excessivo do Estado, incerteza severa na política, no marco regulatório e muitos outros incentivos negativos.

A vida pode melhorar por se investir em suprir várias de nossas carências de produtos e serviços. As EPFLs podem supri-los quase sempre de forma muito mais eficiente que o governo. A sociedade pode superar essa crise por criar um ambiente que atrapalhe pouco quem quer produzir e investir.  

Há que se pensar também no momento em que o mundo vive, em que se aprofunda a sofisticação da sociedade digital. O mundo repleto de serviços digitais é por vezes referido como “Big Data”, embora esse termo seja tecnicamente mais adequado para referir-se a software com sistemas distribuídos tal como Hadoop e Spark. Como sempre acontece com o ambiente cheio de inovações, há muita oportunidade. Mas ninguém duvida que as melhores oportunidades não ficarão disponíveis por muito tempo.

Vou repetir minha sugestão de que a sociedade brasileira opte estrategicamente por sair dessa crise por se criar um ambiente favorável para as EPFLs, estimulando quem quer produzir e investir. As EPFLs, pela sua procura natural de busca de resultados (lucro), investirão e criarão formas mais eficientes de prover para a sociedade. Muitas estruturas produtivas e serviços da sociedade foram concebidos em uma época com muito menos opções tecnológicas. Podemos repensar nossa forma de viver de forma estruturalmente mais eficiente, usando com sabedoria as tecnologias digitais. Devemos estimular que as novas tecnologias substituam as formas antigas de se trabalhar, sempre de olho na eficiência estrutural, na rapidez, na robustez. Devemos estimular que as EPFLs se estabeleçam, com base na competição sem viés, e na vitória do produto e serviço que seja o melhor e o mais econômico. Devemos educar a população para preparar-se mais e mais para viver no ambiente competitivo, e não proteger a sociedade da competição. Nossa cultura deve sistematicamente identificar e eliminar as ineficiências e desperdícios.

Proteção em excesso cria leniência, e baixa eficiência. Com o tempo, toda a sociedade fica ineficiente, com dificuldade de competir com o mundo, e, portanto, mais pobre como estamos agora. A solução para a nossa crise é optar pela filosofia liberal, pelo apoio às EPFLs e pelo uso intenso de tecnologia de informação, para sempre focando em eficiência estrutural.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-09-07

16) Big Data, demografia e eficiência

#bigdata #hadoop #spark

Considero tecnicamente correto definir um sistema computacional “com tecnologia Big Data” a partir da sua referência original, isso é, quando se está usando um sistema distribuído (em geral Hadoop e/ou Spark) capaz de usar cluster (em geral gerenciado por Yarn, Mesos ou Spark Standalone) sobre um sistema de arquivos distribuído (em geral HDFS). Contudo, a expressão “Big Data” tem sido mais e mais usada num contexto mais abrangente que a definição tecnicamente original acima. Essa definição mais abrangente refere-se a Big Data como o uso massivo de tecnologia de informação, isso é, o mundo em que muitas coisas são medidas, armazenadas, processadas, decididas e disponibilizadas digitalmente. A eficiência geral da sociedade está fortemente relacionada a “Big Data”, na sua definição abrangente. No contexto demográfico Brasileiro, que vive os momentos finais do “bônus demográfico”, recomenda-se especialmente que a sociedade adote massivamente a tecnologia de informação, mirando na eficiência.

Falemos sobre “bônus demográfico”. Esse é um fenômeno social no qual uma grande quantidade de pessoas faz a opção ao mesmo tempo de ter menos filhos. Como se sabe bem, o perfil econômico de uma pessoa é resumidamente de ter 3 fases: infância, idade ativa, senhoridade. Nas duas fases das pontas, a pessoa é economicamente inativa. O período economicamente inativo de uma pessoa ao nascer é longo, em geral definido como 15 anos (mas muita gente fica bem mais tempo estudando e se preparando para futura fase ativa, que vai até os 64 anos). Durante esse período inicial, a pessoa economicamente consome recursos e não os cria. Quando muitas pessoas decidem ao mesmo tempo adiar o momento de ter filhos, ou de ter poucos ou nenhum filho, essas pessoas em idade ativa deixam de investir tempo e dinheiro para criar a nova geração. Esse investimento que deixa de ser feito é tecnicamente um recurso adicional que a sociedade tem à disposição. Durante o bônus demográfico, a economia tende a ter melhor desempenho. Mas a boa notícia do bônus demográfico tem um recado claro: trata-se de um episódio único em uma sociedade, que tem data para terminar. Já se observou esse fenômeno em muitas sociedades, e sabe-se que esse bônus dura cerca de uma geração, isso é, cerca de 30 anos, ou no máximo 35 anos.

Muitos estudos alertam para um risco para o Brasil: tornar-se uma sociedade envelhecida sem antes emergir até o status de país desenvolvido. Enquanto o Brasil for “mais ativo” por consequência do bônus demográfico, deve construir uma forma mais desenvolvida de vida, isso é, deve aprender a ser eficiente e com isso tornar-se mais próspero.

Vou repetir nesse o post minha tese principal: o Brasil precisa adotar massivamente a tecnologia de informação para tornar-se eficiente. Isso é equivalente a usar Big Data, tanto na definição técnica original do termo quanto na definição abrangente supracitada.

A efetividade e eficiência da vida com uso de tecnologia de informação requer mais que a pura e simples instalação de hardware e software. É preciso que exista uma cultura de uso dos sistemas digitais de forma efetiva e eficaz. Essa cultura é criada inclusive com muito estudo. Mas acima de tudo, a sociedade precisa conscientizar-se dos seus objetivos estratégicos, e apoiar a construção do futuro que interessa a todos nós. É preciso que consigamos automatizar os sistemas e procedimentos que nos servem, fazendo-os funcionar com cada vez menos gente, e em muitos casos de forma totalmente automatizada.

Vou reportar um exemplo de nível elevado de automatização, implantada em país desenvolvido: quem já foi para os EUA (várias cidades) pela Delta deve ter feito escala em Atlanta. A Delta usa a cidade de Atlanta como “hub” (ponto de interconexão), fazendo muitos voos para essa cidade. Uma empresa aérea precisa resolver o problema de conectar muitos pontos (cidades) entre si. A abordagem tradicional é simplesmente conectar as cidades diretamente. Mas isso é muito ineficiente. A alternativa é usar hubs. Vai-se da cidade A para a cidade B passando pelo hub. Exemplo: Rio de Janeiro para Miami passando por Atlanta. O uso de hubs é muito mais eficiente que a ligação de todas as cidades diretamente. Mas isso cria um fluxo enorme no hub. O resultado é um aeroporto de tamanho gigantesco em Atlanta. Para dar conta de atender a todas as pessoas em trânsito no aeroporto de Atlanta, há nível muito elevado de automatização. Dentre os vários sistemas automáticos, incluem-se o sistema de informação para o local para onde os passageiros devem ir, e também o trem entre os “concourses” (alas do aeroporto), que opera sem piloto. Qualquer pessoa que tenha passado por esse aeroporto impressiona-se pela quantidade grande de gente que é atendida, com relativamente poucas pessoas para atende-las. Eficiência é isso. Dessa eficiência decorre a prosperidade que tanto desejamos.


Todos os países prósperos do mundo vivem com alto e crescente nível de automatização, sempre com base em muito estudo e sistema de educação forte. Se quisermos ser prósperos, temos que fazer como eles.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337

2015-09-02

15) Big Data, política e estratégia

#bigdata #hadoop #spark

Como se sabe bem, o Brasil vive grave crise financeira e política. O governo – sem alternativa – impõe um ajuste econômico em que há profundos cortes de gastos, para que as contas da nação possam ficar em ordem. Num cenário de cortes de gastos, ouve-se com frequência pessoas que representam um setor dizer que seu setor é muito importante, que o impacto dos cortes sobre esse setor é terrível, e que seria muito bom a sociedade orientar o ajuste para penalizar outro setor. De certa forma é isso que eu vou fazer com esse post. Critico o aumento de impostos que o governo pretende fazer para produtos de informática, incluindo computadores, smartphones e tablets. Esse aumento foi amplamente reportado, sendo que uma das referências é essa . Convido o leitor a apreciar a lógica do argumento, que considero ser fundamentalmente diferente da maioria do que se tem ouvido.

Parto das seguintes premissas: (1) A prosperidade coletiva somente pode ser obtida no caso de a sociedade ser estruturalmente eficiente, isso é, capaz de produzir mais com menos consumo de recursos. (2) Um dos fatores mais importantes para se construir uma sociedade estruturalmente eficiente é o uso massivo e sábio de tecnologia de informação. (3) O Brasil ainda tem grandes desníveis sociais, e a inclusão digital é um grande objetivo nacional, no sentido de garantir que os benefícios do uso de tecnologias digitais sejam percebidos por muitas pessoas.

Pensemos em exemplos de como a sociedade fica mais eficiente a partir do uso de tecnologias de informação. (1) Declaração do imposto de renda por computador. (2) Agendamento de licenciamento de carros. (3) Gerenciamento do Enem. (3) Uso de banco por computador ou celular. (4) Educação a distância. (5) Uso de mapas em computador ou celular para facilitar a localização de endereços. (6) Comércio pela Internet ou celular. (7) Busca de empregos pela Internet ou celular.  

Seria possível enumerar muitos outros exemplos. A sociedade está experimentando uma forte re-invenção de si mesma, em que muitas atividades estão sendo substituídas por outras com a cara do século 21. No nosso século, queremos tudo rápido, customizado, integrado com outros sistemas, em todas as plataformas que usamos, disponível 24 por dia. Os negócios, sempre muito competitivos, precisam se re-inventar. O antigo diferencial competitivo pode ficar obsoleto no mundo atual. Hoje o cliente consulta as alternativas de produtos e serviços, e sabe muito bem o que quer e quanto quer pagar. O cliente odeia perder tempo, e quer ter todas as opções de uso dos produtos e serviços acessíveis facilmente. Considerando que o cliente já declarou em várias oportunidades algumas coisas que o caracterizam, existe a expectativa que os negócios levem essas declarações em consideração e acertem melhor os desejos do consumidor. Nesse último item a tecnologia de Big Data tem papel de destaque.

Voltando ao ponto inicial: argumento que é uma ideia péssima para a sociedade optar por resolver o problema de ajuste de contas por onerar os produtos relacionados a tecnologia de informação. É certo que o preço do ajuste tem que ser pago a partir de algum lugar. Mas o ponto do argumento aqui apresentado é que a tecnologia de informação não é “consumo”, mas “investimento”. Será muito difícil que a sociedade se torne mais eficiente, se a população for afastada do uso de tecnologias de informação. Quanto dinheiro se perderia se não se pudesse mais declarar imposto de renda por computador? Ou se os alunos do Enem tivessem que ir pessoalmente a uma secretaria para cada pedido de informação? Quantas outras formas de se melhorar a sociedade ainda estão esperando para serem implantadas, e que precisam inclusive de equipamentos para que possam existir?

Um outro fator para se conquistar a prosperidade é se exercer atividades econômicas com alta criação de valor. Qualquer empresário adora pagar salários altos, desde que seja possível criar valor suficiente a partir do funcionário, de forma a que aquele emprego se pague e ainda gere lucro. Quando uma atividade gera pouco valor, não é possível que se pague um salário grande. Qualquer pessoa interessada pode ver como se percebe o valor das atividades hoje em dia, e se perceberá que empresas no setor de tecnologia de informação estão entre as mais valorizadas do mundo. As empresas desse setor valem muito, vendem produtos e serviços de alto valor, e pagam salários altos para profissionais altamente especializados.

Em resumo: a sociedade deve tomar o setor de tecnologia de informação como um aliado para a eficiência e para a prosperidade. Não faz sentido onerar o que nos salva. A sociedade ganhará muito por adotar uma política que estimule o uso sábio de tecnologias de informação, bem como o investimento em educação e treinamentos que nos ajude a formar as pessoas que de fato vão produzir e usar os sistemas de uma sociedade informatizada e eficiente. A atual tecnologia no foco é Big Data. Se quisermos tirar proveito pleno das atuais oportunidades relacionadas à essa tecnologia, devemos ter uma política que nos estimule a isso.

--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile, IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337