#bigdata #hadoop #spark
Os Slides gratuitos do curso Geonumerica Training de "Big Data Spark Developer" podem ser baixados nesse link.
É ano novo. Todos queremos um plano e uma
esperança. Há uma grave crise em andamento, com perspectivas ruins. A crise
muitas vezes nos deixa cegos. É adequado relembrar alguns conceitos básicos de
economia, para nos guiar na superação da nossa crise.
- O aumento da prosperidade decorre do aumento da produção de bens e serviços, e não do aumento de salários ou do dinheiro em circulação.
- Com recursos sempre limitados, a melhor forma de se aumentar a produção é aumentar a produtividade, isso é, “fazer mais com menos consumo de recursos”. Em outras palavras, nosso plano para conquistar a prosperidade de deve fazer aumentar a “eficiência estrutural” da sociedade.
- O uso intenso e sábio de tecnologia de informação, aliado a um sistema de educação forte, tem alto potencial de implantar grandes ganhos de eficiência estrutural na sociedade.
Daí decorrem perguntas bem práticas:
1)
Como se implanta aumento de
eficiência?
2)
Como a tecnologia de informação
colabora com o aumento da eficiência?
3)
Porque precisamos aliar nossos
planos com um sistema de educação forte?
4)
Como e porque a tecnologia de
Big Data abre novas possibilidades de aumento de eficiência?
Vou responder com exemplos. Comecemos pela
primeira e a segunda perguntas: Pense numa fábrica qualquer. Pode ser uma
fábrica de alimentos. Digamos: uma fábrica de macarrão. É possível fazer
macarrão com técnicas muito simples, manualmente. Resumidamente a receita é a
de se misturar os ingredientes básicos na proporção certa, cortar a massa no
formato adequado, fazer o pré-cozimento e embalar. Agora pensemos em produzir
grandes quantidades de macarrão. Sem o uso de máquinas para auxiliar a
produção, fica muito difícil e caro fazê-lo. As máquinas ideais devem ter alto
nível de automatização. Máquinas muito manuais desregulam-se facilmente,
provocando inconformidade no produto final, desperdiçando tempo, energia e
matéria prima, entre outros fatores. O sonho de consumo do dono da fábrica é
que ela seja 100% automática, em que se injeta a matéria prima, energia e
recolhe-se o produto final sem erros, com perda mínima, pelo menor custo
possível, e com produção integrada com os varejistas (i.e., clientes), que vão
comprar o que foi produzido (provavelmente para revender).
Quem fornece equipamentos, software e
serviços para o dono da fábrica (de macarrão ou de qualquer coisa) deve
reconhecer o desejo do cliente, e entregar produtos que lhe sejam valiosos. Um
dos valores que se pode oferecer é a integração da produção da fábrica com seus
clientes. As fábricas mais evoluídas têm um sistema de software para venda da
produção integrada com os varejistas. Um sistema desses faz a venda da produção
garantindo os parâmetros de comercialização exigidos pelas partes compradora e
vendedora. O sistema também produz automaticamente as informações derivadas das
transações econômicas (tal como o número do lote vendido, local de entrega,
etc.) Quem já viu um sistema de vendas feito de forma não automatizada, com
muitos agentes de vendas ligando o dia inteiro, e preenchendo papeis – em geral
desorganizados – e comparou isso com um sistema de vendas automatizado, em que
o computador faz tudo e apenas emite as guias para as operações de entrega,
reconhece imediatamente o enorme ganho de eficiência que se tem com um sistema
de vendas automatizadas. Por usar um sistema automático, a fábrica e o varejo produzem,
vendem e lucram muito mais, em muito menos tempo, com muito menos gente
envolvida no processo, e com muito menos erros. Ou seja: implantar um sistema
de vendas automática cria eficiência estrutural.
Pela perspectiva do dono da fábrica, a
compra do sistema de vendas automáticas deve gerar aumento de lucro financeiro,
isso é, a operação com o sistema automático deve gerar excedentes financeiros maiores
que com o sistema manual. Como todos vivemos em ambiente competitivo, o dono da
fábrica eventualmente será pressionado a abaixar o preço do produto (ou o
cliente comprará de outro); portanto, o “aumento de lucro” que se obteve com o
sistema novo eventualmente torna-se a diferença entre sobreviver
empresarialmente ou ser forçado a fechar a empresa (como aconteceu com muitas
indústrias no Brasil nesse ano).
Não é difícil imaginar muitos outros
exemplos em que a tecnologia de informação faz aumentar a eficiência estrutural.
Vou citar alguns. Imagine sempre como seria fazer a tarefa com e sem o uso de
tecnologia de informação.
- O sistema de agendamento de vistorias de carros do Detran do RJ.
- O sistema de vendas de empresa aérea para venda de bilhetes e check-in pela web/mobile.
- O sistema de comércio eletrônico por web/mobile de empresas de varejo.
- O sistema de banco eletrônico por web/mobile.
- O sistema de acompanhamento de processos jurídicos pela web de vários tribunais.
Mas apesar de haver tanto valor criado
sistemas como os mostrados acima, ainda há muitíssimo por se fazer. Abaixo
listo alguns exemplos de coisas que estão esperando para serem automatizadas ou
melhoradas com o uso de tecnologia de informação.
- Porque não podemos fazer um sistema de procuração automática por software, usando CPF eletrônico? Que outras formas de automatização (ou eliminação) de procedimentos de cartórios devem ser feitas?
- Porque muitas escolas tem um sistema de controle acadêmico de forma manual, com muitos funcionários e muitos papéis para controlar tudo?
- Porque não temos um sistema simples de entender que nos permita ver como o governo gasta o dinheiro do povo? (algo mais simples que o portal da transparência, com muitos gráficos mostrando a alocação de recursos).
- Porque o governo usa o dinheiro do povo para imprimir centenas de milhões de livros didáticos, quando poderia pagar muito menos para que esse material ficasse disponível de forma eletrônica, e ao mesmo tempo ajudar pessoas menos favorecidas a ter acesso de sistema eletrônico para ler o material didático em formato eletrônico?
- Porque não fazemos uma fila eletrônica de caminhões no porto (para evitar que os caminhões fiquem fisicamente na fila na estrada), o que liberaria a via e traria conforto para os caminhoneiros?
- Porque há muitos hospitais que não tem sistemas de agendamento de consultas, em que os pacientes pedem para entrar na fila pela web ou mobile?
- Como podemos reduzir os desperdícios de alimentos com um sistema de informação?
- Como podemos incentivar a reciclagem de lixo com um sistema de informação?
- Como podemos ajudar a encontrar vazamentos de água com um sistema de informação?
- Como podemos ajudar a eficiência policial com o uso de tecnologia de informação?
- Como podemos criar mais oportunidades no turismo com o uso de tecnologia de informação?
O leitor já entendeu que o potencial de se prosperar com o uso de tecnologia de informação é gigantesco. Os chamados “países desenvolvidos” já entenderam que devem tirar proveito de TI para criar uma sociedade eficiente. Nós podemos fazer o mesmo. Mas vamos agora responder a terceira pergunta “Porque precisamos aliar nossos planos com um sistema de educação forte? ”. Porque uma sociedade com padrão contemporâneo, com alto nível de automação e eficiência estrutural, requer profissionais muito qualificados para opera-la e projeta-la. Quase tudo que se faz tem alto nível de conhecimento. O sistema de educação precisa formar pessoas que efetivamente tenham conhecimento e capacidade de interagir com a sociedade sofisticada que desejamos criar. Em resumo: educação é a base de tudo.
Por último, vamos a quarta pergunta: “Como
e porque a tecnologia de Big Data abre novas possibilidades de aumento de eficiência?
”. A resposta é que a tecnologia de Big Data expandiu muito e também
simplificou a forma como se implantam sistemas de software com capacidade de
processar enormes volumes de dados. Muitos problemas que envolvem
processamentos de dados volumosos eram considerados não resolvíveis, ou caros
demais para serem resolvidos. Com a nova tecnologia, passamos para um novo
mundo em que muitas coisas passaram a ser possíveis. Veja algumas coisas que se
pode fazer com tecnologia de Big Data.
- Processar dados de redes sociais, inclusive em tempo real, e gerar painéis que ajudem a decisão (comercial, de segurança e outras).
- Processar dados de log de telefonia, para identificar padrões que permitam otimizar a implantação das (caríssimas) antenas de cobertura de sinal de celular.
- Processar dados de log de web de empresas, para identificar padrões dos clientes, com vistas a melhorar o serviço.
- Pelo poder computacional e pela robustez, usar Big Data para substituir o computador de grande porte (mainframe).
- Processar volumosos dados ambientais e geoespaciais, para pesquisar padrões que permitam entender mudanças climáticas.
- Processar volumosos dados de transações financeiras, buscando identificar padrões de transações fraudulentas.
- Processar dados de acesso “por cliente” para gerar experiências customizadas em sites (com painéis do tipo “clientes que compraram esse produto também se interessaram por esses outros produtos).
- Processar dados que sugiram opões de media para ser consumida (vide o caso do Netflix).
- Processar “curtidas” e “posts” em redes sociais, num volume gigantesco.
Para resumir: eficiência estrutural é a
chave da prosperidade. Tecnologia de informação juntamente com educação são
fatores essenciais de implantação de eficiência estrutural. Big Data é a
tecnologia inovadora do momento em TI. A melhor tecnologia para Big Data é
Spark. Quem já usou Spark, e entente o seu enorme potencial, vai entender a
minha profecia contundente a seguir: “quem seguir de fato atuando no mercado de
tecnologia de informação tem chances de 100% de usar Spark”.
Desejo a todos que possamos fazer com nosso
trabalho e nossa sabedoria o ano de 2016 ser próspero.
--------------------------------------------------------------------------------
Sergio Barbosa Villas-Boas (sbVB), Ph.D.
software development, Big Data, cloud, mobile,
IoT, HPC, optimization
sbvillasboas@gmail.com, sbvb@poli.ufrj.br
Skype: sbvbsbvb
http://www.sbVB.com.br
https://www.linkedin.com/in/sbvbsbvb
+55-21-97699-1337