Caliel Costa's List: TCC

• Johan  Oskarsson
• any advocates  of NoSQL say that it does not mean a "no" to SQL, rather it means  Not Only SQL

• NoSQL refers to a particular  rush of recent databases. Some characteristics are common amongst  these databases, but none are definitional.

    
   
  • Not using the relational model (nor the SQL language)
    
  • Open source
    
  • Designed to run on large clusters
    
  • Based on the needs of 21st century web properties
    
  • No schema, allowing fields to be added to any record without controls

1 more annotation...

• Researchers at the University of California in San Diego (UCSD) examined the flow of data to American households. They found that in 2008 such households were bombarded with 3.6 zettabytes of information (or 34 gigabytes per person per day
• Only 5% of the information that is created is “structured”, meaning it comes in a standard format of words or numbers that can be read by computers
• But this is changing as content on the web is increasingly “tagged”, and facial-recognition and voice-recognition software can identify people and words in digital files.
• “It is a very sad thing that nowadays there is so little useless information,” quipped Oscar Wilde in 1894. He did not know the half of it.

  • Frase de motivação
    

2 more annotations...

• we create 2.5 quintillion bytes of data–so much that 90% of the data in the world today has been created in the last two years alone. T

• Big data spans three dimensions: Volume, Velocity and Variety.

   <!-- list: P853772N31770A72 -->  
   
  • Volume – Big data comes in one size: large. Enterprises are awash with data, easily amassing terabytes and even petabytes of information.
   
  • Velocity – Often time-sensitive, big data must be used as it is streaming in to the enterprise in order to maximize its value to the business.
   
  • Variety – Big data extends beyond structured data, including unstructured data of all varieties: text, audio, video, click streams, log files and more.

• No entanto, a decisão crítica sobre dados massivos é escolher a tecnologia que atende às necessidades da organização, e não o sistema que é mais barato ou mais popular no momento

• Computerworld define "Big Data" como a mineração de enormes volumes de dados estruturados e não estruturados de informações úteis, usando ferramentas não-tradicionais de data-sifting
• Os custos de memória principal também caíram, e as empresas passaram a poder processar mais dados "na memória". Além disso, ficou mais fácil juntar computadores em clusters de servidores. Essas três coisas combinadas criaram grandes repositórios de dados, diz Carl Olofson, analista de gerenciamento de banco de dados da IDC.
• Para se qualificar como "Big Data", diz IDC, a tecnologia deve primeiro ser acessível, e depois reunir dois dos três critérios que a IBM descreve como os três Vs: variedade, volume e velocidade.
• O Hadoop, um ambiente de aplicação para "Big Data", tem atraído mais atenção porque é baseado no MapReduce,  projeto financiado, em grande parte, pelo Google, que o usa para acelerar as pesquisas endereçadas ao seu buscador. O Hadoop é a implementação predominante de uma mistura de projetos intimamente relacionados ao Apache, incluindo o banco de dados HBase encontrado no ambiente MapReduce, e vem sendo usado para aplicações analíticas de dados massivos.
• Desenvolvedores de software têm trabalhado com todos os tipos de técnicas para explorar o Hadoop e tecnologias avançadas similares - muitas delas desenvolvidas em comunidades open-source. "Eles criaram uma variedade estonteante dos chamados bancos de dados NoSQL", explica Olofson.
• Um ano atrás, os principais usuários da tecnologia de dados eram grandes empresas da Web, tais como Facebook e Yahoo, que precisam tratar volumes massivos de dados não estruturados. Mas hoje, o interesse está mais pulverizado. Praticamente qualquer empresa que você pode pense tem grandes volumes de dados para processar", diz Marcus Collins, analista de gerenciamento de dados do Gartner

4 more annotations...

• 325 gerentes de TI,
• Pouco mais de um terço dos entrevistados disseram que estão atualmente executando alguma forma de análise avançada de big data – principalmente para inteligência de negócios, análise preditiva, prospecção de dados e tarefas de análise estatística
• O termo "big data" refere-se a um volume de dados muito grande, muitas vezes em uma escala de centenas de terabytes ou petabytes.
• Mais de 45% dos entrevistados disseram que um dos maiores obstáculos para a análise de dados em grande quantidade é uma grave escassez de profissionais qualificados

2 more annotations...

• its telescope in New Mexico collected more data in its first few weeks than had been amassed in the entire history of astronomy
• Facebook, a social-networking website, is home to 40 billion photos
• hat the world contains an unimaginably vast amount of digital information which is getting ever vaster ever more rapidly
• “We are at a different period because of so much information,” says James Cortada of IBM
• The effect is being felt everywhere, from business to science, from government to the arts. Scientists and computer engineers have coined a new term for the phenomenon: “big data”.
• and a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data
• The amount of digital information increases tenfold every five years.
• A vast amount of that information is shared. By 2013 the amount of traffic flowing over the internet annually will reach 667 exabytes, according to Cisco, a maker of communications gear. And the quantity of data continues to grow faster than the ability of the network to carry it all.

6 more annotations...

• NoSQL Market Forecast 2013-2018
• have proven successful for Facebook, Digg and Twitter.
• The worldwide NoSQL market is expected to reach $3.4 Billion by 2018 at a CAGR of 21% between 2013 and 2018. NoSQL market will generate $14 Billion in revenues over the period 2013 – 2018.
• Key-value date store is the only currently available database technology capable to provide combination of scalability, performance and robustness for extremely large databases

2 more annotations...

• According to Market Research Media’s latest report the Database Management System (DBMS) market is entering a new era of hybrid ecosystem where relational and non-relational database technologies will converge to offer the best of two worlds

• As Gartner, they all evoke:

   
   
  • Data volume: terabytes, petabytes, billions of rows per day, hour or minute,
   
  • Data variety: mixing point of sales, call data records, machine generated data, scanned documents, social networking data, smart metering data, structured and unstructured data, which includes data complexity, not only because of data variety but also because data may be really complex to analyze, like video, binary data from M2M communications…
   
  • Need of velocity: big amount of data means data becomes out-of-date very quickly, so it is important to use data as fast as possible.
• The Big Data issue occurs when data volume has increased so much that IT is no longer able to satisfy your data needs like having the sales dashboard ready at 8 am or giving the value rank of a customer in a call center in less than a minute…
• • It may happen with low data volume if the architecture has not been designed to be scalable, like a website that goes down during the first day of discount promotion.
   
  • It may happen without data variety, I guess all the big retailers will claim their Point of Sales have a uniform modeling but making analytics and data mining on that takes too much time.
   
  • It may happen without need of velocity, like the Insurance companies that have to keep contracts and documents for more than 30 years!
• Using farm servers when being able to work with fully independent and unitary small jobs. This is easily done for web servers or application servers and is the best way to guarantee scalability for the application part. For every user request, a load balancer chooses a server and this one will be able without the other servers of the farm to answer to the need. This solution is perfect for the front end part, even for the data integration part (EAI, ESB, ETL …). But it can’t work like this on the database part.
• adoop Distributed File System (HDFS) allows a fully scalable storage of non-structured or structured data. This solution is used by eBay, Yahoo, LinkedIn or Facebook to store and manipulate their huge volume of structured and unstructured data. HDFS is based on 2 main concepts. The data is split between the servers and each job uses a “Map Reduce” context to be able to split the job in many small jobs launched on different servers. These 2 main concepts guarantee the scalability of the platform.

3 more annotations...

• O termo NoSQL foi usado pela primeira vez em 1998, como o nome de um banco de dados relacional de código aberto que não possuía um interface SQL
• Os atuais bancos de dados relacionais são muito restritos a isso, sendo necessária a distribuição vertical de servidores, ou seja, quanto mais dados, mais memória e mais disco um servidor precisa. O NoSQL tem uma grande facilidade na distribuição horizontal, ou seja, mais dados, mais servidores, não necessariamente de alta performance

• Key/Value Store

     

  Esse é o tipo de banco de dados NoSQL mais simples, o conceito dele é uma chave e um valor para essa chave. Mas ele é o que aguenta mais carga de dados. Esses tipos de bancos de dados são o que tem a maior escalabilidade.

• Wide Columns Store

     

  Fortemente inspirados pelo BigTable, do Google, eles suportam várias linhas e colunas, além de permitir subcolunas

• Document Store

     

  Baseado em documentos XML ou JSON, podem ser localizados pelo seu id único ou por qualquer registro que tenha no documento.

• Graph Store

     

  Com uma complexibilidade maior, esses bancos de dados guardam objetos, e não registros como os outros tipos de NoSQL. A busca desses itens é feita pela navegação desses objetos.

• Column Oriented Store

     

  Esses são bancos de dados relacionais, porém apresentam características do NoSQL. A principal diferença deles é que os dados são armazenados em colunas, ajudando na escalabilidade.
• Ainda segundo o gráfico, 90% dos sites atualmente podem usar sem problemas algum os bancos de dados tradicionais, pois o ganho de performance não seria tão significativo; para os 10% restantes é aconselhável o uso do NoSQL. 

6 more annotations...

• Yes Map Reduce is cool but its technically much harder than SQL and database design this means that it is far from a business panacea.
• Map Reduce, admitting that the model behind this implementation requires a different way of thinking about how you store, query and manipulate data, to the point that it makes it much harder for users to integrate this into their existing investments.

• “A motivação mais comum que leva as empresas a usar NoSQL é a escalabilidade. Mas se você lida com objetos complexos em sua aplicação, como entidades espalhadas em dezenas de tabelas normalizadas, pode ser que uma alternativa NoSQL seja útil para o seu projeto, mesmo que ele não tenha zilhões de usuários simultâneos”

• Com mais de 100 milhões de pageviews diários e picos de mais de 300 mil consultas por segundo, o site apresenta-se como um dos maiores cases de utilização da tecnologia NoSQL.
• Eric Pickup relatou uma impressão muito positiva da equipe técnica com relação ao desempenho e à escalabilidade do Redis. Destacou que após a migração, só foram necessários adicionar nodes extras do Redis porque as placas de rede dos servidores não foram capazes de lidar com o volume de tráfego gerado, e não por excesso de carga na base NoSQL
• 100 sites mais acessados

1 more annotation...

• A Couchbase, empresa que fornece
• 1.300 desenvolvedores, arquitetos de software e administradores de TI da Europa, Ásia e Américas
• • 50% iniciaram projetos com NoSQL na primeira metade de 2011;
   
  • 70% das empresas com mais de 250 desenvolvedores planejam iniciar projetos com NoSQL em 2012.
• Curiosamente, a maioria dos entrevistados não mencionou escalabilidade como o fator principal para adoção do NoSQL, e sim a falta de flexibilidade dos esquemas de banco de dados
• • Libertar-se de esquemas de dados pouco flexíveis, que são de difícil adaptação para mudanças nos requisitos de negócio.
   
  • Aposentar repositórios de dados legados e rígidos e substituí-los por repositórios mais eficientes e flexíveis.
   
  • Isolar alterações custosas de esquemas de dados e simplificar a escalabilidade horizontal.
• rastreamento/segmentação de usuários em tempo real para publicidade; recuperação de desastres, acompanhamento de inventário, automação industrial,

4 more annotations...

• Uma única chamada de celular pode resultar entre dez a 20 registros com todo o detalhamento da ligação, os quais precisam ser armazenados e tratados pelas operadoras para a criação de planos de acordo com o perfil de cada consumidor.
• s previsões da IDC sinalizam que a quantidade de informação digital ao redor do mundo alcançará 2,7 zettabytes (ZB) em 2012, com crescimento de 48% sobre 2011. Para 2015, as estimativas são de que essa massa chegará a 8 ZB.
• Com essa transformação, a IDC estima que 90% das informações digitais que estão sendo criadas são não estruturadas, ou seja, em diversos formatos como textos, vídeos, áudio e imagens.
• São informações que não estão armazenadas nos sistemas corporativos controlados pela área de TI.
• IDC e Gartner preveem que 2012 é o ano do Big Data,
• O termo “Big Data” foi criado pelos analistas de mercado para denominar o crescimento exponencial dos dados que as empresas precisam ou podem tratar para extrair informação útil.
• “O problema do Big Data não é o alto volume dos dados, mas sim a complexidade para captar informações nos diferentes formatos de mídia e cruzá-las em tempo real”, avalia Daniel Lázaro
• o acompanhamento em tempo real é importante para entender o comportamento dos clientes e tomar decisões mais rapidamente para retê-los ou lançar produtos.
• Gustavo Tamaki, gerente de Vendas da Greenplum Brasil, unidade da EMC, constata que muitas empresas estão preocupadas apenas em guardar os dados, mas algumas já perceberam que a mineração faz a diferença para os negócios
• O executivo esclarece que a nova abordagem é um pouco diferente da proposta pelo BI, que olha mais o passado histórico baseado em fatos que aconteceram para a tomada de decisão. Já o Big Data, segundo ele, tem a vantagem de analisar fatos no momento em que estão ocorrendo para antecipar medidas
• sse mesmo tipo de análise, de acordo com Corbi, pode ser feito pelas operadoras de telecomunicações para criar planos sob medida para os usuários de celular, olhando o padrão de consumo de cada um com avaliações em tempo real.
• Rômulo Linhares, diretor da unidade de Enterprise Information Services da HP para a América Latina
• ita o caso da Coca-Cola, que tem mais de 9 milhões de fãs no Facebook, e que a empresa preci
• sa avaliar o comportamento deles em tempo real para tomar decisões. “O que tem no CRM é bom, mas os ganhos são maiores quando é possível fazer análise de sentimentos dos consumidores nas redes sociais
• Gustavo Tamaki, da EMC, destaca que um dos setores que deverão se apoiar bastante em Big Data no Brasil é o financeiro para cruzar informações com o perfil dos clientes em redes sociais e fazer avaliações de riscos. “Um banco poderá analisar o perfil da pessoa, no Facebook, por exemplo, para verificar se ela tem condições de pedir um empréstimo”
• Rosana Cavenago,
• um dos maiores desafios para adoção desse modelo é a infraestrutura, já que as organizações vão precisar de sistemas com alto desempenho para acessar metadados, criar categorias e processá-los com segurança.
• afirma que está surgindo um novo especialista para lidar com essas questões que é o cientista de dados
• Gustavo Tamaki, da EMC,
• São PhDs, com formação em matemática e estatística com conhecimento de indústrias.
• Esse novo profissional é uma espécie de cientista maluco com habilidade para desenvolver pequenos programas, fazer a ponte com as áreas de negócios e dominar redes sociais”,
• iz Américo de Paula, da Teradata.
• Fábio De Conti Santos, gerente da unidade de Storage da Oracle para a América Latina, lembra que institutos de metereologia foram os pioneiros em adotar essa abordagem.

21 more annotations...