AWS lança o Amazon Athena

Novo serviço de consulta interativo e pay-as-you-go facilita a análise de dados no Amazon S3 utilizando o SQL padrão Atlassian, Nasdaq e News Corp. estão entre os muitos clientes que utilizam o Amazon Athena para obter resultados de consultas em segundos

Solução já disponível no mercado

13 de dezembro de 2016 – A Amazon Web Services Inc. (AWS), uma empresa da Amazon.com (NASDAQ: AMZN), acaba de anunciar o Amazon Athena, um serviço serverless de consulta que facilita a análise de dados diretamente no Amazon S3 (Simple Storage Service) utilizando o SQL padrão. Com alguns cliques no AWS Management Console, os clientes podem direcionar o Amazon Athena aos seus dados armazenados no Amazon S3 e começar a usar o SQL padrão para executar consultas e obter resultados em segundos. Com o Amazon Athena, não há clusters a serem gerenciados ou ajustados nem a necessidade de configurar e gerenciar uma infraestrutura e os clientes pagam apenas pelas consultas que executarem. O Amazon Athena escala automaticamente, enquanto executa consultas paralelamente, o que proporciona resultados rápidos, mesmo com grandes conjuntos de dados e consultas complexas. Para começar a usar o Amazon Athena, visite https://aws.amazon.com/athena.

Os serviços de lógica analítica da AWS, como o Amazon Redshift e Amazon EMR, tornaram a lógica analítica em escala de petabytes acessível a empresas de todos os portes. Com o Amazon Redshift, os clientes realizam consultas complexas em enormes coleções de dados estruturados e obtêm desempenho ultrarrápido. Para dados não estruturados, o Amazon EMR aumenta a agilidade e melhora o custo-benefício do processamento e da análise de grandes quantidades de dados em clusters dinamicamente escaláveis, utilizando frameworks distribuídos como o Apache Spark, Presto, Hive e Pig. Embora esses serviços sejam dimensionáveis e avançados o suficiente para lidar com as mais complexas e pesadas aplicações de Big Data, muitos clientes desejam também poder executar consultas em dados armazenados no Amazon S3 (web logs, clickstreams e arquivos brutos de evento, por exemplo) muito rapidamente, sem ter que criar, configurar e gerenciar um cluster Hadoop ou um data warehouse. Agora, com o Amazon Athena, analisar dados armazenados no Amazon S3 é tão simples quanto escrever consultas para o SQL. Ele utiliza o Presto com suporte total do SQL padrão e trabalha com diversos formatos de dados padrão, incluindo CSV, JSON, ORC e Parquet. E, embora o Amazon Athena seja ideal para consultas rápidas e ad-hoc e se integre ao Amazon Quick Sight, proporcionando fácil visualização, ele também lida com análises complexas, incluindo grandes junções, funções de janela e matrizes. Como o Amazon Athena executa consultas utilizando recursos de computação em diversas zonas de disponibilidade e utiliza o Amazon S3 como data store subjacente, ele oferece alta disponibilidade e longa duração para dados armazenados redundantemente em várias instalações e em vários dispositivos dentro de cada instalação.

“Nos últimos anos, a AWS criou um conjunto abrangente de serviços de Big Data que clientes costumavam usar para tudo, de análises em tempo real e streaming de dados a data warehousing em escala de petabytes e tarefas em Spark e Hadoop. Tudo é rápido, escalável e econômico”, diz Raju Gulabani, vice-presidente de banco de dados, lógica analítica e IA da AWS. “Para centenas de milhares de clientes, o Amazon S3 é o data store primário, que armazena de bilhões a trilhões de objetos. Os clientes nos perguntavam frequentemente se poderíamos facilitar o processo para qualquer um que desejasse executar consultas em seus dados no Amazon S3, sem ter a preocupação de provisionar e gerenciar servidores e clusters. Agora eles podem. O Amazon Athena elimina toda e qualquer necessidade de administração: qualquer um que consiga escrever uma consulta para o SQL pode analisar seus dados no Amazon S3. O Amazon QuickSight e Amazon Athena são altamente integrados, possibilitando que os clientes visualizem os resultados de suas consultas no Amazon Athena sem sequer precisar escrever uma consulta para o SQL".

“Nós somos clientes da AWS há muito tempo e usamos serviços como o Amazon Redshift e Amazon EMR para obter suporte e possibilitar a lógica analítica em toda a empresa”, diz Paul Cheesbrough, diretor técnico da News Corp. “Tivemos acesso antecipado ao Amazon Athena, e ele provou ser rápido, fácil de usar e econômico. Nossas equipes de engenheiros e analistas deram ótimos feedbacks, principalmente quanto à habilidade de se consultar diretamente do Amazon S3 e estamos muito animados sobre qual será o nosso próximo passo com o serviço".

A LiveIntent, uma plataforma para marketing e propaganda people-based focada no canal e-mail, ajuda mais de 1.100 marcas a entregar market e propaganda a 145 milhões de pessoas com e-mails enviados por 1.300 publicadores de ponta, todo mês. “A plataforma LiveIntent reúne e processa centenas de milhões de eventos por mês. Nós estamos sempre nos desafiando a criar e ampliar a plataforma para que ofereça acesso mais rápido e mais barato a dados, o que significa insights melhores e mais rápidos para nossos clientes”, diz Eric Raab, vice-presidente executivo de engenharia da LiveIntent. “Consideramos o Amazon Athena mais rápido e mais econômico que qualquer outra solução que avaliamos e decidimos utilizar seus recursos imediatamente. Gostamos muito do fato de ele não precisar de administração alguma e de podermos consultar inúmeros formatos diretamente do Amazon S3 sem precisar carregar".

A DataXu ajuda profissionais de marketing a entender como os investimentos em marketing podem, com o uso de dados, levar a relacionamentos lucrativos com os clientes. “Nós processamos mais de 3 milhões de solicitações por segundo, o que representa um total de 3 PB de dados recebidos diariamente. Mesmo com compactação e redução, isso resulta em mais de 180 terabytes de logs por dia”, disse Yekesa Kosuru, vice-presidente de engenharia da DataXu. "Começamos a usar o Amazon Athena assim que ouvimos falar sobre ele e estamos adorando a sua simplicidade e velocidade, bem como o modelo de preço pague-por-consulta. Com o Amazon Athena, podemos consultar todo nosso conjunto de dados armazenados no Amazon S3, sem precisar gerenciar uma infraestrutura. Como não há nada a ser gerenciado e nós pagamos apenas por consulta, estamos implementando o Amazon Athena em toda a empresa".

A Gunosy é uma das principais provedoras de aplicativos para análise de notícias do Japão. “Começamos a usar o Amazon Athena assim que pudemos e ficamos impressionados; mesmo na versão prévia e consultando dados diretamente do Amazon S3, o Amazon Athena foi mais rápido que o sistema que estávamos usando”, disse Yosuke Abe, cientista de dados da Gunosy. “Estamos migrando ativamente os fluxos de trabalho para a AWS para fazer do Amazon Athena um aspecto central de nossa plataforma de lógica analítica".

A Inrix é uma provedora líder de inteligência de tráfego em tempo real para empresas, setor público e mídia. “Na Inrix, recebemos diariamente terabytes da malha viária e de dados de movimento e executamos centenas de data pipelines do Amazon EMR para processamento. Nós utilizamos o Amazon S3 como um repositório de nossos conjuntos de dados não processados, processados e em processamento. Nossos cientistas de dados precisam segmentar e analisar esses dados para criar modelos matemáticos de análises preditivas para as malhas viárias. É necessário que os nossos engenheiros de dados transitem entre os dados processados e em processamento para realizar o monitoramento e a depuração dos problemas de qualidade dos dados", diz Harsh Shah, gerente de engenharia de operações da Inrix. “Ficamos muito animados com a oportunidade de testar o Amazon Athena e adoramos a velocidade, a facilidade de uso e a flexibilidade oferecidas pelo serviço. Com o Amazon Athena, qualquer um de nossos desenvolvedores pode consultar todos os nossos dados armazenados no Amazon S3 utilizando o SQL, sem se preocupar com infrastrutura ou conhecimento de sistemas de processamento de Big Data. O Amazon Athena nos permitir adotar o Amazon S3 como nosso data lake".

O Japan Taxi, um aplicativo de transporte, tem dois milhões de usuários ativos todo mês. “A possibilidade de inserir dados no Amazon S3 e consultá-los simplesmente usando o SQL padrão com o Amazon Athena é incrível”, diz Kazuhiro Iwata, diretor técnico da Japan Taxi. “Com o Amazon Athena, não precisamos carregar os dados porque o serviço consegue consultá-los em qualquer lugar. Agora, qualquer um de nossos desenvolvedores pode consultar dados em sua resolução mais granular e a custos baixos, o que nos permite fornecer fácil acesso a eles a quem precisar. Como o Amazon Athena usa formatos de código aberto, também podemos usar outras soluções como o Amazon EMR nos mesmos dados, facilitando a interoperabilidade. E, visto que o Amazon Athena não requer qualquer administração, pudemos começar imediatamente".

A mParticle permite que desenvolvedores de aplicativos móveis reúnam e compreendam seus dados. “Na mParticle, nós reunimos e processamos grandes volumes de dados. Queremos que todos os nossos clientes possam processar dados brutos com linguagens simples, tais como SQL”, diz Michael Katz, diretor técnico da mParticle. “Ficamos muito animados com o Amazon Athena assim que ouvimos falar, já que temos muito interesse na possibilidade de analisar rapidamente grandes volumes de dados usando o SQL padrão. Com o Amazon Athena, iniciamos imediatamente, pagamos por consulta e as consultas foram executadas rapidamente. Gostamos da compatibilidade com ANSI-SQL e da possibilidade de consultar tanto o formato de texto como o de colunas".

A tecnologia da Nasdaq move mais de 70 mercados em 50 países e 1 a cada 10 transações de seguranças no mundo. “Com uma visão inovadora e a tradição de quebrar paradigmas, estamos sempre procurando novas maneiras de aumentar a eficiência e de ter novas ideias em todas as áreas de negócios, em todos os mercados. Visto que os dados são essenciais para o sucesso do nosso negócio, estamos sempre interessados em novas ferramentas para analisar os dados armazenados no Amazon Redshift, Amazon S3 e outras fontes”, diz Nate Sammons, arquiteto-diretor da Nasdaq, Inc. “Queremos estender nosso data warehouse do Amazon Redshift e criar um data store mais seguro, econômico e duradouro. Escolhemos o Amazon S3 para armazenamento e o Presto como parte do sistema de lógica analítica e consulta devido à compatibilidade com ANSI-SQL e ao desempenho. Estamos contando com o Amazon Athena para nos ajudar a levar essa ideia adiante, eliminando a necessidade de clusters e permitindo que nossos analistas consultem dados no Amazon S3 com agilidade".

JW Player é o nome de um dos players de vídeo mais famosos do mundo e também da empresa líder em soluções para vídeo móvel e digital. O player está em mais de 2 milhões de sites, em todos os tipos de dispositivos: OTT, celulares, tablets e desktops, com mais de 1,3 bilhão de visualizações exclusivas mensais. “Utilizamos uma combinação de plataformas para rodar o JW Analytics Dashboard, que fornece lógica analítica para mensurar o desempenho de conteúdo em grandes conjuntos de dados. Nós recebemos constantemente mais de 4 bilhões de eventos por dia e estamos sempre procurando soluções que simplifiquem o processamento de grandes conjuntos e, ao mesmo tempo, reduzam o custo e a complexidade”, diz Rick Okin, vice-presidente de engenharia da JW Player. “O Amazon Athena nos oferece uma solução rápida, econômica e fácil de usar, que não requer administração. Adoramos o fato de podermos simplesmente inserir nossos dados no S3, utilizar formatos como o Apache Parquet para obter interoperabilidade com o restante do conjunto e executar consultas SQL, sem nos preocuparmos com clusters ou data warehouses”.

A Tableau ajuda pessoas a reconhecerem e compreenderem dados. “Nossa missão é colocar os dados nas mãos do maior número de pessoas que conseguirmos, para que elas possam usá-los e mudar o mundo à volta delas”, diz Andrew Beers, diretor de desenvolvimento da Tableau. “Estabelecemos parceria com a AWS há muito tempo e temos integrações nativas com o Amazon Redshift, Amazon EMR e Amazon RDS. Estamos empolgados em anunciar também a compatibilidade com o Amazon Athena. Combinando a Tableau e o Amazon Athena, os clientes podem visualizar todos os seus dados no Amazon S3 de forma interativa, econômica e sem a necessidade de gerenciar uma infraestrutura".

Os clientes podem começar a usar o Amazon Athena diretamente do AWS Management Console. No momento, o Amazon Athena está disponível nas regiões leste (N. Virgínia) e oeste (Oregon) dos EUA e chegará a outras regiões nos próximos meses.