Visualização de dados e mapeamento

Name: Visualização de dados e mapeamento
Author: Bill Hood

Aprenda a obter os seus próprios dados através de data scraping, utilizando APIs RESTful e explorando dados geocêntricos.

Preview the first lesson free — get full access to all 3 lessons.

Solicitar uma demonstração Entrar

Curso: sob demanda

Nesta lição, vamos apresentar. Uma nova ferramenta chamada Beautiful Soup. E o que Beautiful Soup faz é permitir que você interrogue sites e extrair dados de sites. Começaremos com Google.com e se você olhar nosso código, veremos vou importar solicitações, o que permite que você faça isso direto URLs e suas chamadas para URLs. E então vamos importar o Beautiful. Sopa formato muito particular da BS four, import Beautiful Sopa, nós vamos. Aponte BeautifulSoup para Google.com e então iremos para imprimir esse URL. E obviamente será apenas esta string aqui. Este argumento de cabeçalho é necessário e é específico para o seu combinação de sistema operacional do navegador. Eu executo Mac e Chrome e assim por diante. Este é o apropriado para mim. Se você executa o Windows e Chrome, você. Precisaria de um cabeçalho diferente. Tudo bem, então você pode descobrir isso simplesmente pesquisando no Google e encontrar a string que você precisa. Então esta é a string para mim. Vamos então criar uma variável chamada Page. Vamos usar essa simples importação de requests que trouxemos entramos e estamos. Vou pegar esse URL usando esses cabeçalhos e depois imprimir descobrir o que encontra. Então vamos executar isso e veremos. Que isso é apenas imprimir o Google. Isso nos diz o que vamos pesquisar. Pode ser o Yahoo, pode ser qualquer coisa. E então a resposta 200. Para aqueles que não estão familiarizados com o que isso significa, é um site dizendo, copie isso, recebi uma resposta. O que você gostaria de saber? Então este é o site basicamente respondendo que, sim, Ola, eu estou aqui. Eu estou lá. Muito obrigado. Tudo bem, agora vamos em frente e. Introduza a Beautiful Soup na mistura. Simplesmente criando uma variável chamada Soup, apontando. Para a biblioteca Beautiful Soup e o conteúdo da nossa página do nosso pedido recente. Então temos a página, o Google. Página nesta variável aqui, e. Isso é considerado conteúdo em Beautiful Soup. E vamos usar nosso analisador HTML. E você pode ver aqui bastante. Poucos dados porque são retornados basicamente. Toda aquela página da web. Isto é basicamente como é o Google nos bastidores. E como você pode ver, é bastante. Muitos dados. E o que a Beautiful Soup faz é analisar. Isso agora de uma forma que. Podemos brincar e procurar coisas e extrair dados disso. Porque isso basicamente está retornando ao Google.com, qual. Permite-nos então interrogar isso, olhando. Para coisas como link. E acho que, como todos sabemos, se você já trabalha com tecnologia há algum tempo. Embora seja considerado um link A. E a razão é porque é designado com A. Agora vamos criar uma variável chamada links. Vamos usar Soup para encontrar. Tudo isso, tenha o A ali. E vamos executar isso. Agora atribuímos os links. Agora vamos imprimi-los. E aqui estão todos os links que ele encontrou e você pode ver que é consideravelmente menos dados. É apenas esta página. Todos eles tiraram esse A aqui. E são todos links. Isso é muito legal. Tudo bem, também podemos apenas dizer. Encontrar o que encontrar faria isso. Encontrei todos os links. Isso encontraria o primeiro link. Vamos executar isso. E aí está o nosso único link, o primeiro que encontrou. E então o que mais podemos fazer? Então vamos descer aqui bem rápido. E agora observe que basicamente apenas. Usei esta linda biblioteca de sopas para puxar. Todo o conteúdo daquela página gigante da web. E agora podemos fatiar e picar e podemos começar fora com apenas referenciando qual é o título e podemos executá-lo e. Descubra que é o Google com G maiúsculo. E podemos ver isso, entendemos isso, sabemos que é verdadeiro. Isso é muito bom. Nós apontamos para o Google? Teremos uma resposta diferente. Vamos ver qual é o título. E acho que também faz sentido porque. É o título e se refere a esta peça aqui. Perguntamos: qual é esse nome aqui? Qual é o contêiner e seu título. Também podemos correr e descobrir. Qual string está associada a isso e é o Google. Isso também seria links como nós. Descoberto um pouco antes. E vai encontrar o primeiro. E aqui está a sopa, encontre tudo isso. Encontraria todos os links que realmente. Nos leva de volta ao ponto onde começamos sopa e o que podemos fazer com a sopa. Então, vamos seguir em frente e extrair alguns dados em um python lista. Vamos começar aqui e apenas. Lembre-se de que usaremos o. Linda sopa que aprendemos na primeira parte desta lição. Vamos apontar para um novo URL, briefing do governo da Casa Branca sala. E isto são basicamente comunicados de imprensa da Casa Branca. E o que podemos fazer aqui é que temos os mesmos cabeçalhos argumento. Tudo bem, temos que fazer isso porque estou executando o Mac com Cromada. A página então se torna a combinação de chegar a esse URL usando os cabeçalhos. Apropriado ao meu ambiente e então imprimiríamos. Você também deve se lembrar que podemos criar uma sopa usando nosso bela biblioteca de sopas. E o conteúdo dessa página e então nós. Pode fazer coisas como encontrar todos os links. Então isso nos deixa presos. Agora, o que é diferente aqui é que nós. Crie uma nova lista python. Lembre-se que listas são minhas coisas favoritas, mas vamos crie uma lista em branco. Chamadas de URLs e outra lista em branco chamada de links. E o que vamos fazer é. Vamos examinar tudo o que a sopa encontrar. Vamos procurar uma palavra-chave, o nome do nosso presidente, neste caso, Biden. E se virmos o nome dele. Esse link, então vamos conseguir. O texto desse link e vamos obter o Href disso link e vamos colocá-lo nessas listas. E então o que isso nos permitiria fazer é basicamente interrogar um site. E pode ser qualquer site que estejamos. Usando a Casa Branca. Então, vamos procurá-los e executá-los para ver o que recebemos de volta. Neste caso, você notará aqui nós. Disse imprimir os links e aqui estão nossos links. E aqui está o URL associado. E então você pode ver que o que temos aqui é por exemplo, o. O URL real desse é quase o mesmo. Se copiássemos isso e digitá-lo em uma nova guia do navegador, poderemos ir para esse link. Tudo bem, então essa é uma sopa linda e uma introdução rápida sobre o que você pode fazer com a bela sopa. E a seguir iremos para a coleta de dados usando uma API.

Intermediário Fornecedor : Bill Hood 3 lições · 17m em Árabe, Alemão, Inglês, Espanhol, Francês, Português, Chinese

Descrição do curso

Uma realidade da maioria dos projectos de visualização de dados é que, normalmente, terá de enfrentar a tarefa de obter ou criar alguns dos dados de que necessita. Nestas lições, concentramo-nos em duas das técnicas automatizadas mais comuns para obter dados e enfatizamos como pode sempre introduzir os dados de que necessita. Aprenderá que um website é todo em HTML, com muitas etiquetas que podem ser utilizadas para identificar e obter dados. Em nosso exemplo, usaremos a biblioteca Beautiful Soup para interrogar um site à procura de uma palavra-chave e, em seguida, extrair todos os links da Web associados a essa palavra-chave, disponibilizando os links de forma programática.

Em seguida, usaremos uma API RESTful para obter dados de uma abordagem cada vez mais comum para a troca de dados. A Representational State Transfer, ou REST, é uma interface de programa de aplicação que funciona na Internet e permite o acesso programático a um repositório de informações. Também vamos explorar várias APIs e extrair dados para um modelo que podemos plotar. Por fim, combinaremos várias práticas recomendadas num único exercício e exploraremos dados de uma estrutura de dados do Pandas com longitude, latitude e magnitude de eventos que podemos representar num mapa mundial.

O Que Você Vai Aprender

Obter dados por web scraping de sites usando tags HTML
Usar a biblioteca Beautiful Soup e a biblioteca requests para encontrar uma palavra-chave e extrair links web associados programaticamente
Obter dados através de APIs RESTful para acessar um repositório de informações pela internet
Extrair dados de várias APIs em um modelo que você pode plotar
Plotar dados de longitude, latitude e magnitude de um dataframe Pandas em um mapa-múndi
Reconhecer dados geocêntricos

Principais Conclusões

A maioria dos projetos de visualização de dados exige que você obtenha ou crie alguns dos dados você mesmo, e os dados podem sempre ser digitados manualmente quando necessário.
Um site é todo HTML, com muitas tags que podem ser usadas para identificar e extrair dados.
Beautiful Soup pode interrogar um site para uma palavra-chave e disponibilizar os links web associados programaticamente.
REST (Transferência de Estado Representacional) é uma interface de programação de aplicação que funciona pela internet e permite acesso programático a um repositório de informações.
Os dados de um dataframe Pandas contendo longitude, latitude e magnitude de eventos podem ser plotados em um mapa-múndi.

Perguntas Frequentes

Que técnicas de coleta de dados este curso abrange?

Ele se concentra em duas técnicas automatizadas comuns para obter dados: web scraping de sites usando a biblioteca Beautiful Soup e obtenção de dados através de APIs RESTful. Ele também enfatiza que você sempre pode digitar os dados de que precisa.

Que bibliotecas e ferramentas vou trabalhar?

Você usará a biblioteca Beautiful Soup e a biblioteca requests para fazer web scraping de sites, APIs RESTful para obter dados e um dataframe Pandas para plotar dados em um mapa-múndi.

O que vou conseguir fazer ao final do curso?

Você conseguirá obter dados por scraping e por APIs RESTful, compreender Beautiful Soup e a biblioteca requests, reconhecer dados geocêntricos e plotar longitude, latitude e magnitude de eventos em um mapa-múndi.

Que aulas estão incluídas neste curso?

O curso inclui três aulas: Web Scraping Usando a Web, Web Scraping Usando uma API e Plotagem de Dados em Mapas Geográficos.

Que habilidades este curso ajuda a construir?

Ele constrói habilidades em mapeamento de dados, visualização de dados, mapas de dados, visualização de informações, visualização científica e visualização.