Fazer pesquisas web visionários usando dados da web profunda e consultas web do excel

O que você diria se eu lhe disser que você tem as ferramentas à sua disposição para fazer inovador, pesquisa a terra tremer? Bem, você faz, e eu vou mostrar-lhe como.

Governos, instituições acadêmicas e organizações de investigação sem fins lucrativos publicar tabelas cheias de dados para o domínio público. Sem que ninguém de utilizar estas informações, o seu verdadeiro valor nunca será conhecido. Infelizmente, poucas pessoas têm o discernimento, as habilidades ou as ferramentas para pegar os dados e fazer correlações interessantes entre informações aparentemente desconexas.

fundo

Uma boa parte da pesquisa que eu faço para o meu próprio blog envolve cavar através do que é conhecido como o web invisível, para descobrir dados que foi lançado para o público, mas escondido de motores de busca dentro de um banco de dados online. Isto é o rede profunda, e é repleta de dados valiosos. Muitas vezes, me deparo com páginas apenas calço-preenchidos com alguns dos dados mais valiosos sobre temas que funcionam a gama a partir de dados do censo para estudos epidemiológicos sobre as doenças raras. Estou constantemente a ter novas ideias sobre como tentar correlacionar essas diferentes fontes de dados usando várias ferramentas - e uma das ferramentas mais valiosas que eu encontrei é a consulta da Web dentro de Microsoft Excel.10 motores de busca para explorar a Invisible Web10 motores de busca para explorar a Invisible WebNão, não é mais recente ferramenta atirando web do Homem-Aranha, mas algo que é mais mundo real. Como a World Wide Web.consulte Mais informação

Encontrar Correlações dados interessantes

O que eu vou mostrar para você hoje é um exemplo de como você pode fazer uso do Excel Web consultas para obter dados a partir de sites diferentes, e traçar-los uns contra os outros, a fim de procurar possíveis correlações entre os dados.

A maneira de começar um exercício como este é para chegar a uma hipótese interessante. Por exemplo - para manter as coisas interessantes aqui - eu vou postular aleatoriamente que disparada taxas de autismo nos Estados Unidos são causados ​​tanto por inoculações de vacinas ou a crescente presença de campos eletromagnéticos e em torno de crianças, tais como telefones celulares. É uma hipótese louca do tipo que você encontrará na maioria dos sites da teoria de conspiração, mas é o que torna este divertido. Então vamos começar, vamos?

Primeiro, abra o Excel, vá até o item de menu de dados, e encontrar o ícone “From Web” na fita menu.

Isto é o que você vai usar para importar as diferentes tabelas de dados entre os muitos website lá fora, que têm publicado los.

Importação de dados da Web em Excel

Assim, nos velhos tempos, você teria que tentar copiar os dados dessa tabela em uma página web, colá-lo no Excel, e depois lidar com todos os problemas de formatação loucos envolvidos em fazer isso. aborrecimento total, e um monte de vezes que ele apenas não vale a dor de cabeça. Bem, com o Excel Web Queries, esses dias acabaram. Claro, antes que você pode importar os dados, você vai precisar para o Google o seu caminho em torno da Web para encontrar os dados que você precisa em formato de tabela. No meu caso, eu encontrei um site que publicou as estatísticas do Departamento de Educação para o número de norte-americanos estudantes de escolas públicas que foram identificados como tendo autismo. Uma tabela bom lá forneceu números a partir de 1994 todo o caminho até 2006.

Então, basta clicar em “From Web”, cole o URL webpage no campo de endereço de consulta e, em seguida, role a página até ver a seta amarela ao lado da mesa com os dados que você deseja importar.

Clique na seta para que se torne uma marca de seleção verde.

Finalmente, dizer Excel que campo você deseja colar os dados da tabela para dentro de sua nova planilha.

Então - Voila! Os dados fluem automaticamente para a direita em sua planilha.

Assim, com uma tendência de taxas de autismo escola pública a partir de 1996 - 2006 no lugar, é hora de sair em busca de vacinação e as tendências de uso de telefone celular também.

Video: TOR la red invisible

Felizmente, eu encontrei rapidamente tendências para assinantes de telefonia celular nos EUA entre 1985 e 2012. Excelentes dados para este estudo particular. Mais uma vez, eu usei a ferramenta Excel consulta à Web para importar tabela.

Eu importado que a tabela em uma nova folha limpa,. Então, eu descobri as tendências de vacinação para percentagem de crianças em idade escolar vacinadas para diferentes doenças. Eu importado que a tabela utilizando a ferramenta de consulta à Web em uma terceira folha. Então, finalmente, eu tinha três folhas com as três mesas com os dados aparentemente desconexos eu tinha descoberto na web.

O próximo passo, é usar o Excel para analisar os dados e tentar identificar quaisquer correlações. É aí que uma das minhas ferramentas favoritas de análise de dados entra em jogo - a tabela dinâmica.

Analisando dados em Excel com a tabela dinâmica

É melhor para criar a tabela dinâmica numa folha de novo, vazio. Você quer usar o assistente para o que você está prestes a fazer. Para ativar o assistente de tabela dinâmica no Excel, você precisa pressionar Alt-D, ao mesmo tempo até que uma janela de notificação aparece. Em seguida, deixar ir desses botões, e pressione a tecla “P”. Em seguida, você verá o pop assistente up.

Na primeira janela do assistente, que pretende seleccionar “Vários intervalos de consolidação”, que permite que você selecione os dados de todas as folhas que você importou. Ao fazer isso, você pode consolidar todos os dados aparentemente não relacionados em um, tabela dinâmica poderosa. Em alguns casos, pode ser necessário para massagear alguns dos dados. Por exemplo, eu tive que corrigir o campo “Ano” na tabela de autismo para que ele mostrou “1994” em vez de “1994-1995” - tornando-se alinham melhor com as tabelas sobre as outras folhas, que também tiveram o ano primário campo.

Esse campo comum entre os dados é o que você precisa, a fim de tentar e correlacionar informações, de modo a manter isso em mente quando você está caçando a Web para seus dados.

Video: COMO ENTRAR A LA DEEP WEB - NAVEGANDO POR LA WEB PROFUNDA

Uma vez que a tabela dinâmica é feito e você tem todos os diferentes valores de dados exibidos em uma tabela, é hora de fazer uma análise visual para ver se há alguma conexão óbvia que salta à vista.

Visualização de dados é chave

Ter um monte de números em uma tabela é ótimo se você é um economista, mas a maneira mais rápida e mais fácil de ter que “aha!” Momento quando você está tentando encontrar conexões como uma agulha num palheiro, é através de gráficos e gráficos. Depois de ter seu gráfico dinâmico no lugar com todos os conjuntos de dados que você coletou, é hora de criar seu gráfico. Normalmente, um gráfico de linha fará o melhor, mas depende dos dados. Há momentos em que um gráfico de barras funciona muito melhor. Tente entender que tipo de dados que você está olhando e que forma comparações funcionam melhor.

Neste caso, eu estou olhando para os dados ao longo do tempo, de modo que um gráfico de linha é realmente a melhor maneira de ver as tendências ao longo dos anos. taxas de autismo gráficos (verde) contra as taxas de escala reduzida de vacinação (azul escuro), vacinas varicela (azul claro) e uso do telefone celular (roxo), uma correlação estranha, de repente apareceu neste conjunto de amostras de dados que eu estava brincando com.

Curiosamente, a tendência no uso do telefone celular a partir de 1994 até 2006 quase perfeitamente combinado a subida nas taxas de autismo em relação ao mesmo período de tempo. Embora o padrão foi completamente inesperado, é um exemplo perfeito de como amarrar juntos dados interessantes podem revelar pistas fascinantes - proporcionando-lhe um maior conhecimento e motivação para continuar a empurrar para a frente e em busca de mais dados que podem reforçar ainda mais a sua hipótese.

Uma correlação como essa acima não prova nada. Há uma abundância de tendências que surgem ao longo do tempo - o padrão poderia ser coincidência, mas também pode ser uma pista importante em sua busca contínua de mais dados sobre a Internet. Felizmente, você tem uma ferramenta poderosa chamada Excel Web consultas que vai fazer essa busca apenas um pouco mais fácil.

Crédito da foto: Kevin Dooley via photopin cc