Introdução à Ciência de Dados

Cartões · 50

Ciência de dados

Estudo multidisciplinar de dados para extrair insights significativos para os negócios, unindo matemática, estatística, IA e computação.

Objetivo central da ciência de dados

Analisar grandes volumes de dados para responder o que aconteceu, por que aconteceu, o que acontecerá e o que fazer a respeito.

Importância da ciência de dados

Combina ferramentas, métodos e tecnologia para gerar significado a partir do fluxo massivo de dados coletados pelas organizações.

Origem do termo na década de 1960

Surgiu inicialmente como um nome alternativo para a área de estatísticas.

Formalização na década de 1990

Profissionais de computação definiram o campo com três aspectos centrais: design de dados, coleta e análise.

Fatores de crescimento da ciência de dados

Inovações em inteligência artificial e machine learning, que aceleraram e tornaram o processamento de dados mais eficiente.

Análise descritiva

Examina dados históricos ou atuais para identificar o que aconteceu ou o que está acontecendo no ambiente de dados.

Técnicas da análise descritiva

Visualizações de dados como gráficos de pizza, barras, linhas, tabelas e narrativas geradas.

Exemplo de análise descritiva

Mapear o histórico diário de bilhetes aéreos para identificar picos, quedas e meses de alta demanda.

Análise diagnóstica

Avaliação aprofundada de dados voltada a entender por que determinado evento ocorreu.

Técnicas da análise diagnóstica

Uso de drill-down, descoberta de dados, mineração de dados e análise de correlações.

Drill-down

Técnica de detalhamento analítico que desagrega os dados para investigar causas raízes de um comportamento específico.

Exemplo de análise diagnóstica

Investigar um mês de pico em reservas aéreas e descobrir correlação com um evento esportivo na cidade de destino.

Análise preditiva

Utiliza dados históricos para estimar padrões futuros e probabilidades de ocorrência.

Técnicas da análise preditiva

Machine learning, modelos preditivos, previsão estatística e correspondência de padrões.

Engenharia reversa de causalidade

Treinamento de computadores para identificar conexões de causa e efeito ocultas no histórico de dados.

Exemplo de análise preditiva

Prever picos de viagens com meses de antecedência para antecipar campanhas de marketing direcionadas.

Análise prescritiva

Sugere a melhor tomada de decisão e plano de ação ideal com base nas previsões calculadas.

Técnicas da análise prescritiva

Análise de gráficos, simulação, processamento de eventos complexos, redes neurais e sistemas de recomendação.

Exemplo de análise prescritiva

Simular e projetar a alocação exata de orçamento em múltiplos canais de marketing para maximizar conversões.

Padrões transformadores desconhecidos

Benefício de revelar correlações invisíveis que geram grandes impactos nas margens e na operação a baixo custo.

Inovação de produtos e soluções

Benefício de identificar falhas operacionais e feedbacks ocultos para aperfeiçoar sistemas e elevar a satisfação do cliente.

Otimização em tempo real

Capacidade de prever alterações no ambiente de negócios e reagir instantaneamente para evitar perdas e interrupções.

Início do processo de ciência de dados

Começa com a identificação e delimitação de um problema de negócios junto às partes interessadas.

Modelo OSEMN

Framework de cinco etapas do ciclo de vida da ciência de dados: Obter, Suprimir, Explorar, Modelar e Interpretar.

OSEMN: Letra O

Obter dados (Obtain data), etapa de coleta de fontes internas, externas, APIs ou repositórios.

Fontes para obtenção de dados

Bancos de dados, sistemas de CRM, logs de servidores web, mídias sociais e provedores terceirizados.

OSEMN: Letra S

Suprimir dados (Scrub data), processo de limpeza, tratamento e padronização das informações.

Limpeza e supressão de dados

Tratamento de valores ausentes, correção de erros de digitação e remoção de outliers.

Padronização na supressão

Homogeneização de formatos de data, pontuação de números grandes e eliminação de inconsistências.

OSEMN: Letra E

Explorar dados (Explore data), análise preliminar para descobrir tendências e planejar a modelagem.

Técnicas da exploração de dados

Estatísticas descritivas básicas e gráficos exploratórios para entender distribuições e anomalias.

OSEMN: Letra M

Modelar dados (Model data), aplicação de algoritmos e inteligência artificial para treinar e avaliar predições.

Técnicas de modelagem de dados

Algoritmos de classificação, regressão, agrupamento (clustering) e regras de associação.

Validação de modelos

Comparação dos resultados do modelo frente a dados de teste predeterminados para calibrar precisão.

OSEMN: Letra N

Interpretar resultados (iNterpret results), tradução técnica dos insights em ações práticas para os negócios.

Sumarização de dados

Uso de narrativas, painéis e relatórios visuais para apoiar partes interessadas na implementação de decisões.

Mineração de dados (Data Mining)

Processo de exploração de grandes conjuntos de dados para descobrir padrões, anomalias e correlações.

Machine Learning na ciência de dados

Subcampo da IA que ensina computadores a aprender padrões a partir de dados históricos sem programação direta de regras.

Clustering (Agrupamento)

Técnica de machine learning que divide conjuntos de dados em grupos com características e perfis similares.

Outlier (Dado atípico)

Ponto de dado que destoa substancialmente do restante da amostra, tratado durante a etapa de supressão.

Dados não estruturados

Formatos sem esquema rígido que enriquecem análises modernas, como textos, áudios, imagens e vídeos.

Mecanismos de recomendação

Sistemas analíticos prescritivos que sugerem ações personalizadas ou produtos a usuários com base no comportamento prévio.

Processamento de eventos complexos

Tecnologia prescritiva usada para detectar padrões em fluxos múltiplos de eventos e disparar respostas automáticas.

Simulação em análise de dados

Modelagem computacional de cenários futuros para testar o impacto de diferentes decisões estratégicas.

Papel do cientista de dados com stakeholders

Alinhar necessidades estratégicas, definir métricas do problema e converter achados analíticos em valor operacional.

Conjunto de dados de teste

Subconjunto de dados preservado para testar e validar o desempenho de um algoritmo treinado.

Classificação (Machine Learning)

Técnica que categoriza dados em classes discretas a partir de exemplos previamente rotulados.

Redes neurais artificiais

Modelos computacionais inspirados no cérebro humano, fundamentais para análises preditivas e prescritivas avançadas.

Diferença: Preditiva vs. Prescritiva

A análise preditiva prevê o que tende a acontecer; a prescritiva define e aconselha qual ação tomar diante dessa previsão.