PARTE 1
Entendendo e Coletando os Dados
1 - Introdução
Júlia é uma entusiasta no setor de cinema, e ela decide se aventurar investindo em uma startup, a MoviesNow, porém, ela percebe que a empresa não está bem organizada, e mesmo preparando seu primeiro projeto, não conhecem os padrões de mercado desse setor do entretenimento.
Em busca de ajudar a MoviesNow a aprimorar sua estratégia e direcionamento, Júlia decide usar suas habilidades em Data Analysis, visando não apenas coletar dados, mas também transformá-los em informações valiosas e acionáveis, e para isso, ela parte em busca de um dataset.
2 - Conjunto de Dados
Júlia decide buscar por um dataset robusto e informativo para análise de dados, oque a levou à IMDB, que possui uma fonte de dados extensa e atualizada, que inclui detalhes sobre o nascimento de artistas, suas obras cinematográficas, avaliações de filmes, anos de produção, dentre outros dados.
3 - Dicionário de Dados
Tabela 1: title.akas.tsv.gz
- titleId (string): Identificador único do título.
- ordering (inteiro): Número único para identificar linhas para um titleId específico.
- title (string): Título localizado.
- region (string): Região para esta versão do título.
- language (string): Idioma do título.
- types (array): Conjunto enumerado de atributos para este título alternativo.
- attributes (array): Termos adicionais para descrever este título alternativo.
- isOriginalTitle (booleano): Indica se é o título original.
Tabela 2: title.basics.tsv.gz
- tconst (string): Identificador único do título.
- titleType (string): Tipo/formato do título (filme, série de TV, etc.).
- primaryTitle (string): Título mais popular/usado pelos cineastas.
- originalTitle (string): Título original no idioma original.
- isAdult (booleano): Indica se é um título adulto.
- startYear (AAAA): Ano de lançamento (para filmes) ou início da série (para séries de TV).
- endYear (AAAA): Ano de término da série de TV.
- runtimeMinutes: Duração principal do título em minutos.
- genres (array): Até três gêneros associados ao título.
Tabela 3: title.principals.tsv.gz
- tconst (string): Identificador único do título.
- ordering (inteiro): Número único para identificar linhas para um titleId específico.
- nconst (string): Identificador único da pessoa.
- category (string): Categoria de trabalho da pessoa.
- job (string): Título específico do trabalho (se aplicável).
- characters (string): Nome do personagem interpretado (se aplicável).
Tabela 4: title.ratings.tsv.gz
- tconst (string): Identificador único do título.
- averageRating: Média ponderada das classificações dos usuários.
- numVotes: Número de votos recebidos pelo título.
Tabela 5: name.basics.tsv.gz
- nconst (string): Identificador único da pessoa.
- primaryName (string): Nome pelo qual a pessoa é mais frequentemente creditada.
- birthYear (AAAA): Ano de nascimento.
- deathYear (AAAA): Ano de falecimento (se aplicável).
- primaryProfession (array): Três principais profissões da pessoa.
- knownForTitles (array): Títulos pelos quais a pessoa é conhecida.
4 - Diagrama de Relacionamento de Entidades
Com isso, é possível gerar um Diagrama de Relacionamento de Entidades:
5 - Transformando os Dados
O primeiro desafio de seu projeto foi converter arquivos no formato ".tsv" da IMDB para o formato ".csv" compatível com o MySQL Workbench 8.0, e graças ao tamanho dos arquivos, conversores online eram incapazes de realizar a transformação. Para contornar isso, Júlia utilizou um script em Python para realizar a conversão.
O script Python identificava os padrões específicos do formato ".tsv" e os transformava em formato ".csv". Isso envolvia substituir as tabulações por vírgulas e realizar outras formatações necessárias para que os dados fossem corretamente interpretados pelo MySQL Workbench. Este método permitiu a conversão eficiente de arquivos de grande porte, tornando-os adequados para importação e análise posterior no MySQL.
Após a conversão, os arquivos estavam prontos para serem carregados, Júlia pensou em utilizar a ferramenta Table Import Wizard para realizar a conversão, porém obtendo problemas de performance, optou por um método melhor, com o comando LOAD DATA LOCAL INFILE, concluindo a extração da base de dados.
6 - Informações Extras
Com as informações inseridas em seu computador, Júlia obteve informações interessantes sobre o escopo do dados que estava trabalhando, segue aqui algumas curiosidades sobre o conjunto de dados que será trabalhado nesse projeto.
- Linhas
- 158.366.934 linhas de informação
- Período de Coleta
- Dados abrangendo de 1894 à 2024
- Colunas
- 32 colunas distintas entre as 5 tables
- Região de Coleta
- Mais de 240 países diferentes
- Tamanho
- 12.73 GB de tamanho em arquivos de table
Para mais informações Clique Aqui
PARTE 2
Analisando com MySQL e PowerBI
Nessa seção do projeto, encontram-se as principais, e mais interessantes queries que foram desenvolvidas ao longo desse projeto, junto à elas estão alguns comentários que ajudam a trazer contexto, curiosidades, e melhoram o storytelling num geral, além de visualizações feitas em Power BI, na intenção de explicitar o conteúdo fornecido pelos códigos.
1 - Os Top 25 Melhores Filmes na IMDb
Essa query traz os 25 filmes com melhor avaliação no IMDB, um detalhe é que ela é duplamente filtrada por averageRating na intenção de trazer mais relevância pra isso, mas mantendo ordenado principalmente por numVotes na subquery.
2 - Gêneros mais Promissores para 2024+
Essa query traz a contagem dos gêneros esperados para filmes, séries, curtas que serão lançados de 2024 em diante, uma query simples que ajuda a entender as tendências futuras para esse mercado.
3 - Proporção de Faixa Etária entre Atores
Essa query traz informação sobre as faixas etárias creditadas na IMDB, é importante destacar que, como não possuía a informação da idade dos artistas nesse dataset, utilizei da função COALESCE, para calcular a idade, visto que vários deathYear contavam como null.
Essa também foi a primeira query desse projeto.
4 - Curtas x Longa Metragens ao Longo dos Anos
Essa query traz uma comparativa entre as produções de curta metragens em relação à de longa metragens, e graças a extensão desse dataset, tem-se dados de 1874 até atualmente, uma extensão simplesmente incrível!
5 - Tendências Temporais: Duração x Crítica
Uma query muito interessante, que traz uma visão sobre como o tempo afetou a duração dos filmes, e com isso a sua duração, descobrimos que em 2008, a duração média de um "filme nota 10" era de 78 minutos, já atualmente em 2024 é de 102 minutos e 24 segundos.
A visualização anterior foi construída no Power BI para tornar mais clara a comparação entre duração, avaliação e mudanças ao longo do tempo.
6 - Regiões por Contagem de Adaptações
Uma das querys mais simples, realizando a contagem de títulos adaptados para diversas regiões do globo, o Brasil se encontra no TOP 13, com 126.385 conteúdos que foram adaptados.
7 - Homens x Mulheres no Entreterimento
Essa query traz à tona uma discussão muito importante nos tempos atuais, o conflito de gênero no mercado de trabalho, uma pena esse dataset não incluir salários para uma análise ainda mais interessante.
8 - Profissionais mais Prolíficos da Indústria
Essa query traz os nomes mais "creditados" do IMDB, ou seja, as pessoas que mais costumam aparecer nos créditos das produções, também é uma das querys mais pesadas em termos de desempenho.
9 - Seriados mais Antigos em Andamento
Uma query tanto interessante quanto útil, traz consigo informação dos seriados mais antigos e que ainda continuam recebendo atualizações, e impressionantemente, os Simpsons estão apenas em nono lugar!
10 - Lucros na Indústria de Filmes por Anos
Essa query traz consigo o lucro geral que a indústria de filmes teve ao longo dos anos, desde 1913 até 2024, um detalhe incrível dessa query, é que ele evidencia o impacto da pandemia de COVID entre 2019-2021 nesse setor, visto no período uma queda grotesca nos lucros gerais.
11 - Ganhos Brutos por Empresa pelos Anos
Nessa query são apresentados, por ano, a soma cumulativa tanto dos ganhos quanto dos custos de empresas baseados em um filtro nessas mesmas somas. O uso da função Substring_Index ocorre para selecionar apenas a primeira empresa (principal), entre o conjunto de empresas na produção dos diversos conteúdos.
12 - Lucros na Indústria por Região do Mundo
Esta query é projetada para a partir de uma tabela chamada. A função SUM é utilizada com a cláusula OVER para calcular a soma acumulada dos lucros para cada país.
13 - Lucros por Gênero de Filmes
Essa query mostra a relação entre os lucros de produção e as avaliações recebidas, o interessante é perceber que eles não andam sempre de mãos dadas, já que "Documentários", por exemplo, tem as melhores Ratings, e também um dos piores Profits.
PARTE 3
Relatório Final
Na seção final deste projeto, encontram-se os principais pontos observados a partir dos insights obtidos na Parte 2, organizados por tema para facilitar a leitura das conclusões.
1 - Relatório dos Insights
Perfil dos membros da Indústria
- Grande parte dos atores/atrizes ainda vivos são adultos, uma boa parte são idosos e atores mirins são parte muito pequena do total.
- A discrepância entre homens e mulheres na atuação ainda é grande, porém é menor que se comparado à antigamente, em que já foi de 2:1, como em 1940.
- Alguns nomes mais conhecidos nessa indústria são Reg Watson, Ernesto Alonso, mas destaque para a família Kapoor, com Ekta e Shobha, que estão no TOP 3, ambas mulheres produtoras indianas de televisão, cinema e séries web.
Economia da Indústria
- A Indústria num geral apresentava um crescimento constante nos lucros, entretanto, com a pandemia de COVID-19, o setor sofreu uma queda brusca, e ainda não se recuperou, no ano de 2020, a Indústria teve lucros semelhantes aos que tiveram em meados de 1980.
- Entre as regiões que mais estão lucrando nessa Indústria, a maioria se encontra no hemisfério norte, com destaque aos Estados Unidos, que supera os lucros de diversos continentes.
- Os gêneros mais lucrativos dessa indústria são Ação, Comédia, e Aventura, porém eles também possuem Ratings baixas, outras opções como Documentário, História e Mistério possuem lucros baixos porém Ratings mais altos. Boas opções para um caminho do meio seriam gêneros como Animação e Drama.
Previsões para 2024+
- Os gêneros que mais esperamos ver em 2024 em diante são Drama, Comédia, Documentário e Ação. Já os gêneros que menos veremos são Talk-Shows, Game-Shows, e Noticiarios.
- Até o início dos anos 2000, produções maiores eram mais comuns, entretanto, com o despontar da internet, câmeras e outros acessórios se tornando mais acessíveis, se tornou mais fácil produzir conteúdo, então, a partir desse ponto, produções menores tem se tornado cada vez mais comuns, dominando em termos de quantidade.
- As avaliações mudam dependendo da duração de um filme, em 2001, o padrão eram filmes com cerca de 90 minutos, entretanto, filmes com 58 minutos tinham média de avaliação maior num geral, já atualmente em 2022 - 2023, o padrão aumentou para 96 minutos, mas filmes com cerca de 88 minutos apresentam avaliação melhor.
Miscelâneas
- Os maiores focos de adaptações vão para Europa, Índia, e Japão, vale destaque ao número baixo dos Estados Unidos, que faz sentido afinal ele é o maior produtor dos conteúdos que serão adaptados, e o Brasil ainda que com pouco destaque, é o 13º maior da lista.
- Entre os filmes mais bem avaliados da IMDB, podemos destacar três, "Um Sonho de Liberdade", "O Poderoso Chefão", e "Batman: O Cavaleiro das Trevas", esse último apesar de possuir mesma avaliação de "O Senhor dos Anéis", possui muito mais votos, indicando maior grau de certeza.
2 - Conclusão
Com isso, conclui-se esse projeto análise de dados, em que os dados foram extraídos, analisados, e receberam visualizações, essa situação simulada com a personagem Júlia e a empresa MoviesNow foi útil para gerar contexto de negócio ao meu trabalho, muito aprendizado foi colocado nesse projeto e mais ainda foi obtido com ele, obrigado pela atenção!
Ver repositório no GitHub