Importação de Dados – BI

*Os valores presentes neste documento são meramente ilustrativos, não servem para fins comparativos, pois não condizem com a realidade.

Para utilizar a funcionalidade de importação de dados é nescessário habilita-lá em Home > BI > Parâmetros do Módulo BI para mais informações acesse Parâmetros do BI. Ao habilitar o data lake o cliente poderá realizar carga de dados para a utilização na criação de dashboards personalizados. O primeiro GB consumido é gratuito, os demais terão um custo de R$ 60,00 por GB utilizado dentro do mês. Toda a carga de dados será computada para cobrança, mesmo se o cliente apagar os dados posteriormente. O fechamento das cobranças é mensal e ocorrerá todo dia 20. Também é necessária uma liberação especial, que essa tela exige para importar o arquivo no banco de dados do BI. Essa liberação precisa ser solicitada para a equipe de Infra-Estrutura da Bluesoft e tem a ver com o Datalake (“Liberação da funcionalidade de Criação de Crawlers no Glue”).

Importação de Arquivos

Nessa tela é possível importar tabelas diretamente para o banco de dados, só é permitido arquivos do tipo CSV delimitando as colunas por ponto e vírgula, caso as linhas tenha algum delimitador de texto como aspas simples ou duplas a importação não ocorrerá de forma devida. O total utilizado no Mês mostra o total de todas as importações realizadas pelo cliente não contabilizando exclusões, essa quantidade será utilizada para cobrança no fechamento. Após selecionar um arquivo deve-se dar um nome a tabela lembrando que só é permitido letras minúsculas sem espaços ou caracteres especiais, em seguida clique em importar.

Tabelas

Aqui são apresentadas todas as tabelas que foram importadas com seu nome e tamanho em KB, MB ou GB. Nessa tabela também é possível importar dados para uma tabela existente ou exclui-lá, ao excluir uma tabela dashboards relacionados a ela podem ser afetados. A importação de dados tem duas opções sendo elas atualizar totalmente a estrutura da tabela, onde todos os dados seram substituidos pelo arquivo selecionado e também a opção de manter a estrutura da tabela, adicionando novas colunas, essa opção permite inserir novos dados na tabela sem alterar os antigos. Para inserir dados em uma tabela o nome dela não pode ser alterado sendo o mesmo da criação. As atualizações também seram contabilizadas para cobrança.

Bluesoft Sync

O Bluesoft Sync realiza a importação de arquivos de um diretório de rede diretamente para o banco de dados sendo permitido apenas arquivos do tipo CSV delimitando as colunas por ponto e vírgula, caso as linhas tenha algum delimitador de texto como aspas simples ou duplas a importação não ocorrerá de forma devida. Com o Bluesoft Sync já instalado em um diretório deve-se seguir estes passos para importar um arquivo: 1 – Na pasta para_processar adicione uma nova pasta com o nome da tabela que deseja criar:

OBS: O nome da tabela precisa ter o prefixo dl_, também pode conter apenas letras minúsculas sem espaços ou caracteres especiais, caso contrário não será processada. 2 – Adicione um arquivo tipo CSV delimitado por ponto e vírgula a pasta criada:

Automaticamente o Bluesoft Sync irá executar a leitura desse arquivo adicionando o caminho a pasta processados:

3 – Aguarde o AWS-Glue processar o arquivo e adiciona-lo ai banco de dados, essa rotina roda de 15 em 15 minutos sendo necessário aguardar para que processe todos os arquivos adicionados. OBS: Ao adicionar novos arquivos a pasta correspondente a tabela a estrutura antiga sempre será mantida adicionando novas colunas e linhas do novo arquivo, essa opção permite inserir novos dados na tabela sem alterar os antigos.

4 – Após o arquivo ser processado é possível ver a tabela no banco de dados e na tela de Importação de Dados – BI:

OBS: Tabelas contendo caracteres especiais não seram processadas sendo os caracteres não permitidos estes: Caracteres: ( \ , | , , , . , ? , / , ; , : , <> , ^ , ~, \ , {} , [] , (), – , _ , + , = , * , & , ¨ , % , $ , # , @ , ! , “” , \ , ” )