Detalhes da Conexão do Amazon Athena¶

Introdução¶

Versão do conector

Esta documentação é baseada na versão 21.0.8383 do conector.

Começando¶

Suporte à versão do Amazon Athena

O conector Jitterbit para Amazon Athena conecta-se com a API do Amazon Athena Web Services.

Estabelecendo uma Conexão¶

Conectando-se ao Amazon Athena¶

Especifique o seguinte para se conectar aos dados:

• DataSource: O nome da fonte de dados do Amazon Athena à qual se conectar.
• Database: O nome do banco de dados do Amazon Athena ao qual se conectar.
• AWSRegion: Defina como a região onde seus dados do Amazon Athena estão hospedados.
• S3StagingDirectory: Defina para uma pasta no S3 onde você gostaria de armazenar os resultados das consultas.

Se Database ou DataSource não é definido na conexão, o conector se conecta à fonte de dados padrão e ao banco de dados definido no Amazon Athena.

Autenticação no Amazon Athena¶

Além de especificar as informações básicas de conexão necessárias para todas as conexões, você deve escolher um método de autenticação de uma das opções listadas abaixo.

Obtendo a Chave de Acesso¶

Para obter as credenciais de um usuário do IAM, siga as etapas abaixo:

1. Faça login no console do IAM.
2. No painel de navegação, selecione Usuários.
3. Para criar ou gerenciar as chaves de acesso para um usuário, selecione o usuário e, em seguida, selecione a aba Credenciais de segurança.

Para obter as credenciais para sua conta raiz da AWS, siga as etapas abaixo:

1. Faça login no console de gerenciamento da AWS com as credenciais de sua conta raiz.
2. Selecione o nome ou número da sua conta e selecione Minhas credenciais de segurança no menu exibido.
3. Clique em Continuar para credenciais de segurança e expanda a seção Chaves de acesso para gerenciar ou criar chaves de acesso de conta root.

Autenticação com Credenciais Raiz¶

Para autenticar usando credenciais raiz da conta, defina o seguinte:

• AuthScheme: Defina para AwsRootKeys.
• AWSAccessKey: A chave de acesso associada à conta root da AWS.
• AWSSecretKey: A chave secreta associada à conta raiz da AWS.

Observação: O uso desse esquema de autenticação é desencorajado pela Amazon para testes simples. As credenciais raiz da conta têm todas as permissões do usuário, tornando esse o método de autenticação menos seguro.

Autenticação com Credenciais Temporárias¶

Para autenticar usando credenciais temporárias, especifique o seguinte:

• AuthScheme: Defina para TemporaryCredentials.
• AWSAccessKey: A chave de acesso do usuário do IAM para o qual assumir a papel.
• AWSSecretKey: A chave secreta do usuário do IAM para o qual assumir a papel.
• AWSSessionToken: Seu token de sessão da AWS. Isso será fornecido junto com suas credenciais temporárias. Veja este link para mais informações.

O conector agora pode solicitar recursos usando as mesmas permissões fornecidas por credenciais de longo prazo (como credenciais de usuário do IAM) durante a vida útil das credenciais temporárias.

Se você também estiver usando uma papel do IAM para autenticação, deverá especificar adicionalmente o seguinte:

• AWSRoleARN: Especifique o Role ARN para a papel com a qual você gostaria de se autenticar. Isso fará com que o conector tente recuperar credenciais para a papel especificada.
• AWSExternalId: Somente se necessário quando você assume uma papel em outra conta.

Autenticação de uma Instância do EC2¶

Se você estiver usando o conector de uma instância EC2 e tiver uma função IAM atribuída à instância, poderá usar a função IAM para autenticar. Para fazer isso, defina as seguintes propriedades para autenticar:

• AuthScheme: Defina para AwsEC2Roles.

Não especifica AWSAccessKey e AWSSecretKey porque o conector obterá automaticamente suas credenciais de função IAM e autenticará com elas.

Se você também estiver usando uma papel do IAM para autenticação, deverá especificar adicionalmente o seguinte:

• AWSRoleARN: Especifique o Role ARN para a papel com a qual você gostaria de se autenticar. Isso fará com que o conector tente recuperar credenciais para a papel especificada.
• AWSExternalId: Somente se necessário quando você assume uma papel em outra conta.

Suporte IMDSv2

O conector Amazon Athena agora oferece suporte a IMDSv2. Ao contrário do IMDSv1, a nova versão requer um token de autenticação. Endpoints e resposta são os mesmos em ambas as versões. No IMDSv2, o conector Amazon Athena primeiro tenta recuperar o token de metadados IMDSv2 e, em seguida, usa-o para chamar endpoints de metadados da AWS. Se não for possível recuperar o token, o conector será revertido para IMDSv1.

Autenticação Como uma Função da AWS¶

Em muitas situações, pode ser preferível usar uma papel do IAM para autenticação em vez das credenciais de segurança diretas de um usuário raiz da AWS.

Para autenticar como uma papel da AWS, defina o seguinte:

• AuthScheme: Defina para AwsIAMRoles.
• AWSRoleARN: Especifique o Role ARN para a papel com a qual você gostaria de se autenticar. Isso fará com que o conector tente recuperar credenciais para a papel especificada.
• AWSExternalId: Somente se necessário quando você assume uma papel em outra conta.
• AWSAccessKey: A chave de acesso do usuário do IAM para o qual assumir a papel.
• AWSSecretKey: A chave secreta do usuário do IAM para o qual assumir a papel.

Observação: As funções não podem ser usadas ao especificar o AWSAccessKey e AWSSecretKey de um usuário raiz da AWS.

Autenticação com ADFS¶

Colocou o AuthScheme para ADFS. As seguintes propriedades de conexão precisam ser definidas:

• User: Defina isso para o usuário ADFS.
• Password: Defina como senha do ADFS para o usuário.
• SSOLoginURL: Defina isso para a URL de login usada pelo provedor SSO.

Abaixo está um exemplo de string de conexão:

AuthScheme=ADFS; AWSRegion=Ireland; Database=sampledb; User=user@cdata.com; Password=CH8WerW121235647iCa6; SSOLoginURL='https://adfs.domain.com'; AWSRoleArn=arn:aws:iam:1234:role/ADFS_SSO; AWSPrincipalArn=arn:aws:iam:1234:saml-provider/ADFSProvider; S3StagingDirectory=s3://athena/staging;

ADFS Integrado¶

O fluxo integrado do ADFS indica que você está se conectando com o currently logged in Windows user credentials. Para usar o fluxo integrado do ADFS, simplesmente não especifique o User e Password, mas siga as mesmas etapas no guia ADFS acima.

Autenticação com Okta¶

Colocou o AuthScheme para Okta. As seguintes propriedades de conexão são usadas para se conectar ao Okta:

• User: Defina isso para o usuário Okta.
• Password: Defina como senha Okta para o usuário.
• SSOLoginURL: Defina isso para a URL de login usada pelo provedor SSO.

A seguir SSOProperties são necessários para autenticar no Okta:

• APIToken (opcional): defina como o API Token que o cliente criou a partir da organização Okta. Ele deve ser usado ao autenticar um usuário por meio de um aplicativo ou proxy confiável que substitui o contexto de solicitação do cliente OKTA.
• MFAType (opcional): Defina isso apenas caso você tenha configurado o fluxo de MFA. Atualmente suportamos apenas os seguintes tipos: OktaVerify, E-mail e SMS.
• MFAPassCode (opcional): Defina isso apenas caso você tenha configurado o fluxo de MFA. Se estiver definido como vazio/inválido, o driver emitirá inicialmente um desafio de MFA que acionará a plataforma para enviar a você uma senha de uso único em seu dispositivo ou e-mail, com base no tipo de MFA configurado. Você precisa reemitir outra conexão em que o valor da senha única recuperada é passado para a propriedade de conexão MFAPassCode.

Veja a seguir um exemplo de string de conexão:

AuthScheme=Okta; AWSRegion=Ireland; Database=sampledb; User=user@cdata.com; Password=CH8WerW121235647iCa6; SSOLoginURL='https://cdata-us.okta.com/home/amazon_aws/0oa35m8arsAL5f5NrE6NdA356/272'; SSOProperties='ApiToken=01230GGG2ceAnm_tPAf4MhiMELXZ0L0N1pAYrO1VR-hGQSf;'; AWSRoleArn=arn:aws:iam:1234:role/Okta_SSO; AWSPrincipalARN=arn:aws:iam:1234:saml-provider/OktaProvider; S3StagingDirectory=s3://athena/staging;

Autenticação com PingFederate¶

Colocou o AuthScheme para PingFederate. As seguintes propriedades de conexão precisam ser definidas:

• User: Defina isso para o usuário PingFederate.
• Password: Defina como senha PingFederate para o usuário.
• SSOLoginURL: Defina isso para a URL de login usada pelo provedor SSO.
• SSOExchangeUrl: O URI 'Partner Service Identifier' configurado em sua instância do servidor PingFederate em: SP Connections > SP Connection > WS-Trust > Protocol Settings. Isso deve identificar exclusivamente uma conexão PingFederate SP, portanto, é uma boa ideia defini-la como 'AWS SSO ACS URL'. Você pode encontrá-lo em AWS SSO > Configurações > Clique em 'Exibir detalhes' ao lado do campo Autenticação.

A seguir SSOProperties são necessários para autenticar no PingFederate:

• AuthScheme (opcional): o esquema de autorização a ser usado para o endpoint IdP. Os valores permitidos para este IdP são Nenhum ou Básico.

Além disso, você pode usar o seguinte SSOProperties para configurar autenticação SSL mútua para SSOLoginURL, o endpoint WS-Trust STS:

• SSLClientCert
• SSLClientCertType
• SSLClientCertSubject
• SSLClientCertPassword

Abaixo está um exemplo de string de conexão:

authScheme=pingfederate;SSOLoginURL=https://mycustomserver.com:9033/idp/sts.wst;SSOExchangeUrl=https://us-east-1.signin.aws.amazon.com/platform/saml/acs/764ef411-xxxxxx;user=admin;password=PassValue;AWSPrincipalARN=arn:aws:iam:215338515180:saml-provider/pingFederate;AWSRoleArn=arn:aws:iam:215338515180:role/SSOTest2;AWSRegion=Ireland;S3StagingDirectory=s3://somedirectory/staging;Database=athenadatabase;

Autenticação com MFA¶

Para usuários e funções que exigem autenticação multifator, especifique o seguinte para autenticar:

• AuthScheme: Defina para AwsMFA.
• CredentialsLocation: O local do arquivo de configurações onde as credenciais MFA são salvas. Consulte a página Local do arquivo de credenciais em Propriedades de configurações avançadas para obter mais informações.
• MFASerialNumber: O número de série do dispositivo MFA, se estiver sendo usado.
• MFAToken: O token temporário disponível no seu dispositivo MFA.

Se você estiver se conectando à AWS (em vez de já estar conectado, como em uma instância do EC2), deverá especificar adicionalmente o seguinte:

• AWSAccessKey: A chave de acesso do usuário IAM para quem o MFA será emitido.
• AWSSecretKey: A chave secreta do usuário do IAM para quem o MFA será emitido.

Se você também estiver usando uma papel do IAM para autenticação, deverá especificar adicionalmente o seguinte:

• AWSRoleARN: Especifique o Role ARN para a papel com a qual você gostaria de se autenticar. Isso fará com que o conector tente recuperar credenciais para a papel especificada usando MFA.
• AWSExternalId: Somente se necessário quando você assume uma papel em outra conta.

Isso fará com que o conector envie as credenciais MFA em uma solicitação para recuperar credenciais de autenticação temporárias.

Observe que a duração das credenciais temporárias pode ser controlada por meio do TemporaryTokenDuration propriedade (padrão 3600 segundos).

Autenticação com um Arquivo de Credencial¶

Você pode usar um arquivo de credenciais para autenticar. Quaisquer configurações relacionadas à autenticação AccessKey/SecretKey, credenciais temporárias, autenticação de papel ou MFA serão usadas. Para fazer isso, defina as seguintes propriedades para autenticar:

• AuthScheme: Defina para AwsCredentialsFile.
• AWSCredentialsFile: Defina isso para o local do seu arquivo de credenciais.
• AWSCredentialsFileProfile: Opcionalmente, defina isso com o nome do perfil que você gostaria de usar no arquivo de credenciais especificado. Se não for especificado, será usado o perfil com o nome padrão.

Veja este link Para maiores informações.

Autenticação com Credenciais do AWS Cognito¶

Se você deseja usar o conector com um usuário registrado em um grupo de usuários no AWS Cognito, defina as seguintes propriedades para autenticação:

• AuthScheme: Defina como AwsCognitoSrp (recomendado). Você também pode usar AwsCognitoBasic.
• AWSCognitoRegion: Defina isso para a região do User Pool.
• AWSUserPoolId: Defina isso para o ID do grupo de usuários.
• AWSUserPoolClientAppId: Defina isso para o ID do aplicativo do cliente do grupo de usuários.
• AWSUserPoolClientAppSecret: Defina isso como o Segredo do cliente do pool de usuários.
• AWSIdentityPoolId: Defina isso para o ID do pool de identidades do pool de identidades que está vinculado ao pool de usuários.
• User: Defina para o nome de usuário do usuário registrado no User Pool.
• Password: Configure com a senha do usuário cadastrado no User Pool.

Autenticação com AzureAD¶

Colocou o AuthScheme para AzureAD. As seguintes propriedades de conexão são usadas para se conectar ao AzureAD:

Observe que essa configuração requer dois aplicativos AAD: o aplicativo "Amazon Athena" usado para logon único e um aplicativo "conector" separado com permissão user_impersonation no aplicativo "Amazon Athena". Você também deve especificar as propriedades da conexão OAuth:

• OAuthClientId: o ID do aplicativo do conector, listado na seção Visão geral do registro do aplicativo.
• OAuthClientSecret: o valor do segredo do cliente do aplicativo conector. O Azure AD exibe isso quando você cria um novo segredo do cliente.

A seguir SSOProperties são usados para autenticar no AzureAD:

• Recurso: o URI do ID do aplicativo Amazon Athena, listado na seção Visão geral do registro do aplicativo. Na maioria dos casos, esse é o URL do seu domínio personalizado do Amazon Athena.
• AzureTenant: a ID do locatário do Azure AD em que os aplicativos estão registrados.

Veja a seguir um exemplo de string de conexão:

AuthScheme=AzureAD;InitiateOAuth=GETANDREFRESH;OAuthClientId=3ea1c786-d527-4399-8c3b-2e3696ae4b48;OauthClientSecret=xxx;SSOProperties='Resource=';

Acesso a Dados de Ajuste Fino¶

Personalizando o Comportamento do Amazon Athena¶

Siga as etapas abaixo para configurar os padrões do conector para consultar o Amazon Athena.

Usando QueryPassthrough¶

O Amazon Athena oferece suporte a um conjunto de consultas que não são especificadas no padrão SQL-92 regular; para executar essas consultas basta definir QueryPassthrough para verdadeiro. Isso passará a consultar diretamente para o Amazon Athena sem analisá-la internamente.

Criptografia dos Resultados da Consulta para S3¶

Definir EncryptionKey e EncryptionType se você quiser criptografar o conjunto de resultados armazenado no S3 após a execução da consultar.

Para criptografar os resultados armazenados no S3, siga as etapas abaixo:

1. Navegue até o console do Amazon Athena.
2. Clique em Configurações.
3. Ative a opção Criptografar resultados da consulta.
4. Selecione o tipo de criptografia e defina EncryptionType quando você se conectar.
5. Se você selecionou SSE-KMS ou CSE-KMS, defina ambos EncryptionType e EncryptionKey: selecione uma chave de criptografia no menu ou clique em Criar chave KMS.

Desempenho¶

Resultados da Consulta de Limpeza¶

O Amazon Athena armazena os resultados de cada consultar executada em arquivos CSV em S3StagingDirectory; eles podem acumular rapidamente muito espaço no Amazon S3. Você pode usar CleanQueryResults, habilitado por padrão, para limpar esses arquivos a cada consultar executada.

Observe que esse comportamento adicionará um pequeno impacto no desempenho quando você desconectar a última conexão em um processo.

Usando o Cache de Consultas do Athena¶

Você configura QueryCachingLevel para modificar o uso dos resultados da consultar armazenados em S3StagingDirectory; observe que você deve manter a conexão aberta para se beneficiar desse recurso. Isso é especialmente útil ao executar uma determinada consultar várias vezes. Isso significa que o Amazon Athena não verificará os mesmos dados novamente e simplesmente usará os resultados da execução anterior. Esses resultados são limpos na quantidade de segundos especificada em QueryTolerance.

Observe que não desconectar corretamente a conexão quando QueryCachingLevel é definido como Cloud pode levar a uma grande quantidade de consultas salvas no Athena. Para a maioria dos casos de uso, configuração QueryCachingLevel para Local deve ser suficiente.

Desempenho de Ajuste Fino¶

Você pode usar o PageSize propriedade para otimizar o uso de sua taxa de transferência provisionada, com base no tamanho de seus itens e no tamanho de página de 1000 MB do Amazon Athena. Configure esta propriedade para o número de itens a serem retornados.

Geralmente, um tamanho de página menor reduz os picos na taxa de transferência que causam throttling. Um tamanho de página menor também insere pausas entre as solicitações. Esse intervalo equilibra a distribuição de solicitações e permite que mais solicitações sejam bem-sucedidas, evitando throttling.

Permissões Mínimas de IAM¶

Recomendamos o uso de funções predefinidas para serviços em vez de criar políticas IAM personalizadas, mas se você quiser criar políticas personalizadas, use as funções descritas na tabela abaixo. Observe que as políticas específicas exigidas pelo driver Amazon Athena estão sujeitas a alterações em versões futuras. O Amazon Athena requer, no mínimo, as seguintes permissões:

Consultas Federadas¶

Se você estiver usando consultas federadas, ou seja, usando funções do Lambda para obter dados de outras fontes, também precisará de permissões do Lambda. Por exemplo, para dar lambda:InvokeFunction permissões em um recurso com o nome cloudwatchtest1 na Virgínia do Norte:

{
"Effect": "Allow",
"Action": [
"lambda:InvokeFunction"
],
"Resource": [
"arn:aws:lambda:us-east-1:987654321098:function:cloudwatchtest1"
]
}

Somente a permissão do Lambda é opcional. Todas as outras permissões são necessárias para fazer um SELECT simples com o driver.

Características Avançadas¶

Esta seção detalha uma seleção de recursos avançados do conector Amazon Athena.

Visualizações definidas pelo usuário

O conector permite definir tabelas virtuais, denominadas visões definidas pelo usuário, cujo conteúdo é decidido por uma consultar pré-configurada. Essas exibições são úteis quando você não pode controlar diretamente as consultas enviadas aos drivers. Consulte Visualizações definidas pelo usuário para obter uma visão geral da criação e configuração de exibições personalizadas.

Configuração SSL

Use Configuração SSL para ajustar como o conector lida com as negociações de certificado TLS/SSL. Você pode escolher entre vários formatos de certificado; Veja o SSLServerCert propriedade em "Opções de cadeia de conexão" para obter mais informações.

Procurador

Para configurar o conector usando configurações de proxy do Agente Privado, selecione os Use Proxy Settings caixa de seleção na tela de configuração da conexão.

Visualizações Definidas pelo Usuário¶

O conector Jitterbit para Amazon Athena permite definir uma tabela virtual cujo conteúdo é decidido por uma consultar pré-configurada. Elas são chamadas de Visualizações Definidas pelo Usuário, que são úteis em situações onde você não pode controlar diretamente a consultar que está sendo emitida para o driver, por exemplo, ao usar o driver do Jitterbit. As Visualizações Definidas pelo Usuário podem ser usadas para definir predicados que são sempre aplicados. Se você especificar predicados adicionais na consultar para a visualização, eles serão combinados com a consultar já definida como parte da visualização.

Há duas maneiras de criar exibições definidas pelo usuário:

• Crie um arquivo de configuração em formato JSON definindo as visualizações desejadas.
• declarações DDL.

Definindo Visualizações Usando um Arquivo de Configuração¶

As visualizações definidas pelo usuário são definidas em um arquivo de configuração formatado em JSON chamado UserDefinedViews.json. O conector detecta automaticamente as visualizações especificadas neste arquivo.

Você também pode ter várias definições de exibição e controlá-las usando o UserDefinedViews propriedade de conexão. Quando você usa essa propriedade, apenas as exibições especificadas são vistas pelo conector.

Este arquivo de configuração de exibição definida pelo usuário é formatado da seguinte forma:

• Cada elemento raiz define o nome de uma exibição.
• Cada elemento raiz contém um elemento filho, chamado query, que contém a consultar SQL personalizada para a exibição.

Por exemplo:

{
    "MyView": {
        "query": "SELECT * FROM [AwsDataCatalog].[sampledb].Customers WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Use o UserDefinedViews propriedade de conexão para especificar a localização do seu arquivo de configuração JSON. Por exemplo:

"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"

Esquema para Exibições Definidas pelo Usuário¶

As visualizações definidas pelo usuário são expostas no UserViews esquema por padrão. Isso é feito para evitar que o nome da exibição entre em conflito com uma entidade real no modelo de dados. Você pode alterar o nome do esquema usado para UserViews definindo o UserViewsSchemaName propriedade.

Trabalhando com Exibições Definidas pelo Usuário¶

Por exemplo, uma instrução SQL com uma Visualização Definida pelo Usuário chamada UserViews.RCustomers lista apenas clientes em Raleigh:

SELECT * FROM Customers WHERE City = 'Raleigh';

Exemplo de consultar ao driver:

SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';

Resultando na consultar efetiva à fonte:

SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';

Esse é um exemplo muito simples de uma consultar a uma exibição definida pelo usuário que é efetivamente uma combinação da consultar de exibição e da definição de exibição. É possível compor essas consultas em padrões muito mais complexos. Todas as operações SQL são permitidas em ambas as consultas e são combinadas quando apropriado.

Configuração SSL¶

Personalizando a Configuração SSL¶

Por padrão, o conector tenta negociar SSL/TLS verificando o certificado do servidor em relação ao armazenamento de certificados confiáveis do sistema.

Para especificar outro certificado, consulte o SSLServerCert propriedade para os formatos disponíveis para fazê-lo.

Modelo de Dados¶

Procedimentos armazenados

NOTE: Procedimentos armazenados não são suportados atualmente. Veja a nota para detalhes.

Procedimentos armazenados* são interfaces semelhantes a funções para o Amazon Athena. Eles podem ser usados para pesquisar, atualizar e modificar informações no Amazon Athena.

Tabelas do sistema

As tabelas do sistema são um conjunto de tabelas fornecido que contém metadados do driver. Você pode usar tabelas de sistema para acessar informações de esquema, funcionalidade de fonte de dados e estatísticas de operação em lote.

Objetos de Modelagem¶

Conector Jitterbit para Modelo de Dados do Amazon Athena¶

O conector extrai dinamicamente todas as informações de esquema relevantes do Amazon Athena por meio da API REST.

Descobrindo Esquemas¶

Por padrão, todas as entidades do Amazon Athena serão expostas como visualizações. No entanto, o conector também é capaz de dividir os tipos de objeto nos seguintes tipos da API do Amazon Athena:

• MESA
• VISUALIZAR
• EXTERNAL_TABLE
• MANAGED_TABLE
• VIRTUAL_VIEW

Você pode habilitar essa funcionalidade definindo MetadataDiscoveryMethod para Glue. Esse método exigirá que você também adicione os perfis IAM necessários para o usuário.

Como alternativa, você pode usar o método de descoberta Athena, embora esse método seja mais lento.

• MetadataDiscoveryMethod: Defina para Athena.
• IncludeTableTypes: Defina para True.

Observe que, embora o conector possa dividir os objetos do Amazon Athena nesses tipos, todos eles são considerados read-only. Reconecte-se para carregar quaisquer alterações nos metadados, como colunas adicionadas ou removidas ou alterações no tipo de dados.

Procedimentos Armazenados¶

Procedimentos armazenados* estão disponíveis para complementar os dados disponíveis no Modelo de Dados. Pode ser necessário atualizar os dados disponíveis em uma exibição usando um procedimento armazenado* porque os dados não fornecem atualizações bidirecionais diretas, semelhantes a tabelas. Nessas situações, a recuperação dos dados é feita usando a visualização ou tabela apropriada, enquanto a atualização é feita chamando um procedimento armazenado. Procedimentos armazenados* pega uma lista de parâmetros e retorna um conjunto de dados que contém a coleção de tuplas que constituem a resposta.

Conector Jitterbit para Procedimentos Armazenados do Amazon Athena¶

Criar Esquema¶

Cria um arquivo de esquema para a tabela ou exibição especificada.

Entrada¶

Colunas do Conjunto de Resultados¶

GetOAuthAccessToken¶

Se estiver usando um aplicativo do Windows, defina Authmode como App. Se estiver usando um aplicativo Web, defina Authmode como Web e especifique o Verifier obtido por GetOAuthAuthorizationUrl.

Entrada¶

Colunas do Conjunto de Resultados¶

GetOAuthAuthorizationURL¶

Obtém a URL de autorização.

Entrada¶

Colunas do Conjunto de Resultados¶

RefreshOAuthAccessToken¶

Atualiza o token OAuth ou o ID da sessão após a expiração da sessão. Seu aplicativo OAuth deve ter o escopo refresh_token ativado.

Entrada¶

Colunas do Conjunto de Resultados¶

Tabelas do Sistema¶

Você pode consultar as tabelas do sistema descritas nesta seção para acessar informações de esquema, informações sobre a funcionalidade da fonte de dados e estatísticas de operação em lote.

Tabelas de Esquema¶

As tabelas a seguir retornam metadados de banco de dados para o Amazon Athena:

• sys_catalogs: Lista os bancos de dados disponíveis.
• sys_schemas: Lista os esquemas disponíveis.
• sys_tables: Lista as tabelas e exibições disponíveis.
• sys_tablecolumns: Descreve as colunas das tabelas e exibições disponíveis.
• sys_procedures: Descreve os procedimentos armazenados disponíveis.
• sys_procedureparameters: Descreve procedimento armazenado* parâmetros.
• sys_keycolumns: Descreve as chaves primárias e estrangeiras.
• sys_indexes: Descreve os índices disponíveis.

Tabelas de Fonte de Dados¶

As tabelas a seguir retornam informações sobre como se conectar e consultar a fonte de dados:

• sys_connection_props: Retorna informações sobre as propriedades de conexão disponíveis.
• sys_sqlinfo: Descreve as consultas SELECT que o conector pode descarregar para a fonte de dados.

Consultar Tabelas de Informações¶

A tabela a seguir retorna estatísticas de consultar para consultas de modificação de dados:

• sys_identity: Retorna informações sobre operações em lote ou atualizações únicas.

Sys_catalogs¶

Lista os bancos de dados disponíveis.

A consultar a seguir recupera todos os bancos de dados determinados pela string de conexão:

SELECT * FROM sys_catalogs

Colunas¶

Sys_schemas¶

Lista os esquemas disponíveis.

A consultar a seguir recupera todos os esquemas disponíveis:

SELECT * FROM sys_schemas

Colunas¶

Sys_tables¶

Lista as tabelas disponíveis.

A consultar a seguir recupera as tabelas e exibições disponíveis:

SELECT * FROM sys_tables

Colunas¶

Sys_tablecolumns¶

Descreve as colunas das tabelas e exibições disponíveis.

A consultar a seguir retorna as colunas e os tipos de dados da tabela [AwsDataCatalog].[sampledb].Customers:

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='Customers' AND CatalogName='AwsDataCatalog' AND SchemaName='sampledb'

Colunas¶

Sys_procedures¶

Lista os procedimentos armazenados disponíveis.

A consultar a seguir recupera os procedimentos armazenados disponíveis:

SELECT * FROM sys_procedures

Colunas¶

Sys_procedureparameters¶

Descreve procedimento armazenado* parâmetros.

A consultar a seguir retorna informações sobre todos os parâmetros de entrada para o procedimento armazenado SelectEntries:

SELECT * FROM sys_procedureparameters WHERE ProcedureName='SelectEntries' AND Direction=1 OR Direction=2

Colunas¶

Sys_keycolumns¶

Descreve as chaves primárias e estrangeiras. A consultar a seguir recupera a chave primária da tabela [AwsDataCatalog].[sampledb].Customers:

SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='Customers' AND CatalogName='AwsDataCatalog' AND SchemaName='sampledb'

Colunas¶

Sys_foreignkeys¶

Descreve as chaves estrangeiras. A consultar a seguir recupera todas as chaves estrangeiras que se referem a outras tabelas:

SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'

Colunas¶

Sys_indexes¶

Descreve os índices disponíveis. Ao filtrar por índices, você pode escrever consultas mais seletivas com tempos de resposta de consultar mais rápidos.

A consultar a seguir recupera todos os índices que não são chaves primárias:

SELECT * FROM sys_indexes WHERE IsPrimary='false'

Colunas¶

Sys_connection_props¶

Retorna informações sobre as propriedades de conexão disponíveis e as definidas na string de conexão.

Ao consultar esta tabela, a string de conexão de configuração deve ser usada:

jdbc:cdata:amazonathena:config:

Esta string de conexão permite que você consultar esta tabela sem uma conexão válida.

A consultar a seguir recupera todas as propriedades de conexão que foram definidas na string de conexão ou definidas por meio de um valor padrão:

SELECT * FROM sys_connection_props WHERE Value <> ''

Colunas¶

Sys_sqlinfo¶

Descreve o processamento da consultar SELECT que o conector pode transferir para a fonte de dados.

Processamento de Consultas Colaborativas¶

Ao trabalhar com fontes de dados que não suportam SQL-92, você pode consultar a exibição sys_sqlinfo para determinar os recursos de consultar das APIs subjacentes, expressas na sintaxe SQL.

Descobrindo os Recursos SELECT da Fonte de Dados¶

Abaixo está um exemplo de conjunto de dados de recursos SQL. Alguns aspectos da funcionalidade SELECT são retornados em uma lista separada por vírgulas, se suportados; caso contrário, a coluna contém NO.

A consultar a seguir recupera os operadores que podem ser usados na cláusula WHERE:

SELECT * FROM sys_sqlinfo WHERE Name='SUPPORTED_OPERATORS'

Observe que tabelas individuais podem ter diferentes limitações ou requisitos na cláusula WHERE; consulte o Modelo de Dados para obter mais informações.

Colunas¶

Sys_identity¶

Retorna informações sobre tentativas de modificação.

A consultar a seguir recupera os IDs das linhas modificadas em uma operação em lote:

SELECT * FROM sys_identity

Colunas¶

Propriedades de Configurações Avançadas¶

As propriedades de configurações avançadas são as várias opções que podem ser usadas para estabelecer uma conexão. Esta seção fornece uma lista completa das opções que você pode configurar. Clique nos links para mais detalhes.

Autenticação

Conexão

Autenticação da AWS

SSO

OAuth

SSL

Esquema

Diversos

Autenticação¶

Esta seção fornece uma lista completa de propriedades de autenticação que você pode configurar.

AthenaVPCEndpoint¶

Seu VPC Endpoint Athena. Ele substituirá o endpoint padrão athena.{region}.amazonaws.com.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Seu VPC Endpoint Athena. Ele substituirá o endpoint padrão athena.{region}.amazonaws.com.

S3StagingDirectory¶

Especifica o local que o Amazon Athena usará para armazenar os resultados de uma consultar.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Especifica o local que o Amazon Athena usará para armazenar os resultados de uma consultar. Esta pasta pode ocupar espaço ao longo do tempo e você pode querer limpá-la manualmente se CleanQueryResults não está ativado.

Tipo de Encriptação¶

Especifica a opção de criptografia para resultados de consultar no Athena.

Valores Possíveis¶

None, SSE_S3, SSE_KMS, CSE_KMS

Tipo de Dados¶

string

Valor Padrão¶

"None"

Observações¶

Especifica a opção de criptografia para resultados de consultar no Athena. Essa opção é necessária se você configurou o Amazon Athena para criptografar os resultados da consultar; Definir EncryptionType e EncryptionKey se desejar criptografar o conjunto de resultados armazenado no S3 após a execução da consultar. Observe que definir essas propriedades não criptografar o conjunto de resultados em S3StagingDirectory.

Para criptografar os resultados da consultar do Amazon Athena, siga as etapas a seguir:

1. Navegue até o console do Amazon Athena.
2. Clique em Configurações.
3. Ative a opção Criptografar resultados da consulta.
4. Selecione o tipo de criptografia.
5. Se você selecionou SSE-KMS ou CSE-KMS, selecione uma chave de criptografia no menu ou clique em Criar chave KMS. Definir Chave de Criptografia além de EncryptionType quando você se conectar.

Chave de Encriptação¶

Especifica a chave de criptografia ao criptografar os resultados armazenados no S3.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Especifica a chave de criptografia ao criptografar os resultados armazenados no S3. Esta opção é necessária se o EncryptionType é definido como SSE_KMS ou CSE_KMS.

Defina Tipo de Criptografia e EncryptionKey se você quiser criptografar o conjunto de resultados armazenado no S3 após a execução da consultar. Observe que isso não criptografar o conjunto de resultados em S3StagingDirectory.

Habilitando Criptografia¶

Para habilitar a criptografia de resultados armazenados no S3, consulte Ajuste fino de acesso a dados.

Obtendo uma Chave de Criptografia¶

Você pode criar uma chave ao habilitar a criptografia. Ou crie uma chave no console do IAM: Clique em Chaves de criptografia, selecione uma região e clique em Criar chave. Para obter a chave, faça login no console de gerenciamento da AWS e clique em Serviços -> IAM -> Chaves de criptografia -> Criar chave.

Base de Dados¶

O nome do banco de dados Athena.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O banco de dados ao qual se conectar ao consultar o Athena; se não for definido, o banco de dados padrão definido no Amazon Athena será usado.

Fonte de Dados¶

O nome da fonte de dados do Athena.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A fonte de dados à qual se conectar ao consultar o Athena; se não for definido, a fonte de dados padrão, AwsDataCatalog, definida no Amazon Athena será usada.

Conexão¶

Esta seção fornece uma lista completa de propriedades de conexão que você pode configurar.

CrossAccountId¶

O ID da conta a ser usado ao recuperar metadados do Glue. O padrão é o ID da conta atual.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Quando a propriedade MetadataDiscoveryMethod foi definido como 'Glue', o usuário poderá especificar um ID de conta cruzada ao qual ele tem permissão para acessar, e essa conta será usada para recuperar metadados. Veja mais informações aqui: https://docs.aws.amazon.com/glue/latest/dg/cross-account-access.html

SimpleUploadLimit¶

Essa configuração especifica o limite, em bytes, acima do qual o provedor escolherá executar um upload em várias partes em vez de fazer upload de tudo em uma solicitação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Essa configuração especifica o limite, em bytes, acima do qual o conector escolherá executar um upload de várias partes em vez de fazer upload de tudo em uma solicitação.

Autenticação da AWS¶

Esta seção fornece uma lista completa de propriedades de autenticação da AWS que você pode configurar.

AuthScheme¶

O esquema usado para autenticação. As entradas aceitas são: Auto,, AwsRootKeys, AwsIAMRoles, AwsEC2Roles, AwsMFA, ADFS, Okta, PingFederate, AwsCredentialsFile, AwsCognitoBasic, AwsCognitoSrp.

Valores Possíveis¶

Auto, ADFS, AwsRootKeys, AwsIAMRoles, AwsEC2Roles, AwsMFA, AwsCredentialsFile, Okta, TemporaryCredentials, PingFederate, AwsCognitoBasic, AwsCognitoSrp, AzureAD

Tipo de Dados¶

string

Valor Padrão¶

"Auto"

Observações¶

Use as seguintes opções para selecionar seu esquema de autenticação:

• Automático: defina para que o conector tente resolver automaticamente o esquema de autenticação adequado a ser usado com base nas outras propriedades de conexão especificadas.
• TemporaryCredentials: defina isso para aproveitar as credenciais de segurança temporárias junto com um token de sessão para se conectar.
• AwsRootKeys: defina isso para usar a chave de acesso e o segredo do usuário root. Útil para testes rápidos, mas os casos de uso de produção são encorajados a usar algo com permissões restritas.
• AwsIAMRoles: definido para usar funções IAM para a conexão.
• AwsEC2Roles: defina isso para usar automaticamente as funções IAM atribuídas à máquina EC2 em que o conector Jitterbit para Amazon Athena está sendo executado no momento.
• AwsMFA: definido para usar a autenticação multifator.
• Okta: Defina para usar uma conexão de logon único com OKTA como o provedor de identidade.
• ADFS: definido para usar uma conexão de logon único com ADFS como o provedor de identidade.
• PingFederate: definido para usar uma conexão de logon único com PingFederate como o provedor de identidade.
• AwsCredentialsFile: definido para usar um arquivo de credencial para autenticação.
• AwsCognitoSrp: definido para usar a autenticação baseada em Cognito. Isso é recomendado sobre AwsCognitoBasic porque essa opção NÃO envia a senha ao servidor para autenticação, em vez disso, usa o protocolo SRP.
• AwsCognitoBasic: definido para usar a autenticação baseada em Cognito.

AWSAccessKey¶

Sua chave de acesso da conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Sua chave de acesso da conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS:

1. Faça login no console de gerenciamento da AWS com as credenciais de sua conta root.
2. Selecione o nome ou número da sua conta e selecione Minhas credenciais de segurança no menu exibido.
3. Clique em Continuar para credenciais de segurança e expanda a seção Chaves de acesso para gerenciar ou criar chaves de acesso de conta raiz.

AWSSecretKey¶

A chave secreta da sua conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A chave secreta da sua conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS:

1. Faça login no console de gerenciamento da AWS com as credenciais de sua conta root.
2. Selecione o nome ou número da sua conta e selecione Minhas credenciais de segurança no menu exibido.
3. Clique em Continuar para credenciais de segurança e expanda a seção Chaves de acesso para gerenciar ou criar chaves de acesso de conta raiz.

AWSRoleARN¶

O nome de recurso da Amazon da papel a ser usada durante a autenticação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Ao autenticar fora da AWS, é comum usar uma função para autenticação em vez de suas credenciais diretas da conta da AWS. Entrando no AWSRoleARN fará com que o conector Jitterbit para Amazon Athena execute uma autenticação baseada em papel em vez de usar a AWSAccessKey e AWSSecretKey diretamente. A AWSAccessKey e AWSSecretKey ainda deve ser especificado para executar esta autenticação. Você não pode usar as credenciais de um usuário raiz da AWS ao definir RoleARN. A AWSAccessKey e AWSSecretKey devem ser de um usuário do IAM.

AWSPrincipalARN¶

O ARN do provedor de identidade SAML em sua conta da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O ARN do provedor de identidade SAML em sua conta da AWS.

AWSRegion¶

A região de hospedagem do seu Amazon Web Services.

Valores Possíveis¶

OHIO, NORTHERNVIRGINIA, NORTHERNCALIFORNIA, OREGON, CAPETOWN, HONGKONG, MUMBAI, OSAKA, SEOUL, SINGAPORE, SYDNEY, TOKYO, CENTRAL, BEIJING, NINGXIA, FRANKFURT, IRELAND, LONDON, MILAN, PARIS, STOCKHOLM, BAHRAIN, SAOPAULO, GOVCLOUDEAST, GOVCLOUDWEST

Tipo de Dados¶

string

Valor Padrão¶

"NORTHERNVIRGINIA"

Observações¶

A região de hospedagem do seu Amazon Web Services. Os valores disponíveis são Ohio, NorthernVirginia, NorthernCalifornia, Oregon, Capetown, Hong Kong, Mumbai, Osaka, Seul, Cingapura, Sydney, Tóquio, Central, Pequim, Ningxia, Frankfurt, Ireland, Londres, Milan, Paris, Stockholm, Bahrain, SAUL, SALFURT, SALAND, SALAN, MILAN, GOLAN, PARIS, BAHRAIN, e GOVCLOUDWEST.

AWSCredentialsFile¶

O caminho para o arquivo de credenciais da AWS a ser usado para autenticação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O caminho para o arquivo de credenciais da AWS a ser usado para autenticação. Ver https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html Para maiores informações.

AWSCredentialsFileProfile¶

O nome do perfil a ser usado do AWSCredentialsFile fornecido.

Tipo de Dados¶

string

Valor Padrão¶

"default"

Observações¶

O nome do perfil a ser usado do AWSCredentialsFile fornecido. Ver https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html Para maiores informações.

AWSSessionToken¶

Seu token de sessão da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Seu token de sessão da AWS. Esse valor pode ser recuperado de diferentes maneiras. Veja este link para mais informações.

AWSExternalId¶

Um identificador exclusivo que pode ser necessário quando você assume uma papel em outra conta.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Um identificador exclusivo que pode ser necessário quando você assume uma papel em outra conta.

MFASerialNumber¶

O número de série do dispositivo MFA, se estiver sendo usado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar o dispositivo de um usuário do IAM acessando o Management Console da AWS e visualizando as credenciais de segurança do usuário. Para dispositivos virtuais, na verdade, é um nome de recurso da Amazon (como arn:aws:iam:123456789012:mfa/user).

MFAToken¶

O token temporário disponível em seu dispositivo MFA.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se o MFA for necessário, esse valor será usado junto com o MFASerialNumber para recuperar credenciais temporárias para fazer login. As credenciais temporárias disponíveis na AWS duram apenas 1 hora por padrão (consulte TemporaryTokenDuration). Uma vez esgotado o tempo, a conexão deve ser atualizada para especificar um novo token MFA para que novas credenciais possam ser obtidas.

TemporaryTokenDuration¶

A quantidade de tempo (em segundos) que um token temporário durará.

Tipo de Dados¶

string

Valor Padrão¶

"3600"

Observações¶

Tokens temporários são usados com MFA e autenticação baseada em função. Os tokens temporários acabarão por expirar, momento em que um novo token temporário deve ser obtido. Para situações em que o MFA não é usado, isso não é grande coisa. O conector Jitterbit para Amazon Athena solicitará internamente um novo token temporário assim que o token temporário expirar.

No entanto, para conexão MFA necessária, um novo MFAToken deve ser especificado na conexão para recuperar um novo token temporário. Este é um problema mais intrusivo, pois requer uma atualização da conexão por parte do usuário. O máximo e o mínimo que podem ser especificados dependerão muito da conexão que está sendo usada.

Para autenticação baseada em função, a duração mínima é de 900 segundos (15 minutos), enquanto a máxima é de 3600 (1 hora). Mesmo que o MFA seja usado com autenticação baseada em papel, 3600 ainda é o máximo.

Para autenticação MFA por si só (usando um usuário IAM ou usuário root), o mínimo é 900 segundos (15 minutos), o máximo é 129600 (36 horas).

AWSCognitoRegion¶

A região de hospedagem do AWS Cognito.

Valores Possíveis¶

OHIO, NORTHERNVIRGINIA, NORTHERNCALIFORNIA, OREGON, CAPETOWN, HONGKONG, MUMBAI, OSAKA, SEOUL, SINGAPORE, SYDNEY, TOKYO, CENTRAL, BEIJING, NINGXIA, FRANKFURT, IRELAND, LONDON, MILAN, PARIS, STOCKHOLM, BAHRAIN, SAOPAULO, GOVCLOUDEAST, GOVCLOUDWEST

Tipo de Dados¶

string

Valor Padrão¶

"NORTHERNVIRGINIA"

Observações¶

A região de hospedagem do AWS Cognito. Os valores disponíveis são Ohio, NorthernVirginia, NorthernCalifornia, Oregon, Capetown, Hong Kong, Mumbai, Osaka, Seul, Cingapura, Sydney, Tóquio, Central, Pequim, Ningxia, Frankfurt, Ireland, Londres, Milan, Paris, Stockholm, Bahrain, SAUL, SALFURT, SALAND, SALAN, MILAN, GOLAN, PARIS, BAHRAIN, e GOVCLOUDWEST.

AWSUserPoolId¶

A ID do grupo de usuários.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar isso em AWS Cognito -> Gerenciar grupos de usuários -> selecione seu grupo de usuários -> Configurações gerais -> Identificação do pool.

AWSUserPoolClientAppId¶

A ID do aplicativo do cliente do grupo de usuários.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar isso em AWS Cognito -> Gerenciar pools de identidades -> selecione seu grupo de usuários -> Configurações gerais -> Clientes de aplicativos -> ID do cliente do aplicativo.

AWSUserPoolClientAppSecret¶

Opcional. O segredo do aplicativo do cliente do grupo de usuários.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar isso em AWS Cognito -> Gerenciar pools de identidades -> selecione seu grupo de usuários -> Configurações gerais -> Clientes de aplicativos -> Segredo do cliente do aplicativo.

AWSIdentityPoolId¶

O ID do pool de identidades.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar isso em AWS Cognito -> Gerenciar pools de identidades -> selecione seu grupo de identidades -> Editar grupo de identidades -> ID do conjunto de identidades

SSO¶

Esta seção fornece uma lista completa de propriedades SSO que você pode configurar.

Do Utilizador¶

O usuário IDP usado para autenticar o IDP via SSO.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Juntamente com Senha, esse campo é usado para autenticação em conexões SSO no servidor Amazon Athena.

Senha¶

A senha usada para autenticar o usuário IDP via SSO.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O usuário e Password são usados juntos em conexões SSO para autenticação com o servidor.

SSOLoginURL¶

A URL de login do provedor de identidade.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL de login do provedor de identidade.

Propriedades SSO¶

Propriedades adicionais necessárias para se conectar ao provedor de identidade em uma lista separada por ponto e vírgula.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Propriedades adicionais necessárias para se conectar ao provedor de identidade em uma lista separada por ponto e vírgula. SSOProperties é usado em conjunto com o AWSRoleARN e AWSPrincipalARN. A seção a seguir fornece um exemplo usando o provedor de identidade OKTA.

Autenticação com ADFS¶

Defina o AuthScheme para ADFS. As seguintes propriedades de conexão precisam ser definidas:

• Do utilizador: Defina isso para o usuário ADFS.
• Senha: Defina isso como a senha do ADFS para o usuário.
• SSOLoginURL: Defina isso para a URL de login usada pelo provedor SSO.

Abaixo está um exemplo de string de conexão:

AuthScheme=ADFS; AWSRegion=Ireland; Database=sampledb; User=user@cdata.com; Password=CH8WerW121235647iCa6; SSOLoginURL='https://adfs.domain.com'; AWSRoleArn=arn:aws:iam:1234:role/ADFS_SSO; AWSPrincipalArn=arn:aws:iam:1234:saml-provider/ADFSProvider; S3StagingDirectory=s3://athena/staging;

ADFS Integrado¶

O fluxo integrado do ADFS indica que você está se conectando com o currently logged in Windows user credentials. Para usar o fluxo integrado do ADFS, simplesmente não especifique o Usuário e senha, caso contrário, siga as mesmas etapas no guia ADFS acima.

Autenticação com Okta¶

Defina o AuthScheme para Okta. As seguintes propriedades de conexão são usadas para se conectar ao Okta:

• Do utilizador: Defina isso para o usuário Okta.
• Senha: Defina isso como senha do Okta para o usuário.
• SSOLoginURL: Defina isso para a URL de login usada pelo provedor SSO.

A seguir SSOProperties são necessários para autenticar no Okta:

• APIToken (opcional): defina como o API Token que o cliente criou a partir da organização Okta. Ele deve ser usado ao autenticar um usuário por meio de um aplicativo ou proxy confiável que substitui o contexto de solicitação do cliente OKTA.
• MFAType (opcional): Defina isso apenas caso você tenha configurado o fluxo de MFA. Atualmente suportamos apenas os seguintes tipos: OktaVerify, E-mail e SMS.
• MFAPassCode (opcional): Defina isso apenas caso você tenha configurado o fluxo de MFA. Se estiver definido como vazio/inválido, o driver emitirá inicialmente um desafio de MFA que acionará a plataforma para enviar a você uma senha de uso único em seu dispositivo ou e-mail, com base no tipo de MFA configurado. Você precisa reemitir outra conexão em que o valor da senha única recuperada é passado para a propriedade de conexão MFAPassCode.

Veja a seguir um exemplo de string de conexão:

AuthScheme=Okta; AWSRegion=Ireland; Database=sampledb; User=user@cdata.com; Password=CH8WerW121235647iCa6; SSOLoginURL='https://cdata-us.okta.com/home/amazon_aws/0oa35m8arsAL5f5NrE6NdA356/272'; SSOProperties='ApiToken=01230GGG2ceAnm_tPAf4MhiMELXZ0L0N1pAYrO1VR-hGQSf;'; AWSRoleArn=arn:aws:iam:1234:role/Okta_SSO; AWSPrincipalARN=arn:aws:iam:1234:saml-provider/OktaProvider; S3StagingDirectory=s3://athena/staging;

SSOExchangeUrl¶

A URL usada para consumir a resposta SAML e trocá-la com credenciais específicas do Amazon Athena.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O conector Jitterbit para Amazon Athena usará a URL especificada aqui para consumir uma resposta SAML e recuperar credenciais específicas do Amazon Athena. As credenciais recuperadas são a peça final durante a conexão SSO usada para se comunicar com o Amazon Athena.

OAuth¶

Esta seção fornece uma lista completa de propriedades OAuth que você pode configurar.

InitiateOAuth¶

Configure esta propriedade para iniciar o processo para obter ou atualizar o token de acesso OAuth ao se conectar.

Valores Possíveis¶

OFF, GETANDREFRESH, REFRESH

Tipo de Dados¶

string

Valor Padrão¶

"OFF"

Observações¶

As seguintes opções estão disponíveis:

1. OFF: Indica que o fluxo OAuth será tratado inteiramente pelo usuário. Um OAuthAccessToken será necessário para autenticação.
2. GETANDREFRESH: Indica que todo o fluxo OAuth será tratado pelo conector. Se nenhum token existir atualmente, ele será obtido solicitando ao usuário por meio do navegador. Se existir um token, ele será atualizado quando aplicável.
3. REFRESH: Indica que o conector tratará apenas da atualização do OAuthAccessToken. O usuário nunca será solicitado pelo conector a autenticar por meio do navegador. O usuário deve manipular a obtenção do OAuthAccessToken e OAuthRefreshToken inicialmente.

OAuthClientId¶

O ID do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId valor, às vezes também chamado de chave do consumidor e segredo do cliente, o OAuthClientSecret.

OAuthClientSecret¶

O segredo do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId, também chamada de chave do consumidor. Você também receberá um segredo do cliente, também chamado de segredo do consumidor. Defina o segredo do cliente no OAuthClientSecret propriedade.

OAuthAccessToken¶

O token de acesso para conexão usando OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O OAuthAccessToken propriedade é usada para conectar usando OAuth. O OAuthAccessToken é recuperado do servidor OAuth como parte do processo de autenticação. Ele tem um tempo limite dependente do servidor e pode ser reutilizado entre as solicitações.

O token de acesso é usado no lugar do seu nome de usuário e senha. O token de acesso protege suas credenciais, mantendo-as no servidor.

URL de Retorno¶

O URL de retorno de chamada OAuth ao qual retornar durante a autenticação. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Durante o processo de autenticação, o servidor de autorização OAuth redireciona o usuário para esta URL. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

OAuthVerifier¶

O código do verificador retornado da URL de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O código do verificador retornado da URL de autorização OAuth. Isso pode ser usado em sistemas em que um navegador não pode ser iniciado, como sistemas headless.

Autenticação em Máquinas Sem Cabeça¶

Consulte para obter o OAuthVerifier valor.

Defina OAuthSettingsLocation juntamente com OAuthVerifier. Quando você conecta, o conector troca o OAuthVerifier para os tokens de autenticação OAuth e os salva, criptografados, no arquivo especificado. Definir InitiateOAuth para GETANDREFRESH automatizar a troca.

Depois que o arquivo de configurações OAuth for gerado, você poderá remover OAuthVerifier nas propriedades de conexão e conecte-se com OAuthSettingsLocation definir.

Para atualizar automaticamente os valores do token OAuth, defina OAuthSettingsLocation e adicionalmente defina InitiateOAuth para ATUALIZAR.

OAuthRefreshToken¶

O token de atualização OAuth para o token de acesso OAuth correspondente.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O OAuthRefreshToken a propriedade é usada para atualizar o OAuthAccessToken ao usar a autenticação OAuth.

OAuthExpiresIn¶

O tempo de vida em segundos do OAuth AccessToken.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Emparelhe com OAuthTokenTimestamp para determinar quando o AccessToken expirará.

OAuthTokenTimestamp¶

O registro de data e hora da época do Unix em milissegundos quando o token de acesso atual foi criado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Emparelhe com OAuthExpiresIn para determinar quando o AccessToken expirará.

SSL¶

Esta seção fornece uma lista completa de propriedades SSL que você pode configurar.

SSLServerCert¶

O certificado a ser aceito do servidor ao conectar usando TLS/SSL.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se estiver usando uma conexão TLS/SSL, esta propriedade pode ser usada para especificar o certificado TLS/SSL a ser aceito do servidor. Qualquer outro certificado que não seja confiável para a máquina é rejeitado.

Esta propriedade pode assumir as seguintes formas:

Se não for especificado, qualquer certificado confiável pela máquina será aceito.

Os certificados são validados como confiáveis pela máquina com base no armazenamento confiável do sistema. O armazenamento confiável usado é o valor 'javax.net.ssl.trustStore' especificado para o sistema. Se nenhum valor for especificado para esta propriedade, o armazenamento confiável padrão do Java será usado (por exemplo, JAVA_HOME\lib\security\cacerts).

Use '*' para indicar a aceitação de todos os certificados. Observe que isso não é recomendado devido a questões de segurança.

Esquema¶

Esta seção fornece uma lista completa de propriedades de esquema que você pode configurar.

Localização¶

Um caminho para o diretório que contém os arquivos de esquema que definem tabelas, exibições e procedimentos armazenados.

Tipo de Dados¶

string

Valor Padrão¶

"%APPDATA%\\\AmazonAthena Data Provider\\Schema"

Observações¶

O caminho para um diretório que contém os arquivos de esquema para o conector (arquivos .rsd para tabelas e exibições, arquivos .rsb para procedimentos armazenados). A localização da pasta pode ser um caminho relativo a partir da localização do executável. O Location a propriedade só é necessária se você quiser personalizar definições (por exemplo, alterar um nome de coluna, ignorar uma coluna e assim por diante) ou estender o modelo de dados com novas tabelas, exibições ou procedimentos armazenados.

Se não for especificado, o local padrão é "%APPDATA%\\AmazonAthena Data Provider\Schema" com %APPDATA% sendo definido para o diretório de configuração do usuário:

Esquemas Navegáveis¶

Essa propriedade restringe os esquemas relatados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar os esquemas de bancos de dados pode ser caro. Fornecer uma lista de esquemas na string de conexão melhora o desempenho.

Tabelas¶

Esta propriedade restringe as tabelas reportadas a um subconjunto das tabelas disponíveis. Por exemplo, Tabelas=TabelaA,TabelaB,TabelaC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar as tabelas de alguns bancos de dados pode ser caro. Fornecer uma lista de tabelas na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitos para trabalhar.

Especifique as tabelas que deseja em uma lista separada por vírgulas. Cada tabela deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Visualizações¶

Restringe as exibições relatadas a um subconjunto das tabelas disponíveis. Por exemplo, Views=ViewA,ViewB,ViewC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar as exibições de alguns bancos de dados pode ser caro. Fornecer uma lista de exibições na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitos para trabalhar.

Especifique as exibições desejadas em uma lista separada por vírgulas. Cada exibição deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Diversos¶

Esta seção fornece uma lista completa de diversas propriedades que você pode configurar.

CleanQueryResults¶

O Amazon Athena produz arquivos de cache com cada consultar, na pasta especificada em S3StagingDirectory. CleanQueryResults especifica se esses arquivos devem ser excluídos assim que a conexão for fechada.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

O Amazon Athena armazena os resultados de cada consultar executada como um arquivo CSV em S3StagingDirectory. Esses arquivos CSV podem rapidamente acumular muito espaço no Amazon S3.

Você pode usar CleanQueryResults, habilitado por padrão, para limpar esses arquivos a cada consultar executada. Observe que esse comportamento adicionará um pequeno impacto no desempenho quando você desconectar a última conexão em um processo.

Veja Também¶

Consulte Ajuste fino de acesso a dados para obter mais informações sobre como configurar o cache de consultar do Athena.

AtivarFIPSMode¶

Um booleano que indica se os URLs FIPS devem ser ativados.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

FIPS ou Federal Information Processing Standard são endpoints separados na Amazon que podem ser necessários para certas organizações governamentais. Definir EnableFIPSMode para true para alternar para o uso desses endpoints. Veja mais informações aqui: https://aws.amazon.com/compliance/fips/.

IncludeTableTypes¶

Se definido como verdadeiro, o provedor consultar os tipos de tabelas individuais.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

Se definido como true, o conector consultar o Athena ou o Glue para obter os tipos de tabelas individuais. MetadataDiscoveryMethod alterna o serviço que será usado para recuperar os tipos.

MaximumColumnSize¶

O tamanho máximo da coluna.

Tipo de Dados¶

int

Valor Padrão¶

255

Observações¶

Algumas ferramentas restringem o maior tamanho de uma coluna ou o tamanho total de todas as colunas selecionadas. Você pode definir o MaximumColumnSize para superar essas restrições baseadas em esquema. O conector não relatará nenhuma coluna maior que MaximumColumnSize.

Defina um MaximumColumnSize de zero para eliminar limites no tamanho da coluna, conforme mostrado no exemplo a seguir:

MaxRows¶

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

Tipo de Dados¶

int

Valor Padrão¶

-1

Observações¶

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

MetadataDiscoveryMethod¶

API a ser usada para recuperar os metadados do Amazon Athena.

Valores Possíveis¶

Glue, Athena

Tipo de Dados¶

string

Valor Padrão¶

"Athena"

Observações¶

API a ser usada para recuperar os metadados do Amazon Athena.

Outro¶

Essas propriedades ocultas são usadas apenas em casos de uso específicos.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

As propriedades listadas abaixo estão disponíveis para casos de uso específicos. Os casos de uso e a funcionalidade normais do driver não devem exigir essas propriedades.

Especifique várias propriedades em uma lista separada por ponto e vírgula.

Integração e Formatação¶

Tamanho da Página¶

O número de resultados a serem retornados por página de dados recuperados do Amazon Athena.

Tipo de Dados¶

string

Valor Padrão¶

"1000"

Observações¶

O número de resultados a serem retornados por página de dados recuperados do Amazon Athena. O valor máximo permitido é 1000. Consulte Ajuste fino de acesso a dados para obter mais informações sobre as configurações dessa propriedade para evitar throttling de solicitação.

PollingInterval¶

Isso determina o intervalo de pesquisa em milissegundos para verificar se o resultado está pronto para ser recuperado.

Tipo de Dados¶

string

Valor Padrão¶

"100"

Observações¶

Esta propriedade determina o tempo de espera entre a verificação se os resultados da consulta estão prontos ou não. Conjuntos de resultados muito grandes ou consultas complexas podem levar mais tempo para serem processadas, e um intervalo de pesquisa baixo pode resultar em muitas solicitações desnecessárias feitas para verificar o status da consultar.

Pseudocolunas¶

Esta propriedade indica se deve ou não incluir pseudocolunas como colunas na tabela.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Essa configuração é particularmente útil no Entity Framework, que não permite definir um valor para uma pseudocoluna, a menos que seja uma coluna de tabela. O valor dessa configuração de conexão está no formato "Table1=Column1, Table1=Column2, Table2=Column3". Você pode usar o caractere "*" para incluir todas as tabelas e todas as colunas; por exemplo, "*=*".

QueryCachingLevel¶

Modifica o uso dos resultados da consultar armazenados em S3StagingDirectory. As consultas em cache não serão verificadas novamente pelo Amazon Athena até que a quantidade de segundos especificada em QueryTolerance tenha passado.

Valores Possíveis¶

None, Local, Cloud

Tipo de Dados¶

string

Valor Padrão¶

"Local"

Observações¶

Modifica o uso dos resultados da consultar armazenados em S3StagingDirectory. As consultas em cache não serão verificadas novamente pelo Amazon Athena até a quantidade de segundos especificada em QueryTolerance passou. As maiúsculas e minúsculas das consultas devem corresponder exatamente para acionar o comportamento, que é explicado abaixo:

QueryPassthrough¶

Essa opção passa a consultar para o servidor Amazon Athena como está.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

Quando isso é definido, as consultas são transmitidas diretamente para o Amazon Athena.

Tempo de Consulta Expirado¶

O tempo limite em segundos para solicitações emitidas pelo provedor para fazer download de grandes conjuntos de resultados.

Tipo de Dados¶

int

Valor Padrão¶

1800

Observações¶

Se o QueryTimeout a propriedade é definida como 0, as operações não terão tempo limite; em vez disso, eles serão executados até serem concluídos com êxito ou encontrarem uma condição de erro. Esta propriedade é diferente de Timeout que se aplica a operações HTTP individuais enquanto QueryTimeout aplica-se ao tempo de execução da operação como um todo.

Se QueryTimeout expira e a solicitação não terminou de ser processada, o conector gera uma condição de erro.

QueryTolerance¶

Especifica a quantidade de tempo em segundos para consultas em cache se QueryCachingLevel não estiver definido como Nenhum.

Tipo de Dados¶

string

Valor Padrão¶

"600"

Observações¶

Especifica a quantidade de tempo em segundos que as consultas serão armazenadas em cache se QueryCachingLevel não está definido como Nenhum. Valores inferiores a 1 não são aceitos.

ShowS3Filepath¶

Se deve ou não expor a coluna _S3Path para as tabelas do Amazon Athena.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

A coluna _S3Path refere-se à coluna $path do Amazon Athena, que retorna o caminho do arquivo Amazon S3 de origem para cada linha na saída.

O conector exporá a coluna _S3Path para cada tabela, somente se esta propriedade de conexão estiver definida como TRUE.

SkipHeaderLineCount¶

Especifica o número de linhas de cabeçalho a serem ignoradas para consultas SELECT.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Especifica o número de linhas de cabeçalho a serem ignoradas para consultas SELECT. Isso é mais comumente usado para tabelas do Athena que apontam para uma fonte de dados CSV. Se a fonte de dados CSV tiver cabeçalhos, defina SkipHeaderLineCount a 1.

Se você tiver usado o AWS Glue para gerar tabelas no Athena, poderá encontrá-lo na propriedade da tabela "skip. cabeçalho.line.count".

Tempo Esgotado¶

O valor em segundos até que o erro de timeout seja lançado, cancelando a operação.

Tipo de Dados¶

int

Valor Padrão¶

60

Observações¶

Se Timeout = 0, as operações não expiram. As operações são executadas até serem concluídas com êxito ou até encontrarem uma condição de erro.

Se Timeout expira e a operação ainda não está concluída, o conector lança uma exceção.

Grupo de Trabalho¶

Grupo de trabalho das consultas executadas.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Grupo de trabalho das consultas executadas.