Detalhes da Conexão do Apache Parquet¶

Introdução¶

Versão do conector

Esta documentação é baseada na versão 21.0.8454 do conector.

Começando¶

Suporte à versão parquet

O conector utiliza a API Apache Parquet V2.0. O conector suporta as seguintes codificações de compactação ao analisar arquivos Parquet: Gzip, Snappy, descompactado.

Visualizando Metadados do Parquet Remoto¶

O Jitterbit Connector for Parquet foi projetado apenas para streaming de Parquet.

Este conteúdo de arquivo transmitido não inclui todos os metadados associados a arquivos Parquet armazenados remotamente, como nome de arquivo e pasta.

Se o acesso aos metadados do arquivo e ao conteúdo real do arquivo for necessário, o Jitterbit Connector for Parquet deve ser usado em conjunto com o (s) driver(s) do sistema de arquivos associado (s) para o serviço em que os arquivos do Parquet são armazenados remotamente.

Os seguintes drivers de sistema de arquivos estão disponíveis:

• AmazonS3
• Box
• Dropbox
• FTP
• GoogleCloudStorage
• IBLCloudObjectStorage
• OneDrive
• SFTP

Consulte a documentação do driver do sistema de arquivos relevante para obter um guia de configuração para conectar-se aos metadados de arquivo Parquet armazenados.

Estabelecendo uma Conexão¶

Conectando-se a Fontes de Dados do Parquet¶

O Jitterbit Connector for Parquet permite conectar-se a recursos locais e remotos do Parquet. Colocou o URI propriedade para o local do recurso Parquet, além de quaisquer outras propriedades necessárias para se conectar à sua fonte de dados.

Conectando-se a Arquivos Locais¶

Colocou o URI para uma pasta contendo arquivos Parquet. Arquivos locais suportam SELECT\INSERT\UPDATE\DELETE.

Abaixo está um exemplo de string de conexão:

URI=C:\folder1\file.parquet;

Você também pode se conectar a vários arquivos Parquet que compartilham o mesmo esquema. Abaixo está um exemplo de string de conexão:

URI=C:\folder; AggregateFiles=True;

Se você preferir expor todos os arquivos Parquet individuais como tabelas, deixe esta propriedade como False.

URI=C:\folder; AggregateFiles=False;

Conectando-se a Arquivos em Nuvem¶

Embora o conector seja capaz de extrair dados de arquivos Parquet hospedados em vários armazenamentos de dados na nuvem, INSERT, UPDATE e DELETE are not supported fora dos arquivos locais neste conector.

Se você precisar de arquivos de nuvem INSERT/UPDATE/DELETE, você pode baixar o conector correspondente para esse hospedar de nuvem (suportado por procedimentos armazenados), fazer alterações com o conector correspondente do arquivo local e, em seguida, carregar o arquivo usando os procedimentos armazenados da fonte de nuvem.

Por exemplo, se você quiser atualizar um arquivo CSV armazenado no SharePoint, poderá usar o procedimento DownloadDocument do conector do SharePoint para baixar o arquivo CSV, atualizar o arquivo CSV local com o conector CSV e usar o procedimento UploadDocument do conector do SharePoint para carregar o arquivo alterado para SharePoint.

Conectando-se ao Amazon S3¶

Colocou o URI para o balde e pasta. Além disso, defina as seguintes propriedades para autenticação:

• AWSAccessKey: Defina como uma chave de acesso do Amazon Web Services (um nome de usuário).
• AWSSecretKey: Defina como uma chave secreta do Amazon Web Services.

Por exemplo:

URI=s3://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO;

Opcionalmente, especifique AWSRegion além disso.

Observação: Também é possível conectar-se a serviços compatíveis com S3 especificando sua base StorageBaseURL. Por exemplo, se StorageBaseURL conn prp é definido como http://s3.%region%.myservice.com e Region é região-1, então vamos gerar URLs de solicitação como https://s3.region-1.myservice.com/bucket/... (ou como https://bucket.s3.region-1.myservice.com/..., se o UseVirtualHosting a propriedade é verdadeira).

Conectando-se ao Oracle Cloud Object Storage¶

Colocou o URI para o balde e pasta. Além disso, defina as seguintes propriedades para autenticação:

• AccessKey: Defina isso como uma chave de acesso à nuvem Oracle.
• SecretKey: Defina isso como uma chave secreta da nuvem Oracle.
• OracleNamespace: Defina isso para um namespace de nuvem Oracle.

Por exemplo:

URI=os://bucket/remotePath/; AccessKey=token1; SecretKey=secret1; OracleNamespace=myNamespace; Region=us-ashburn-1;

Opcionalmente, especifique Region além disso.

Conectando-se ao Wasabi¶

Colocou o URI para o balde e pasta. Além disso, defina as seguintes propriedades para autenticação:

• AccessKey: Defina isso como uma chave de acesso Wasabi (um nome de usuário)
• SecretKey: Defina como uma chave secreta Wasabi.

Opcionalmente, especifique Region além disso.

Por exemplo:

URI=wasabi://bucket1/folder1; AccessKey=token1; SecretKey=secret1; Region=OHIO;

Conectar-se ao Armazenamento de Blobs do Azure¶

Colocou o URI ao nome do seu contêiner e ao nome do blob. Além disso, defina as seguintes propriedades para autenticação:

• AzureStorageAccount: Defina isso para a conta associada ao blob do Azure.
• AzureAccessKey: Defina isso como a chave de acesso associada ao blob do Azure.

Por exemplo:

URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AzureAccessKey=myKey;

Você também pode usar a autenticação OAuth para se conectar ao Armazenamento de Blobs do Azure. Por exemplo:

URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AuthScheme=AzureAD; InitiateOAuth=GETANDREFRESH;

Se você estiver se conectando de uma VM do Azure com permissões para armazenamento de Blob do Azure, basta usar o AzureMSI AuthScheme Por exemplo:

URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AuthScheme=AzureMSI;

Se você deseja autenticar com uma entidade de serviço em vez de um segredo do cliente, também é possível autenticar com um certificado de cliente.

• InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar repetir a troca de OAuth e configurar manualmente o OAuthAccessToken.
• AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
• OAuthGrantType: Defina como CLIENTE.
• OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
• OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
• OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.

Por exemplo:

AuthScheme=AzureServicePrincipal;InitiateOAuth=GETANDREFRESH;OAuthClientId=MyClientId;;AzureTenant=MyAzureTenant;OAuthJWTCert=MyOAuthJWTCert;OAuthJWTCertType=PFXFile

Conectar-se ao Azure Data Lake Store Gen 2¶

Colocou o URI ao nome do sistema de arquivos e o nome da pasta que contata seus arquivos Parquet. Além disso, defina as seguintes propriedades para autenticação:

• AzureStorageAccount: Defina isso para a conta associada ao armazenamento do data lake do Azure.
• AzureAccessKey: Defina isso como a chave de acesso associada ao armazenamento do data lake do Azure.

Por exemplo:

URI=abfs://myfilesystem/folder1; AzureStorageAccount=myAccount; AzureAccessKey=myKey;
URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AzureAccessKey=myKey;

Você também pode usar a autenticação OAuth para se conectar com o Azure Data Lake Store Gen 2. Por exemplo:

URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AuthScheme=AzureAD; InitiateOAuth=GETANDREFRESH;

Se você estiver se conectando de uma VM do Azure com permissões para se conectar ao Azure Data Lake Store Gen 2, basta definir AuthScheme como AzureMSI. Por exemplo:

URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AuthScheme=AzureMSI;

Se você deseja autenticar com uma entidade de serviço em vez de um segredo do cliente, também é possível autenticar com um certificado de cliente.

• InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar a repetição da troca OAuth e definir manualmente o OAuthAccessToken.
• AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
• OAuthGrantType: Defina como CLIENTE.
• OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
• OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
• OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.

Por exemplo:

AuthScheme=AzureServicePrincipal;InitiateOAuth=GETANDREFRESH;OAuthClientId=MyClientId;;AzureTenant=MyAzureTenant;OAuthJWTCert=MyOAuthJWTCert;OAuthJWTCertType=PFXFile

Conectar-se ao Armazenamento de Arquivos do Azure¶

Colocou o URI ao nome do seu compartilhamento de arquivos do Azure e ao nome do recurso. Além disso, defina as seguintes propriedades para autenticação:

• AzureStorageAccount (obrigatório): defina isso para a conta associada ao arquivo do Azure.
• AzureAccessKey: Defina isso para a chave de acesso associada ao arquivo Azure.
• AzureSharedAccessSignature: Defina isso para a assinatura de acesso compartilhado associada ao arquivo Azure.

Por exemplo:

URI=azurefile://fileShare/remotePath/; AzureStorageAccount=myAccount; AzureAccessKey=myAccessKey;

URI=azurefile://fileShare/remotePath/; AzureStorageAccount=myAccount; AzureSharedAccessSignature=mySharedSignature;

Conectando à Box¶

Colocou o URI para o caminho para uma pasta contendo arquivos Parquet. Para autenticar no Box, use o padrão de autenticação OAuth. Consulte Conectando à Box para obter um guia de autenticação.

Por exemplo:

URI=box://folder1; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

Conectando ao Dropbox¶

Colocou o URI para o caminho para uma pasta contendo arquivos Parquet. Para autenticar no Dropbox, use o padrão de autenticação OAuth. Consulte Conectando-se ao Dropbox para obter um guia de autenticação. Você pode autenticar com uma conta de usuário ou uma conta de serviço. No fluxo da conta do usuário, você não precisa definir nenhuma propriedade de conexão para suas credenciais de usuário, conforme mostrado na string de conexão abaixo:

URI=dropbox://folder1; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

Conectando ao Google Drive¶

Colocou o URI para o caminho para o nome do sistema de arquivos e o nome da pasta que contata seus arquivos Parquet. Para acessar arquivos compartilhados, defina SharedWithMe como o nome da pasta que contém seus arquivos do Excel. Por exemplo URI=gdrive://SharedWithMe/remotePath. Para autenticar nas APIs do Google, use o padrão de autenticação OAuth.

Você pode autorizar o conector a se conectar às APIs do Google em nome de usuários individuais ou em nome de um domínio. Consulte Conectando-se ao Google Drive para um guia.

Por exemplo:

URI=gdrive://folder1;InitiateOAuth=GETANDREFRESH;

Conectando-se à Origem do IBM Object Storage¶

Colocou o URI para o balde e pasta. Além disso, defina as seguintes propriedades para autenticação:

• AccessKey: Defina isso como uma chave de acesso IBM (um nome de usuário).
• SecretKey: Defina como uma chave secreta IBM.

Por exemplo:

URI=ibmobjectstorage://bucket1/folder1; AccessKey=token1; SecretKey=secret1; Region=eu-gb;

Opcionalmente, especifique Region além disso.

Também é possível autenticar em sua instância do IBM Object Storage usando OAuth AuthScheme:

• AuthScheme: Defina como OAuth.
• ApiKey: Defina isso para sua chave de API IBM.
• Region: Configure esta propriedade para sua região de instância IBM.

Por exemplo:

URI=ibmobjectstorage://bucket1/folder1; ApiKey=key1; Region=eu-gb; AuthScheme=OAuth; InitiateOAuth=GETANDREFRESH;

Conectando ao HDFS¶

Existem dois métodos de autenticação disponíveis para conexão com a fonte de dados HDFS, Autenticação Anônima e Autenticação por Negociação (Kerberos).

Autenticação Anônima

Em algumas situações, você pode se conectar ao HDFS sem nenhuma propriedade de conexão de autenticação. Para isso, defina o AuthScheme propriedade para None (padrão).

Autenticar usando Kerberos

Quando as credenciais de autenticação são necessárias, você pode usar o Kerberos para autenticação. Consulte Usando Kerberos para obter detalhes sobre como autenticar com Kerberos.

Conectando-se ao SOAP do SharePoint Online¶

Colocou o URI para uma biblioteca de documentos contendo arquivos Parquet. Para autenticar, defina User e Password e StorageBaseURL.

Por exemplo:

URI=sp://Documents/folder1; User=user1; Password=password1; StorageBaseURL=https://subdomain.sharepoint.com;

Observe que este método de conexão pode não funcionar se o StorageBaseURL termina com "-my.sharepoint.com". Você deve usar o onedrive:// esquema ao conectar-se a esses sites porque eles não suportam os componentes do SharePoint que o conector precisa para baixar arquivos.

Conectando-se ao REST do SharePoint Online¶

Colocou o URI para uma biblioteca de documentos contendo arquivos Parquet. StorageBaseURL é opcional. Se não for fornecido, o driver funcionará com a unidade raiz. Para autenticar, use o padrão de autenticação OAuth.

Por exemplo:

URI=sp://Documents/folder1; InitiateOAuth=GETANDREFRESH; StorageBaseURL=https://subdomain.sharepoint.com;

Observe que este método de conexão pode não funcionar se o StorageBaseURL termina com "-my.sharepoint.com". Você deve usar o onedrive:// esquema ao conectar-se a esses sites porque eles não suportam os componentes do SharePoint que o conector precisa para baixar arquivos.

Conectando ao FTP¶

Colocou o URI para o endereço do servidor seguido do caminho para a pasta a ser usada como pasta raiz. Para autenticar, defina User e Password.

Por exemplo:

URI=ftps://localhost:990/folder1; User=user1; Password=password1; 

Conectando-se ao Google Cloud Storage¶

Colocou o URI para o caminho para o nome do sistema de arquivos e o nome da pasta que contata seus arquivos Parquet. Para autenticar nas APIs do Google, forneça um ProjectId.

Por exemplo:

URI=gs://bucket/remotePath/; ProjectId=PROJECT_ID; 

Conectando ao Google Drive¶

O conector facilita os seguintes fluxos de autenticação OAuth:

• O fluxo de consentimento do usuário permite que usuários individuais se conectem aos seus próprios dados.
• O fluxo da conta de serviço permite o acesso a dados de todo o domínio.

Usando uma Conta de Usuário para Se Conectar ao Google¶

Esse fluxo OAuth requer que o usuário autenticado interaja com o Google usando o navegador. O conector facilita isso de várias maneiras, conforme descrito abaixo.

Autenticar no Google¶

Depois de definir InitiateOAuth para GETANDREFRESH, você está pronto para se conectar. Você pode usar InitiateOAuth para evitar repetir a troca OAuth e definir manualmente o OAuthAccessToken propriedade de conexão. Quando você conecta, o conector abre o endpoint OAuth em seu navegador padrão. Faça login e conceda permissões ao aplicativo. O conector então conclui o processo OAuth:

1. Extrai o token de acesso da URL de retorno de chamada e autentica as solicitações.
2. Atualiza o token de acesso quando ele expira.
3. Salva os valores OAuth para serem mantidos nas conexões. Este arquivo pode ser configurado em OAuthSettingsLocation.

Usando uma Conta de Serviço para Se Conectar a Dados de Todo o Domínio¶

Você pode usar uma conta de serviço neste fluxo OAuth para acessar as APIs do Google em nome dos usuários em um domínio. Um administrador de domínio pode delegar acesso em todo o domínio à conta de serviço.

Para concluir o fluxo da conta de serviço, gere uma chave privada no Console de APIs do Google. No fluxo da conta de serviço, o conector troca um JSON Web token (JWT) pelo OAuthAccessToken. A chave privada é necessária para assinar o JWT. O OAuthAccessToken autentica que o conector tem as mesmas permissões concedidas à conta de serviço.

Gerar uma Chave Privada¶

Siga as etapas abaixo para gerar uma chave privada e obter as credenciais para seu aplicativo:

1. Faça login no Console de API do Google.
2. Clique em Criar projeto ou selecione um projeto existente.
3. No API Manager, clique em Credenciais -> Criar credenciais -> Chave da conta de serviço. No menu Conta de serviço, selecione Nova conta de serviço ou selecione uma conta de serviço existente. Na seção Tipo de chave, selecione o tipo de chave P12.
4. Clique em Criar para fazer download do par de chaves. A senha da chave privada é exibida: Defina isso em OAuthJWTCertPassword.
5. Na seção Chaves de conta de serviço na página Credenciais, clique em Gerenciar contas de serviço e defina OAuthJWTIssuer para o endereço e-mail exibido no ID da conta de serviço.
6. Clique em Biblioteca -> API do Google Drive -> Ativar API.
7. Se estiver usando a delegação em todo o domínio, você precisará adicionar os seguintes escopos ao ID do cliente da conta de serviço no Google Admin Console. No Admin Console, vá para Segurança -> Controles de API -> Delegação em todo o domínio -> Gerenciar delegação em todo o domínio. Adicione o ID da conta de serviço e insira os seguintes escopos: https://www.googleapis.com/auth/drive, https://www.googleapis.com/auth/devstorage.read_write

Autenticar com uma Conta de Serviço¶

Depois de definir as seguintes propriedades de conexão, você está pronto para se conectar:

• InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar repetir a troca OAuth e definir manualmente o OAuthAccessToken propriedade de conexão.
• OAuthJWTCertType: Defina como "PFXFILE".
• OAuthJWTCertPassword: Defina isso como a senha do arquivo .p12.
• OAuthJWTCertSubject: Defina como "*" para escolher o primeiro certificado no armazenamento de certificados.
• OAuthJWTIssuer: Defina isso para o endereço e-mail da conta de serviço.
• OAuthJWTCert: Defina como o caminho para o arquivo .p12.
• OAuthJWTSubject: Defina como o endereço e-mail do usuário para quem o aplicativo está solicitando acesso delegado.

Quando você conecta, o conector conclui o fluxo OAuth para uma conta de serviço:

1. Cria e assina o JWT com o conjunto de declarações exigido pelo conector.
2. Troca o JWT pelo token de acesso.
3. Envia o JWT para um novo token de acesso quando o token expira.

Conectando à Box¶

Use o padrão de autenticação OAuth para se conectar ao Parquet. Você pode se conectar com sua conta de usuário ou pode usar uma conta de serviço. O conector facilita esses fluxos OAuth conforme descrito abaixo.

Autenticar com uma Conta de Usuário¶

O fluxo da conta do usuário exige que o usuário autenticado interaja com o Parquet por meio do navegador.

Você pode se conectar sem definir nenhuma propriedade de conexão para suas credenciais de usuário. Depois de definir InitiateOAuth para GETANDREFRESH, você está pronto para se conectar. Quando você se conecta, o conector abre o endpoint OAuth em seu navegador padrão. Faça login e conceda permissões ao aplicativo. O conector então conclui o processo OAuth.

1. Extrai o token de acesso da URL de retorno de chamada e autentica as solicitações.
2. Obtém um novo token de acesso quando o antigo expira.
3. Salva valores OAuth em OAuthSettingsLocation para ser persistido nas conexões.

Observação: o conector já está registrado no Parquet como um aplicativo OAuth e usará automaticamente suas credenciais OAuth incorporadas para se conectar.

Autenticar com uma Conta de Serviço¶

As contas de serviço têm autenticação silenciosa, sem autenticação do usuário no navegador. Você precisa criar um aplicativo OAuth neste fluxo. Você pode se conectar aos dados do Parquet que a conta de serviço tem permissão para acessar.

Depois de definir as seguintes propriedades de conexão, você está pronto para se conectar:

• InitiateOAuth: Defina como GETANDREFRESH.
• OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
• OAuthClientSecret: Defina isso como o segredo do cliente nas configurações do aplicativo.
• OAuthJWTCertType: Defina isso como "PEMKEY_FILE".
• OAuthJWTCert: Defina isso como o caminho para o arquivo .pem que você gerou.
• OAuthJWTCertPassword: Defina isso como a senha do arquivo .pem.
• OAuthJWTCertSubject: Defina como "*" para escolher o primeiro certificado no armazenamento de certificados.
• OAuthJWTSubjectType: Defina como "corporativo" ou "usuário" dependendo do tipo de token que deseja solicitar. Você também precisa definir o valor de Acesso ao aplicativo nas configurações do aplicativo para o tipo de assunto correspondente. O valor padrão dessa propriedade de conexão é "enterprise".
• OAuthJWTSubject: Defina isso para sua ID corporativa se seu tipo de entidade estiver definido como "corporativo" ou sua ID de usuário do aplicativo se seu tipo de entidade estiver definido como "usuário".
• OAuthJWTPublicKeyId: Defina isso como o ID da sua chave pública nas configurações do aplicativo.

Quando você conecta, o conector conclui o fluxo OAuth para uma conta de serviço.

1. Cria e assina o JWT com o conjunto de declarações exigido pelo conector.
2. Troca o JWT pelo token de acesso.
3. Salva valores OAuth em OAuthSettingsLocation para ser persistido nas conexões.
4. Envia o JWT para um novo token de acesso quando o token expira.

Conectando ao Dropbox¶

OAuth requer que o usuário autenticado interaja com o Parquet usando o navegador. O conector facilita isso de várias maneiras, conforme descrito abaixo.

Você pode se conectar sem definir nenhuma propriedade de conexão para suas credenciais de usuário. Depois de definir InitiateOAuth para GETANDREFRESH, você está pronto para se conectar. Quando você se conecta, o conector abre o endpoint OAuth em seu navegador padrão. Faça login e conceda permissões ao aplicativo. O conector então conclui o processo OAuth.

1. Extrai o token de acesso da URL de retorno de chamada e autentica as solicitações.
2. Obtém um novo token de acesso quando o antigo expira.
3. Salva valores OAuth em OAuthSettingsLocation para ser persistido nas conexões.

Observação: o conector já está registrado no Parquet como um aplicativo OAuth e usará automaticamente suas credenciais OAuth incorporadas para se conectar. Se você quiser usar seu próprio aplicativo OAuth personalizado, consulte Criando um aplicativo OAuth personalizado.

Conexões SSO¶

Autenticação com SSO¶

Azure AD¶

Configuração do Azure AD

O tema principal por trás dessa configuração é o fluxo OAuth 2.0 On-Behalf-Of. Requer dois aplicativos do Azure AD:

1. Um aplicativo usado para o processo de logon único para um provedor de serviços específico.

   • Amazon S3: Siga este link para obter instruções detalhadas sobre como criar este aplicativo. Certifique-se de testar a conexão e conseguir fazer login no console da AWS a partir do Azure AD.

     Salve a etapa "Atribuir o usuário de teste do Azure AD" até o provisionamento para poder selecionar as funções da AWS ao atribuir o usuário. 2. Um aplicativo "conector" com permissão user_impersonation no aplicativo SSO criado na etapa anterior. Vá para Azure Active Directory --> Registros de aplicativos e registrar um novo aplicativo. Depois de registrar este aplicativo, você precisa permitir que ele faça chamadas de API para o aplicativo SSO. Vá para a seção de permissões de API do aplicativo que você registrou e clique na caixa "Adicionar uma permissão". Selecione a API do seu aplicativo SSO especificando o nome da API ou ID do aplicativo e adicione a permissão user_impersonation.

Propriedades Comuns do Driver

A seguir SSOProperties são necessários para autenticação no Azure Active Directory e devem ser especificados para cada provedor de serviços.

• Recurso: o URI do ID do aplicativo SSO, listado na seção Visão geral do registro do aplicativo.
• Locatário: a ID do locatário do Azure AD em que os aplicativos estão registrados. Você pode encontrar esse valor usando as instruções encontradas aqui.

Recuperamos a resposta SSO SAML de um fluxo OAuth 2.0 On-Behalf-Of, portanto, as seguintes propriedades de conexão OAuth devem ser especificadas:

• OAuthClientId: O ID do aplicativo do conector, listado na seção Visão geral do registro do aplicativo.
• OAuthClientSecret: O valor do segredo do cliente do aplicativo conector. O Azure AD exibe isso quando você cria um novo segredo do cliente (seção Certificados e segredos).

Amazon S3

Além das propriedades comuns, as seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Amazon S3:

• AuthScheme: Colocou o AuthScheme para AzureAD.
• AWSRoleARN: O ARN da papel IAM. Encontre-o na página Resumo da papel IAM.
• AWSPrincipalARN: O ARN do provedor de identidade. Encontre-o na página de resumo do provedor de identidade.

Veja a seguir um exemplo de string de conexão:

AuthScheme=AzureAD;InitiateOAuth=GETANDREFRESH;OAuthClientId=d593a1d-ad89-4457-872d-8d7443aaa655;OauthClientSecret=g9-oy5D_rl9YEKfN-45~3Wm8FgVa2F;SSOProperties='Tenant=94be7-edb4-4fda-ab12-95bfc22b232f;Resource=https://signin.aws.amazon.com/saml;';AWSRoleARN=arn:aws:iam:2153385180:role/AWS_AzureAD;AWSPrincipalARN=arn:aws:iam:215515180:saml-provider/AzureAD;

OneLogin¶

Configuração OneLogin

Você deve criar um aplicativo usado para o processo de logon único para um provedor específico.

• Sharepoint SOAP: Siga este link para obter instruções detalhadas sobre como criar este aplicativo. Certifique-se de testar a conexão e conseguir fazer login no Office 365 a partir do OneLogin. Make sure you have enabled WS-TRUST in your application otherwise the driver will not be able to connect.

SOAP Sharepoint

As seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Sharepoint SOAP:

• AuthScheme: Colocou o AuthScheme para OneLogin.
• User: O nome de usuário da conta OneLogin.
• Password: A senha da conta OneLogin.
• SSOProperties:
  • Domínio (opcional): Pode ser necessário definir se o domínio configurado no domínio SSO for diferente do domínio do User.

Veja a seguir um exemplo de string de conexão:

AuthScheme='OneLogin';User=test;Password=test;SSOProperties='Domain=test.cdata;';

Okta¶

Configuração Okta

Você deve criar um aplicativo usado para o processo de logon único para um provedor específico.

• Sharepoint SOAP: Siga este link para obter instruções detalhadas sobre como criar este aplicativo e configurar SSO. Certifique-se de testar a conexão e conseguir fazer login no Office 365 a partir do Okta. Make sure you have configured SSO using WS-Federation in your application otherwise the driver will not be able to connect.
• Amazon S3: Siga este link para obter instruções detalhadas sobre como criar este aplicativo e configurar SSO. Certifique-se de testar a conexão e conseguir fazer login na AWS a partir do Okta. Make sure you have configured SSO with SAML 2.0 in your application otherwise the driver will not be able to connect. Certifique-se de que a papel AWS atribuída no aplicativo OKTA tenha acesso ao bucket S3 que você deseja conectar.

SOAP Sharepoint

As seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Sharepoint SOAP:

• AuthScheme: Colocou o AuthScheme para Okta.
• User: O nome de usuário da conta Okta.
• Password: A senha da conta Okta.
• SSOProperties:
  • Domínio (opcional): Pode ser necessário definir se o domínio configurado no domínio SSO for diferente do domínio do User.

Veja a seguir um exemplo de string de conexão:

AuthScheme='Okta';User=test;Password=test;SSOProperties='Domain=test.cdata;';

Amazon S3

As seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Amazon S3:

• AuthScheme: Colocou o AuthScheme para Okta.
• User: O nome de usuário da conta Okta.
• Password: A senha da conta Okta.
• SSOLoginURL: Defina isso para o URL incorporado de seu aplicativo AWS OKTA SSO.
• AWSRoleARN (opcional): o ARN da papel IAM. Encontre-o na página Resumo da papel do IAM.
• AWSPrincipalARN (opcional): O ARN do provedor de identidade. Encontre-o na página de resumo do provedor de identidade.
• SSOProperties:
  • APIToken (opcional): Defina como o API Token que o cliente criou a partir da organização Okta. Ele deve ser usado ao autenticar um usuário por meio de um aplicativo ou proxy confiável que substitui o contexto de solicitação do cliente OKTA.

Veja a seguir um exemplo de string de conexão:

AuthScheme=Okta;User=OktaUser;Password=OktaPassword;SSOLoginURL='https://{subdomain}.okta.com/home/amazon_aws/0oan2hZLgQiy5d6/272';

ADFS¶

Configuração ADFS

Você deve criar um aplicativo usado para o processo de logon único para um provedor específico.

• Sharepoint SOAP: Siga este link para obter instruções detalhadas sobre como configurar o ADFS para Office 365 para Single Sign-On. Certifique-se de testar a conexão e conseguir fazer login no Office 365 a partir do ADFS.
• Amazon S3: Siga este link para obter instruções detalhadas sobre como configurar o ADFS para AWS Single Sign-On. Certifique-se de testar a conexão e conseguir fazer login na AWS a partir do ADFS.

SOAP Sharepoint

As seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Sharepoint SOAP:

• AuthScheme: Colocou o AuthScheme para ADFS.
• User: O nome de usuário da conta ADFS.
• Password: A senha da conta ADFS.
• SSOProperties:
  • Domínio (opcional): Pode ser necessário definir se o domínio configurado no domínio SSO for diferente do domínio do User.

Veja a seguir um exemplo de string de conexão:

AuthScheme='ADFS';User=test;Password=test;SSOProperties='Domain=test.cdata;';

Amazon S3

As seguintes propriedades devem ser especificadas ao se conectar ao provedor de serviços Sharepoint SOAP:

• AuthScheme: Colocou o AuthScheme para ADFS.
• SSOLoginURL: Defina isso para a URL da sua instância do ADFS.
• User: O nome de usuário da conta ADFS.
• Password: A senha da conta ADFS.
• AWSRoleARN (opcional): o ARN da papel IAM. Encontre-o na página Resumo da papel IAM.
• AWSPrincipalARN (opcional): O ARN do provedor de identidade. Encontre-o na página de resumo do provedor de identidade.

Veja a seguir um exemplo de string de conexão:

AuthScheme=ADFS;User=username;Password=password;SSOLoginURL='https://sts.company.com';

ADFS integrado

O fluxo integrado do ADFS indica que você está se conectando com o currently logged in Windows user credentials. Para usar o fluxo integrado do ADFS, simplesmente não especifique o User e Password, mas siga as mesmas etapas no guia ADFS acima.

Acesso a Dados de Ajuste Fino¶

Acesso a Dados de Ajuste Fino¶

Você pode usar as seguintes propriedades para obter mais controle sobre os dados retornados do Parquet:

• PageSize: Usado para especificar o número de linhas a serem buscadas por vez.

Usando Kerberos¶

Esta seção mostra como usar o conector para autenticar no Parquet usando Kerberos.

Autenticação com Kerberos¶

Para autenticar no Parquet usando Kerberos, defina as seguintes propriedades:

• AuthScheme: Defina para NEGOTIATE.
• KerberosKDC: Defina isso como host name or IP Address de sua máquina Kerberos KDC.
• KerberosRealm: Defina para the realm of the Parquet Kerberos principal. Este será o valor após o símbolo '@' (por exemplo, EXAMPLE.COM) do principal value (por exemplo, ServiceName/MyHost@EXAMPLE.COM).
• KerberosSPN: Defina isso como service and host of the Parquet Kerberos Principal. Este será o valor antes do símbolo '@' (por exemplo, ServiceName/MyHost) do principal value (por exemplo, ServiceName/MyHost@EXAMPLE.COM).

Recupere o Tíquete Kerberos¶

Você pode usar uma das opções a seguir para recuperar o tíquete Kerberos necessário.

Arquivo de Cache de Credenciais do MIT Kerberos¶

Esta opção permite que você use o MIT Kerberos Ticket Manager ou o comando kinit para obter tickets. Observe que você não precisa definir o User ou Password propriedades de conexão com esta opção.

1. Certifique-se de ter criado uma variável de ambiente chamada KRB5CCNAME.
2. Defina o KRB5CCNAME variável de ambiente para um caminho apontando para o seu credential cache file (por exemplo, C:\krb_cache\krb5cc_0 ou /tmp/krb5cc_0). Este arquivo será criado ao gerar seu ticket com o MIT Kerberos Ticket Manager.
3. Para obter um ticket, abra o aplicativo MIT Kerberos Ticket Manager, clique em Get Ticket, enter your principal name and password, then click OK. Se for bem-sucedido, as informações do tíquete aparecerão no Kerberos Ticket Manager e agora serão armazenadas no arquivo de cache de credenciais.
4. Agora que o arquivo de cache de credencial foi criado, o conector usará o arquivo de cache para obter o tíquete Kerberos para se conectar ao Parquet.

Como alternativa para definir o KRB5CCNAME variável de ambiente, você pode definir diretamente o caminho do arquivo usando KerberosTicketCache propriedade. Quando definido, o conector usará o arquivo de cache especificado para obter o tíquete Kerberos para se conectar ao Parquet.

Arquivo Keytab¶

Se a variável de ambiente KRB5CCNAME não foi definida, você pode recuperar um tíquete Kerberos usando um Keytab File. Para fazer isso, defina o User propriedade para o nome de usuário desejado e defina o KerberosKeytabFile para um caminho de arquivo apontando para o arquivo keytab associado ao usuário.

Usuário e Senha¶

Se a variável de ambiente KRB5CCNAME e a propriedade KerberosKeytabFile não tiverem sido definidas, você pode recuperar um ticket usando um User and Password combination. Para fazer isso, defina o User e Password propriedades para a combinação de usuário/senha que você usa para autenticar com o Parquet.

Autenticação Cross-Realm¶

Ambientes Kerberos mais complexos podem exigir autenticação cross-realm em que vários realms e servidores KDC são usados (por exemplo, onde um realm/KDC é usado para autenticação do usuário e outro realm/KDC usado para obter o tíquete de serviço).

Em tal ambiente, o KerberosRealm e KerberosKDC as propriedades podem ser definidas com os valores necessários para autenticação do usuário. O KerberosServiceRealm e KerberosServiceKDC as propriedades podem ser definidas com os valores necessários para obter o ticket de serviço.

Modelando Dados de Parquet¶

Nesta seção, mostraremos como controlar os vários esquemas que o conector oferece para preencher a lacuna com SQL relacional e serviços Parquet aninhados. O Jitterbit Connector for Parquet fornece uma maneira gerenciada para você usar as duas técnicas predominantes para lidar com dados Parquet aninhados:

• Analisar a estrutura de dados e construir um modelo relacional com base na hierarquia existente.
• Aprofundamento nas matrizes e objetos aninhados usando achatamento horizontal.

Análise de Dados Hierárquicos

Por padrão, o conector detecta automaticamente as linhas em um documento, para que você não precise conhecer a estrutura dos dados subjacentes para consultar -los com SQL. Colocou o DataModel propriedade para escolher uma configuração básica de como o conector modela matrizes de objetos em tabelas. Colocou o FlattenObjects e FlattenArrays propriedades para configurar como os dados aninhados são mesclados em colunas. Consulte Analisando Dados Hierárquicos para um guia.

Dados Não Tratados¶

Abaixo estão os dados brutos usados ao longo deste capítulo. Os dados incluem entradas de pessoas, os carros que possuem e vários serviços de manutenção realizados nesses carros:

{
  "people": [
    {
      "personal": {
        "age": 20,
        "gender": "M",
        "name": {
          "first": "John",
          "last": "Doe"
        }
      },
      "vehicles": [
        {
          "type": "car",
          "model": "Honda Civic",
          "insurance": {
            "company": "ABC Insurance",
            "policy_num": "12345"
          },
          "maintenance": [
            {
              "date": "07-17-2017",
              "desc": "oil change"
            },
            {
              "date": "01-03-2018",
              "desc": "new tires"
            }
          ]
        },
        {
          "type": "truck",
          "model": "Dodge Ram",
          "insurance": {
            "company": "ABC Insurance",
            "policy_num": "12345"
          },
          "maintenance": [
            {
              "date": "08-27-2017",
              "desc": "new tires"
            },
            {
              "date": "01-08-2018",
              "desc": "oil change"
            }
          ]
        }
      ],
      "source": "internet"
    },
    {
      "personal": {
        "age": 24,
        "gender": "F",
        "name": {
          "first": "Jane",
          "last": "Roberts"
        }
      },
      "vehicles": [
        {
          "type": "car",
          "model": "Toyota Camry",
          "insurance": {
            "company": "Car Insurance",
            "policy_num": "98765"
          },
          "maintenance": [
            {
              "date": "05-11-2017",
              "desc": "tires rotated"
            },
            {
              "date": "11-03-2017",
              "desc": "oil change"
            }
          ]
        },
        {
          "type": "car",
          "model": "Honda Accord",
          "insurance": {
            "company": "Car Insurance",
            "policy_num": "98765"
          },
          "maintenance": [
            {
              "date": "10-07-2017",
              "desc": "new air filter"
            },
            {
              "date": "01-13-2018",
              "desc": "new brakes"
            }
          ]
        }
      ],
      "source": "phone"
    }
  ]
}

Analisando Dados Hierárquicos¶

O conector oferece três configurações básicas para modelar matrizes de objetos como tabelas, descritas nas seções a seguir. O conector analisará o documento e identificará as matrizes de objetos.

• Modelo de documentos achatados: junte implicitamente arrays de objetos aninhados em uma única tabela.
• Modelo Relacional: modele matrizes de objetos como tabelas individuais contendo uma chave primária e uma chave estrangeira vinculada ao documento pai.
• Modelo de documento de nível superior: Modele uma exibição de nível superior de um documento. Matrizes de objetos aninhados são retornadas como strings.

Modelo de Documentos Nivelados¶

Para usuários que simplesmente precisam acessar a totalidade de seus dados do Parquet, compactar os dados em uma única tabela é a melhor opção. O conector usará streaming e só analisará os dados uma vez por consultar nesse modo.

Juntando Matrizes de Objetos em uma Única Tabela¶

Com DataModel valores definidos como "FlattenedDocuments" agirão da mesma maneira que um SQL JOIN. Quaisquer valores irmãos aninhados (caminhos filhos na mesma altura) serão tratados como um SQL CROSS JOIN.

Exemplo¶

Abaixo está uma consultar de amostra e os resultados, com base no documento de amostra em Raw Data. Isso implicitamente JOINs a coleção de pessoas com a coleção de veículos e implicitamente JOINs a coleção de veículos com a coleção de manutenção.

Cadeia de Conexão¶

Use a seguinte string de conexão para consultar Raw Data neste exemplo.

URI=C:\people.parquet;DataModel=FlattenedDocuments;

Consulta¶

A consultar a seguir detalha os elementos aninhados em cada objeto de pessoas.

SELECT
  [idade.pessoal] AS age,
  [pessoal.gênero] AS gender,
  [nome.pessoal.primeiro] AS name_first,
  [nome.pessoal.último] AS name_last,
  [source],
  [type],
  [model],
  [companhia de seguros] AS ins_company,
  [insurance.policy_num] AS ins_policy_num,
  [data] AS maint_date,
  [desc] AS maint_desc
FROM
[people]

Resultados¶

Com nivelamento horizontal e vertical com base nos caminhos descritos, cada objeto de veículo é implicitamente associado a seu objeto pai de pessoas e cada objeto de manutenção é implicitamente associado a seu objeto de veículo pai.

Modelo de Documento de Nível Superior¶

O uso de uma exibição de documento de nível superior dos dados fornece acesso imediato aos elementos de nível superior. O conector retorna elementos aninhados agregados, como colunas únicas.

Um aspecto a considerar é o desempenho. Você abre mão do tempo e dos recursos para processar e analisar elementos aninhados -- o conector analisa os dados retornados uma vez, usando streaming para ler os dados. Outra consideração é a sua necessidade de acessar quaisquer dados armazenados em elementos pai aninhados e a capacidade de sua ferramenta ou aplicativo de processar os dados.

Modelando uma Exibição de Documento de Nível Superior¶

Com DataModel definido como "Documento" (o padrão), o conector verifica apenas uma única matriz de objetos, a matriz de objetos de nível superior por padrão. Os elementos de objeto de nível superior estão disponíveis como colunas devido ao nivelamento de objeto padrão. Matrizes de objetos aninhados são retornadas como strings agregadas.

Exemplo¶

Abaixo está uma consultar de amostra e os resultados, com base no documento de amostra em Raw Data. A consultar resulta em uma única tabela "pessoas".

Cadeia de Conexão¶

Colocou o DataModel propriedade de conexão para "Documento" para executar a seguinte consultar e ver o exemplo de conjunto de resultados.

URI=C:\people.parquet;DataModel=Document;

Consulta¶

A consultar a seguir extrai os elementos de objeto de nível superior e a matriz de veículos para os resultados.

SELECT
  [idade.pessoal] AS age,
  [pessoal.gênero] AS gender,
  [nome.pessoal.primeiro] AS name_first,
  [nome.pessoal.último] AS name_last,
  [source],
  [vehicles]
FROM
  [people]

Resultados¶

Com uma exibição de documento dos dados, o objeto pessoal é compactado em 4 colunas e os elementos de origem e veículos são retornados como colunas individuais, resultando em uma tabela com 6 colunas.

Modelo Relacional¶

O Conector Jitterbit para Parquet pode ser configurado para criar um modelo relacional dos dados, tratando matrizes de objetos aninhados como tabelas individuais contendo uma chave primária e uma chave estrangeira vinculada ao documento pai. Isso é particularmente útil se você precisar trabalhar com seus dados em ferramentas existentes de BI, relatórios e ETL que esperam um modelo de dados relacional.

Unindo Arrays Aninhados Como Tabelas¶

Com DataModel definido como "Relacional", quaisquer JOINs são controlados pela consultar. Sempre que você executar uma consultar JOIN, o arquivo ou fonte será consultado uma vez para cada tabela (matriz aninhada) incluída na consultar.

Exemplo¶

Abaixo está um exemplo de consultar em relação ao documento de exemplo em Raw Data, usando um modelo relacional.

Cadeia de Conexão¶

URI=C:\people.parquet;DataModel=Relational;'

Consulta¶

A consultar a seguir junta explicitamente as tabelas de pessoas, veículos e manutenção.

SELECT
  [people].[personal.age] AS age, 
  [people].[personal.gender] AS gender, 
  [people].[personal.name.first] AS first_name, 
  [people].[personal.name.last] AS last_name, 
  [people].[source], 
  [vehicles].[type], 
  [vehicles].[model], 
  [vehicles].[insurance.company] AS ins_company, 
  [vehicles].[insurance.policy_num] AS ins_policy_num, 
  [maintenance].[date] AS maint_date, 
  [maintenance].[desc] AS maint_desc
FROM 
  [people]
JOIN 
  [veículos] 
ON 
  [people].[_id] = [vehicles].[people_id]
JOIN 
  [manutenção] 
ON 
[vehicles].[_id] = [maintenance].[vehicles_id]

Resultados¶

Na consultar de exemplo, cada objeto de manutenção é unido a seu objeto de veículo pai, que é unido a seu objeto de pessoas pai para produzir uma tabela com 8 linhas (2 entradas de manutenção para cada um dos 2 veículos cada para 2 pessoas).

Características Avançadas¶

Esta seção detalha uma seleção de recursos avançados do conector Parquet.

Visualizações definidas pelo usuário

O conector permite definir tabelas virtuais, denominadas visões definidas pelo usuário, cujo conteúdo é decidido por uma consultar pré-configurada. Essas exibições são úteis quando você não pode controlar diretamente as consultas enviadas aos drivers. Consulte Visualizações definidas pelo usuário para obter uma visão geral da criação e configuração de exibições personalizadas.

Configuração SSL

Use Configuração SSL para ajustar como o conector lida com as negociações de certificado TLS/SSL. Você pode escolher entre vários formatos de certificado; Veja o SSLServerCert propriedade em "Opções de cadeia de conexão" para obter mais informações.

Procurador

Para configurar o conector usando configurações de proxy do Agente Privado, selecione os Use Proxy Settings caixa de seleção na tela de configuração da conexão.

Visualizações Definidas pelo Usuário¶

O Jitterbit Connector for Parquet permite definir uma tabela virtual cujo conteúdo é decidido por uma consultar pré-configurada. Elas são chamadas de Visualizações Definidas pelo Usuário, que são úteis em situações onde você não pode controlar diretamente a consultar que está sendo emitida para o driver, por exemplo, ao usar o driver do Jitterbit. As Visualizações Definidas pelo Usuário podem ser usadas para definir predicados que são sempre aplicados. Se você especificar predicados adicionais na consultar para a visualização, eles serão combinados com a consultar já definida como parte da visualização.

Há duas maneiras de criar exibições definidas pelo usuário:

• Crie um arquivo de configuração em formato JSON definindo as visualizações desejadas.
• declarações DDL.

Definindo Visualizações Usando um Arquivo de Configuração¶

As visualizações definidas pelo usuário são definidas em um arquivo de configuração formatado em JSON chamado UserDefinedViews.json. O conector detecta automaticamente as visualizações especificadas neste arquivo.

Você também pode ter várias definições de exibição e controlá-las usando o UserDefinedViews propriedade de conexão. Quando você usa essa propriedade, apenas as exibições especificadas são vistas pelo conector.

Este arquivo de configuração de exibição definida pelo usuário é formatado da seguinte forma:

• Cada elemento raiz define o nome de uma visualização.
• Cada elemento raiz contém um elemento filho, chamado query, que contém a consultar SQL personalizada para a visualização.

Por exemplo:

{
    "MyView": {
        "query": "SELECT * FROM SampleTable_1 WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Use o UserDefinedViews propriedade de conexão para especificar a localização do seu arquivo de configuração JSON. Por exemplo:

"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"

Esquema para Exibições Definidas pelo Usuário¶

As visualizações definidas pelo usuário são expostas no UserViews esquema por padrão. Isso é feito para evitar que o nome da exibição entre em conflito com uma entidade real no modelo de dados. Você pode alterar o nome do esquema usado para UserViews definindo o UserViewsSchemaName propriedade.

Trabalhando com Exibições Definidas pelo Usuário¶

Por exemplo, uma instrução SQL com uma Visualização Definida pelo Usuário chamada UserViews.RCustomers lista apenas clientes em Raleigh:

SELECT * FROM Customers WHERE City = 'Raleigh';

Exemplo de consultar ao driver:

SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';

Resultando na consultar efetiva à fonte:

SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';

Esse é um exemplo muito simples de uma consultar a uma exibição definida pelo usuário que é efetivamente uma combinação da consultar de exibição e da definição de exibição. É possível compor essas consultas em padrões muito mais complexos. Todas as operações SQL são permitidas em ambas as consultas e são combinadas quando apropriado.

Configuração SSL¶

Personalizando a Configuração SSL¶

Por padrão, o conector tenta negociar SSL/TLS verificando o certificado do servidor em relação ao armazenamento de certificados confiáveis do sistema.

Para especificar outro certificado, consulte o SSLServerCert propriedade para os formatos disponíveis para fazê-lo.

Certificados SSL do Cliente¶

O conector Parquet também oferece suporte à configuração de certificados de cliente. Defina o seguinte para se conectar usando um certificado de cliente.

• SSLClientCert: O nome do armazenamento de certificados para o certificado do cliente.
• SSLClientCertType: O tipo de armazenamento de chaves que contém o certificado de cliente TLS/SSL.
• SSLClientCertPassword: A senha para o certificado do cliente TLS/SSL.
• SSLClientCertSubject: O assunto do certificado de cliente TLS/SSL.

Modelo de Dados¶

Visão geral

Esta seção mostra os objetos de API disponíveis e fornece mais informações sobre como executar SQL para APIs do Parquet.

Características principais

• O conector modela entidades Parquet como documentos, pastas e grupos como exibições relacionais, permitindo que você escreva SQL para consultar dados do Parquet.
• Procedimentos armazenados* permitem que você execute operações no Parquet
• A conectividade ao vivo com esses objetos significa que quaisquer alterações em sua conta do Parquet são refletidas imediatamente ao usar o conector.

Processamento de consulta colaborativa

O conector descarrega o máximo possível do processamento da instrução SELECT para Parquet e, em seguida, processa o restante da consultar na memória. As limitações e requisitos da API também estão documentados nesta seção.

Ver SupportEnhancedSQL para obter mais informações sobre como o conector contorna as limitações da API com processamento na memória do lado do cliente.

Procedimentos Armazenados¶

Procedimentos armazenados* estão disponíveis para complementar os dados disponíveis no Modelo de Dados. Pode ser necessário atualizar os dados disponíveis em uma exibição usando um procedimento armazenado* porque os dados não fornecem atualizações bidirecionais diretas, semelhantes a tabelas. Nessas situações, a recuperação dos dados é feita usando a visualização ou tabela apropriada, enquanto a atualização é feita chamando um procedimento armazenado. Procedimentos armazenados* pega uma lista de parâmetros e retorna um conjunto de dados que contém a coleção de tuplas que constituem a resposta.

Conector Jitterbit para Procedimentos Armazenados Parquet¶

GetOAuthAccessToken¶

Obtém o token de acesso OAuth a ser usado para autenticação com fontes de dados usando OAuth.

Entrada¶

Colunas do Conjunto de Resultados¶

GetOAuthAuthorizationURL¶

Obtém a URL de autorização OAuth usada para autenticação com fontes de dados usando OAuth.

Entrada¶

Colunas do Conjunto de Resultados¶

RefreshOAuthAccessToken¶

Troca um token de atualização por um novo token de acesso.

Entrada¶

Colunas do Conjunto de Resultados¶

Tabelas do Sistema¶

Você pode consultar as tabelas do sistema descritas nesta seção para acessar informações de esquema, informações sobre a funcionalidade da fonte de dados e estatísticas de operação em lote.

Tabelas de Esquema¶

As tabelas a seguir retornam metadados do banco de dados para Parquet:

• sys_catalogs: Lista os bancos de dados disponíveis.
• sys_schemas: Lista os esquemas disponíveis.
• sys_tables: Lista as tabelas e exibições disponíveis.
• sys_tablecolumns: Descreve as colunas das tabelas e exibições disponíveis.
• sys_procedures: Descreve os procedimentos armazenados disponíveis.
• sys_procedureparameters: Descreve procedimento armazenado* parâmetros.
• sys_keycolumns: Descreve as chaves primárias e estrangeiras.
• sys_indexes: Descreve os índices disponíveis.

Tabelas de Fonte de Dados¶

As tabelas a seguir retornam informações sobre como se conectar e consultar a fonte de dados:

• sys_connection_props: Retorna informações sobre as propriedades de conexão disponíveis.
• sys_sqlinfo: Descreve as consultas SELECT que o conector pode descarregar para a fonte de dados.

Consultar Tabelas de Informações¶

A tabela a seguir retorna estatísticas de consultar para consultas de modificação de dados, incluindo operações em lote:

• sys_identity: Retorna informações sobre operações em lote ou atualizações únicas.

Sys_catalogs¶

Lista os bancos de dados disponíveis.

A consultar a seguir recupera todos os bancos de dados determinados pela string de conexão:

SELECT * FROM sys_catalogs

Colunas¶

Sys_schemas¶

Lista os esquemas disponíveis.

A consultar a seguir recupera todos os esquemas disponíveis:

SELECT * FROM sys_schemas

Colunas¶

Sys_tables¶

Lista as tabelas disponíveis.

A consultar a seguir recupera as tabelas e exibições disponíveis:

SELECT * FROM sys_tables

Colunas¶

Sys_tablecolumns¶

Descreve as colunas das tabelas e exibições disponíveis.

A consultar a seguir retorna as colunas e os tipos de dados da tabela SampleTable_1:

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='SampleTable_1' 

Colunas¶

Sys_keycolumns¶

Descreve as chaves primárias e estrangeiras. A consultar a seguir recupera a chave primária da tabela SampleTable_1:

SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='SampleTable_1'

Colunas¶

Sys_foreignkeys¶

Descreve as chaves estrangeiras. A consultar a seguir recupera todas as chaves estrangeiras que se referem a outras tabelas:

SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'

Colunas¶

Sys_indexes¶

Descreve os índices disponíveis. Ao filtrar por índices, você pode escrever consultas mais seletivas com tempos de resposta de consultar mais rápidos.

A consultar a seguir recupera todos os índices que não são chaves primárias:

SELECT * FROM sys_indexes WHERE IsPrimary='false'

Colunas¶

Sys_connection_props¶

Retorna informações sobre as propriedades de conexão disponíveis e as definidas na string de conexão.

Ao consultar esta tabela, a string de conexão de configuração deve ser usada:

jdbc:cdata:parquet:config:

Esta string de conexão permite que você consultar esta tabela sem uma conexão válida.

A consultar a seguir recupera todas as propriedades de conexão que foram definidas na string de conexão ou definidas por meio de um valor padrão:

SELECT * FROM sys_connection_props WHERE Value <> ''

Colunas¶

Sys_sqlinfo¶

Descreve o processamento da consultar SELECT que o conector pode transferir para a fonte de dados.

Processamento de Consultas Colaborativas¶

Ao trabalhar com fontes de dados que não suportam SQL-92, você pode consultar a exibição sys_sqlinfo para determinar os recursos de consultar das APIs subjacentes, expressas na sintaxe SQL. O conector transfere o máximo possível do processamento da instrução SELECT para o servidor e, em seguida, processa o restante da consultar na memória.

Descobrindo os Recursos SELECT da Fonte de Dados¶

Abaixo está um exemplo de conjunto de dados de recursos SQL. O conjunto de resultados a seguir indica a funcionalidade SELECT que o conector pode descarregar para a fonte de dados ou processar o lado do cliente. Sua fonte de dados pode suportar sintaxe SQL adicional. Alguns aspectos da funcionalidade SELECT são retornados em uma lista separada por vírgulas, se suportados; caso contrário, a coluna contém NO.

A consultar a seguir recupera os operadores que podem ser usados na cláusula WHERE:

SELECT * FROM sys_sqlinfo WHERE Name='SUPPORTED_OPERATORS'

Observe que tabelas individuais podem ter diferentes limitações ou requisitos na cláusula WHERE; consulte o Modelo de Dados para obter mais informações.

Colunas¶

Sys_identity¶

Retorna informações sobre tentativas de modificação.

A consultar a seguir recupera os IDs das linhas modificadas em uma operação em lote:

SELECT * FROM sys_identity

Colunas¶

Propriedades de Configurações Avançadas¶

As propriedades de configurações avançadas são as várias opções que podem ser usadas para estabelecer uma conexão. Esta seção fornece uma lista completa das opções que você pode configurar. Clique nos links para mais detalhes.

Autenticação

Conexão

Autenticação da AWS

Autenticação do Azure

SSO

OAuth

JWT OAuth

Kerberos

SSL

SSH

Esquema

Diversos

Autenticação¶

Esta seção fornece uma lista completa de propriedades de autenticação que você pode configurar.

AuthScheme¶

O tipo de autenticação a ser usado ao conectar-se a serviços remotos.

Valores Possíveis¶

None, Basic, Auto, Digest, NTLM, Negotiate, OAuth, OAuthJWT, SFTP, FTP, SSLCertificate, AwsRootKeys, AwsIAMRoles, AwsEC2Roles, AwsMFA, AwsTempCredentials, AwsCredentialsFile, AzureAD, AzureServicePrincipal, AzureMSI, OKTA, ADFS, OneLogin, PingFederate, HMAC

Tipo de Dados¶

string

Valor Padrão¶

"None"

Observações¶

Em Geral¶

As seguintes opções estão geralmente disponíveis para todas as conexões:

• Nenhum: Não usa autenticação.
• Básico: Usa autenticação básica com Usuário e senha.
• Auto: determina o tipo certo de autenticação a ser usado com base no serviço. Arquivos locais e HTTP usarão None.

HTTP¶

As seguintes opções estão disponíveis quando URI refere-se a um serviço da web:

• Digest: Usa autenticação HTTP Digest com User e senha.
• NTLM: Usa autenticação NTLM com Usuário e senha definido para suas credenciais do Windows.
• Negociar: negocia com o servidor para determinar um esquema de autenticação. Normalmente usado com Kerberos, que requer KerberosKDC, KerberosRealm e KerberosSPN.
• OAuth: Usa OAuth1 ou OAuth2, com o fluxo específico sendo determinado pelo OAuthGrantType. OAuthVersion deve ser definido para determinar qual versão do OAuth é usada.
• SSL: Usa certificados de cliente SSL para autenticação. Requer que URI seja definido como um URL HTTPS e que SSLClientCert e SSLClientCertType ser definido.

AWS¶

As seguintes opções também estão disponíveis quando URI aponta para um serviço da Amazon:

• AwsRootKeys: defina isso para usar a chave de acesso e o segredo do usuário root. Útil para testes rápidos, mas os casos de uso de produção são encorajados a usar algo com permissões restritas.
• AwsIAMRoles: definido para usar funções IAM para a conexão.
• AwsEC2Roles: defina isso para usar automaticamente as funções IAM atribuídas à máquina EC2 em que o Jitterbit Connector for Parquet está sendo executado no momento.
• AwsMFA: definido para usar a autenticação multifator.
• OKTA: definido para usar uma conexão de logon único com OKTA como o provedor de identificação.
• ADFS: definido para usar uma conexão de logon único com ADFS como o provedor de identificação.
• AzureAD: definido para usar uma conexão de logon único com o AzureAD como o provedor de identificação.
• AwsTempCredentials: defina isso para aproveitar as credenciais de segurança temporárias juntamente com um token de sessão para se conectar.
• AwsCredentialsFile: definido para usar um arquivo de credencial para autenticação.

Azure¶

As seguintes opções também estão disponíveis quando URI aponta para um serviço do Azure:

• AzureAD: defina isso para executar a autenticação OAuth do Azure Active Directory.
• AzureServicePrincipal: defina isso para autenticar como uma Entidade de Serviço do Azure.
• AzureMSI: defina isso para obter automaticamente credenciais de identidade de serviço gerenciado ao executar em uma VM do Azure.

SharePoint¶

As seguintes opções também estão disponíveis quando URI aponta para um serviço SOAP do SharePoint:

• OKTA: definido para usar uma conexão de logon único com OKTA como o provedor de identificação.
• ADFS: definido para usar uma conexão de logon único com ADFS como o provedor de identificação.
• OneLogin: definido para usar uma conexão de logon único com OneLogin como o provedor de identificação.
• PingFederate: definido para usar uma conexão de logon único com PingFederate como o provedor de identificação.

IBM Cloud Object Storage¶

As seguintes opções também estão disponíveis quando URI aponta para um serviço IBM Cloud Object Storage:

• OAuth: Usa OAuth com o fluxo específico sendo determinado pelo InitiateOAuth. Chave API deve ser definido para concluir esse fluxo com êxito.
• HMAC: Usa AccessKey e SecretKey para autenticar no serviço IBM Cloud Object Storage.

Chave de Acesso¶

Sua chave de acesso à conta. Esse valor pode ser acessado na página de credenciais de segurança.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Sua chave de acesso à conta. Esse valor pode ser acessado na página de credenciais de segurança, dependendo do serviço que você está usando.

Chave Secreta¶

A chave secreta da sua conta. Esse valor pode ser acessado na página de credenciais de segurança.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A chave secreta da sua conta. Esse valor pode ser acessado na página de credenciais de segurança, dependendo do serviço que você está usando.

Chave API¶

A chave de API usada para identificar o usuário para o IBM Cloud.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O acesso aos recursos na API REST do Parquet é controlado por uma chave de API para recuperar o token. Uma chave de API pode ser criada navegando para Gerenciar --> Acesso (IAM) --> Usuários e clicando em 'Criar'.

Do Utilizador¶

A conta de usuário do Parquet usada para autenticação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Juntamente com Senha, este campo é usado para autenticação no servidor Parquet.

Senha¶

A senha usada para autenticar o usuário.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O usuário e Password são usados juntos para autenticar com o servidor.

Edição do SharePoint¶

A edição do SharePoint que está sendo usada. Defina SharePointOnline ou SharePointOnPremise.

Valores Possíveis¶

SharePointOnline, SharePointOnPremise

Tipo de Dados¶

string

Valor Padrão¶

"SharePointOnline"

Observações¶

A edição do SharePoint que está sendo usada. Defina SharePointOnline ou SharePointOnPremise.

Conexão¶

Esta seção fornece uma lista completa de propriedades de conexão que você pode configurar.

URI¶

O Uniform Resource Identifier (URI) para o local do recurso Parquet.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Colocou o URI propriedade para especificar um caminho para um arquivo ou fluxo.

Veja os recursos mais avançados disponíveis para analisar e mesclar vários arquivos.

Abaixo estão exemplos de URI formatos para as fontes de dados disponíveis:

Exemplos de Strings de Conexão e Consultas¶

Abaixo estão exemplos de strings de conexão para arquivos ou fluxos do Parquet.

Modelo de Dados¶

Especifica o modelo de dados a ser usado ao analisar documentos Parquet e gerar os metadados do banco de dados.

Valores Possíveis¶

None, Document, FlattenedDocuments, Relational

Tipo de Dados¶

string

Valor Padrão¶

"Document"

Observações¶

O conector divide documentos em linhas com base nos objetos aninhados em matrizes. Selecione uma DataModel configuração para configurar como o conector modela matrizes de objetos aninhados em tabelas.

Selecionando uma Estratégia de Modelagem de Dados¶

A seguir DataModel configurações estão disponíveis.

• Document

  Retorna uma única tabela representando uma linha para cada objeto de nível superior. Neste modelo de dados, quaisquer arrays de objetos aninhados não serão nivelados e serão retornados como agregados.

• FlattenedDocuments

  Retorna uma única tabela representando um SQL CROSS JOIN dos documentos disponíveis no arquivo.

• Relational

  Retorna várias tabelas, uma para cada matriz de objetos aninhados. Neste modelo de dados, quaisquer documentos aninhados (arrays de objetos) serão retornados como tabelas relacionais que contêm uma chave primária e uma chave estrangeira vinculada à tabela pai.

Veja Também¶

• FlattenArrays e FlattenObjects: personalize as colunas que serão identificadas para cada um desses modelos de dados.
• Analisando Dados Hierárquicos: Compare os esquemas resultantes de diferentes DataModel configurações, com consultas de exemplo.

Região¶

A região de hospedagem para seus serviços da Web semelhantes ao S3.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A região de hospedagem para seus serviços da Web semelhantes ao S3.

Regiões do Oracle Cloud Object Storage¶

Regiões Wasabi¶

ProjectId¶

O ID do projeto em que sua instância do Google Cloud Storage reside.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O ID do projeto em que sua instância do Google Cloud Storage reside. Você pode encontrar esse valor acessando o Google Cloud Console e clicando no nome do projeto na parte superior esquerda da tela. O ProjectId é exibido na coluna ID do projeto correspondente.

OracleNamespace¶

O namespace do Oracle Cloud Object Storage a ser usado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O namespace do Oracle Cloud Object Storage a ser usado. Essa configuração deve ser definida para o namespace do Oracle Cloud Object Storage associado à conta do Oracle Cloud antes que qualquer solicitação possa ser feita. Consulte Entendendo os namespaces de armazenamento de objetos da documentação do Oracle Cloud para obter instruções sobre como localizar o namespace do Object Storage da sua conta.

StorageBaseURL¶

A URL de um provedor de serviços de armazenamento em nuvem.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Esta propriedade de conexão é usada para especificar:

• A URL de um serviço S3 personalizado
• A URL necessária para o provedor de serviços de armazenamento em nuvem Sharepoint SOAP/REST. Se o domínio para esta opção terminar em -my (por exemplo, https://bigcorp-my.sharepoint.com) então você pode precisar usar o onedrive:// esquema em vez do sp:// ou sprest:// esquema.

UseVirtualHosting¶

Se true (padrão), os buckets serão referenciados na solicitação usando a solicitação de estilo hospedado: http://yourbucket.s3.amazonaws.com/yourobject. Se definido como falso, o bean usará a solicitação de estilo de caminho: http://s3.amazonaws.com/yourbucket/yourobject. Observe que esta propriedade será definida como false, no caso de um serviço customizado baseado em S3 quando o CustomURL for especificado.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

Se true (padrão), os buckets serão referenciados na solicitação usando a solicitação de estilo hospedado: http://yourbucket.s3.amazonaws.com/yourobject. Se definido como falso, o bean usará a solicitação de estilo de caminho: http://s3.amazonaws.com/yourbucket/yourobject. Observe que esta propriedade será definida como false, no caso de um serviço customizado baseado em S3 quando o CustomURL for especificado.

Autenticação da AWS¶

Esta seção fornece uma lista completa de propriedades de autenticação da AWS que você pode configurar.

AWSAccessKey¶

Sua chave de acesso da conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Sua chave de acesso da conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS:

1. Faça login no console de gerenciamento da AWS com as credenciais de sua conta root.
2. Selecione o nome ou número da sua conta e selecione Minhas credenciais de segurança no menu exibido.
3. Clique em Continuar para credenciais de segurança e expanda a seção Chaves de acesso para gerenciar ou criar chaves de acesso de conta raiz.

AWSSecretKey¶

A chave secreta da sua conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A chave secreta da sua conta da AWS. Esse valor pode ser acessado na página de credenciais de segurança da AWS:

1. Faça login no console de gerenciamento da AWS com as credenciais de sua conta raiz.
2. Selecione o nome ou número da sua conta e selecione Minhas credenciais de segurança no menu exibido.
3. Clique em Continuar para credenciais de segurança e expanda a seção Chaves de acesso para gerenciar ou criar chaves de acesso de conta raiz.

AWSRoleARN¶

O nome de recurso da Amazon da papel a ser usada durante a autenticação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Ao autenticar fora da AWS, é comum usar uma função para autenticação em vez de suas credenciais diretas da conta da AWS. Entrando no AWSRoleARN fará com que o Jitterbit Connector for Parquet execute uma autenticação baseada em papel em vez de usar o AWSAccessKey e AWSSecretKey diretamente. A AWSAccessKey e AWSSecretKey ainda deve ser especificado para executar esta autenticação. Você não pode usar as credenciais de um usuário raiz da AWS ao definir RoleARN. A AWSAccessKey e AWSSecretKey devem ser de um usuário do IAM.

AWSPrincipalARN¶

O ARN do provedor de identidade SAML em sua conta da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O ARN do provedor de identidade SAML em sua conta da AWS.

AWSRegion¶

A região de hospedagem do seu Amazon Web Services.

Valores Possíveis¶

OHIO, NORTHERNVIRGINIA, NORTHERNCALIFORNIA, OREGON, CAPETOWN, HONGKONG, MUMBAI, OSAKA, SEOUL, SINGAPORE, SYDNEY, TOKYO, CENTRAL, BEIJING, NINGXIA, FRANKFURT, IRELAND, LONDON, MILAN, PARIS, STOCKHOLM, BAHRAIN, SAOPAULO, GOVCLOUDEAST, GOVCLOUDWEST

Tipo de Dados¶

string

Valor Padrão¶

"NORTHERNVIRGINIA"

Observações¶

A região de hospedagem do seu Amazon Web Services. Os valores disponíveis são Ohio, NorthernVirginia, NorthernCalifornia, Oregon, Capetown, Hong Kong, Mumbai, Osaka, Seul, Cingapura, Sydney, Tóquio, Central, Pequim, Ningxia, Frankfurt, Ireland, Londres, Milan, Paris, Stockholm, Bahrain, SAUL, SALFURT, SALAND, SALAN, MILAN, GOLAN, PARIS, BAHRAIN, e GOVCLOUDWEST.

AWSSessionToken¶

Seu token de sessão da AWS.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Seu token de sessão da AWS. Esse valor pode ser recuperado de diferentes maneiras. Veja este link para mais informações.

MFASerialNumber¶

O número de série do dispositivo MFA, se estiver sendo usado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Você pode encontrar o dispositivo de um usuário do IAM acessando o Management Console da AWS e visualizando as credenciais de segurança do usuário. Para dispositivos virtuais, na verdade, é um nome de recurso da Amazon (como arn:aws:iam:123456789012:mfa/user).

MFAToken¶

O token temporário disponível em seu dispositivo MFA.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se o MFA for necessário, esse valor será usado junto com o MFASerialNumber para recuperar credenciais temporárias para fazer login. As credenciais temporárias disponíveis na AWS duram apenas 1 hora por padrão (consulte TemporaryTokenDuration). Uma vez esgotado o tempo, a conexão deve ser atualizada para especificar um novo token MFA para que novas credenciais possam ser obtidas. %AWSpSecurityToken; %AWSpTemporaryTokenDuration;

Autenticação do Azure¶

Esta seção fornece uma lista completa das propriedades de autenticação do Azure que você pode configurar.

AzureStorageAccount¶

O nome da sua conta de armazenamento do Azure.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O nome da sua conta de armazenamento do Azure.

AzureAccessKey¶

A chave de armazenamento associada à sua conta Parquet.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A chave de armazenamento associada à sua conta Parquet. Você pode recuperá-lo da seguinte maneira:

1. Entre no portal azure com as credenciais de sua conta raiz. (https://portal.azure.com/)
2. Clique em contas de armazenamento e selecione a conta de armazenamento que deseja usar.
3. Em configurações, clique em Chaves de acesso.
4. O nome e a chave da sua conta de armazenamento serão exibidos nessa página.

AzureSharedAccessSignature¶

Uma assinatura de chave de acesso compartilhado que pode ser usada para autenticação.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Uma assinatura de acesso compartilhado. Você pode criar um seguindo estas etapas:

1. Entre no portal azure com as credenciais de sua conta root. (https://portal.azure.com/)
2. Clique em contas de armazenamento e selecione a conta de armazenamento que deseja usar.
3. Em configurações, clique em Assinatura de acesso compartilhado.
4. Defina as permissões e quando o token expirará
5. Clique em Gerar SAS para copiar o token.

AzureTenant¶

O locatário do Microsoft Online sendo usado para acessar dados. Se não for especificado, seu tentante padrão será usado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O locatário do Microsoft Online sendo usado para acessar dados. Por exemplo, contoso.onmicrosoft.com. Como alternativa, especifique a ID do locatário. Esse valor é a ID do diretório no Portal do Azure > Azure Active Directory > Propriedades.

Normalmente, não é necessário especificar o inquilino. Isso pode ser determinado automaticamente pela Microsoft ao usar o OAuthGrantType definido como CODE (padrão). No entanto, pode falhar caso o usuário pertença a vários locatários. Por exemplo, se um administrador do domínio A convidar um usuário do domínio B para ser um usuário convidado. O usuário agora pertencerá a ambos os locatários. É uma boa prática especificar o inquilino, embora em geral as coisas funcionem normalmente sem precisar especificá-lo.

O AzureTenant é necessário ao definir OAuthGrantType ao CLIENTE. Ao usar credenciais de cliente, não há contexto de usuário. As credenciais são obtidas do contexto do próprio aplicativo. Embora a Microsoft ainda permita que as credenciais do cliente sejam obtidas sem especificar qual locatário, ela tem uma probabilidade muito menor de escolher o locatário específico com o qual deseja trabalhar. Por este motivo, exigimos AzureTenant a ser declarado explicitamente para todas as conexões de credenciais do cliente para garantir que você obtenha credenciais aplicáveis ao domínio ao qual pretende se conectar.

Ambiente Azure¶

O ambiente do Azure a ser usado ao estabelecer uma conexão.

Valores Possíveis¶

GLOBAL, CHINA, GERMANY, USGOVT, USGOVTDOD

Tipo de Dados¶

string

Valor Padrão¶

"GLOBAL"

Observações¶

Na maioria dos casos, deixar o ambiente definido como global funcionará. No entanto, se sua conta do Azure tiver sido adicionada a um ambiente diferente, o AzureEnvironment pode ser usado para especificar qual ambiente. Os valores disponíveis são GLOBAL, CHINA, GERMANY, USGOVT e USGOVTDOD.

SSO¶

Esta seção fornece uma lista completa de propriedades SSO que você pode configurar.

SSOLoginURL¶

A URL de login do provedor de identidade.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL de login do provedor de identidade.

Propriedades SSO¶

Propriedades adicionais necessárias para se conectar ao provedor de identidade em uma lista separada por ponto e vírgula.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Propriedades adicionais necessárias para se conectar ao provedor de identidade em uma lista separada por ponto e vírgula. é usado em conjunto com o SSOLoginURL.

A configuração de SSO é discutida mais adiante em.

OAuth¶

Esta seção fornece uma lista completa de propriedades OAuth que você pode configurar.

InitiateOAuth¶

Configure esta propriedade para iniciar o processo para obter ou atualizar o token de acesso OAuth ao se conectar.

Valores Possíveis¶

OFF, GETANDREFRESH, REFRESH

Tipo de Dados¶

string

Valor Padrão¶

"OFF"

Observações¶

As seguintes opções estão disponíveis:

1. OFF: Indica que o fluxo OAuth será tratado inteiramente pelo usuário. Um OAuthAccessToken será necessário para autenticação.
2. GETANDREFRESH: Indica que todo o fluxo OAuth será tratado pelo conector. Se nenhum token existir atualmente, ele será obtido solicitando ao usuário por meio do navegador. Se existir um token, ele será atualizado quando aplicável.
3. REFRESH: Indica que o conector tratará apenas da atualização do OAuthAccessToken. O usuário nunca será solicitado pelo conector a autenticar por meio do navegador. O usuário deve manipular a obtenção do OAuthAccessToken e OAuthRefreshToken inicialmente.

OAuthVersion¶

A versão do OAuth que está sendo usada.

Valores Possíveis¶

Disabled, 1.0, 2.0

Tipo de Dados¶

string

Valor Padrão¶

"Disabled"

Observações¶

A versão do OAuth que está sendo usada. As seguintes opções estão disponíveis: Desativado,1.0,2.0

OAuthClientId¶

O ID do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId valor, às vezes também chamado de chave do consumidor e segredo do cliente, o OAuthClientSecret.

OAuthClientSecret¶

O segredo do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId, também chamada de chave do consumidor. Você também receberá um segredo do cliente, também chamado de segredo do consumidor. Defina o segredo do cliente no OAuthClientSecret propriedade.

OAuthAccessToken¶

O token de acesso para conexão usando OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O OAuthAccessToken propriedade é usada para conectar usando OAuth. O OAuthAccessToken é recuperado do servidor OAuth como parte do processo de autenticação. Ele tem um tempo limite dependente do servidor e pode ser reutilizado entre as solicitações.

O token de acesso é usado no lugar do seu nome de usuário e senha. O token de acesso protege suas credenciais, mantendo-as no servidor.

OAuthAccessTokenSecret¶

O segredo do token de acesso OAuth para conexão usando OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O OAuthAccessTokenSecret propriedade é usada para conectar e autenticar usando OAuth. O OAuthAccessTokenSecret é recuperado do servidor OAuth como parte do processo de autenticação. É usado com o OAuthAccessToken e pode ser usado para várias solicitações até atingir o tempo limite.

URL de Retorno¶

O URL de retorno de chamada OAuth ao qual retornar durante a autenticação. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Durante o processo de autenticação, o servidor de autorização OAuth redireciona o usuário para esta URL. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

OAuthGrantType¶

O tipo de concessão para o fluxo OAuth.

Valores Possíveis¶

CODE, CLIENT, PASSWORD

Tipo de Dados¶

string

Valor Padrão¶

"CLIENT"

Observações¶

O tipo de concessão para o fluxo OAuth. As seguintes opções estão disponíveis: CÓDIGO, CLIENTE, SENHA

OAuthPasswordGrantMode¶

Como passar ID e Segredo do Cliente com OAuthGrantType definido como Senha.

Valores Possíveis¶

Post, Basic

Tipo de Dados¶

string

Valor Padrão¶

"Post"

Observações¶

O OAuth RFC especifica dois métodos para passar o OAuthClientId e OAuthClientSecret ao usar a senha OAuthGrantType. O mais comumente usado é passá-los por meio de dados de postagem para o serviço. No entanto, alguns serviços podem exigir que você os passe pelo cabeçalho Authorize para serem usados na autorização BASIC. Altere esta propriedade para Básico para enviar os parâmetros como parte do cabeçalho Autorizar em vez dos dados de postagem.

OAuthIncludeCallbackURL¶

Se o URL de retorno de chamada deve ser incluído em uma solicitação de token de acesso.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

O padrão é verdadeiro, pois os serviços OAuth em conformidade com os padrões ignorarão o parâmetro redirect_uri para tipos de concessão como CLIENT ou PASSWORD que não o exigem.

Essa opção só deve ser habilitada para serviços OAuth que relatam erros quando o redirect_uri é incluído.

OAuthAuthorizationURL¶

A URL de autorização para o serviço OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL de autorização para o serviço OAuth. Nessa URL, o usuário efetua login no servidor e concede permissões ao aplicativo. No OAuth 1.0, se as permissões forem concedidas, o token de solicitação será autorizado.

OAuthAccessTokenURL¶

A URL da qual recuperar o token de acesso OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL da qual recuperar o token de acesso OAuth. No OAuth 1.0, o token de solicitação autorizado é trocado pelo token de acesso nessa URL.

OAuthRefreshTokenURL¶

A URL a partir da qual atualizar o token OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL a partir da qual atualizar o token OAuth. No OAuth 2.0, esta URL é onde o token de atualização é trocado por um novo token de acesso quando o antigo token de acesso expira.

OAuthRequestTokenURL¶

A URL que o serviço fornece para recuperar tokens de solicitação. Isso é necessário no OAuth 1.0.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

A URL que o serviço fornece para recuperar tokens de solicitação. Isso é necessário no OAuth 1.0. No OAuth 1.0, este é o URL onde o aplicativo solicita o token de solicitação.

OAuthVerifier¶

O código do verificador retornado da URL de autorização OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O código do verificador retornado da URL de autorização OAuth. Isso pode ser usado em sistemas em que um navegador não pode ser iniciado, como sistemas headless.

Autenticação em Máquinas Sem Cabeça¶

Consulte para obter o OAuthVerifier valor.

Defina OAuthSettingsLocation juntamente com OAuthVerifier. Quando você conecta, o conector troca o OAuthVerifier para os tokens de autenticação OAuth e os salva, criptografados, no arquivo especificado. Definir InitiateOAuth para GETANDREFRESH automatizar a troca.

Depois que o arquivo de configurações OAuth for gerado, você poderá remover OAuthVerifier nas propriedades de conexão e conecte-se com OAuthSettingsLocation definir.

Para atualizar automaticamente os valores do token OAuth, defina OAuthSettingsLocation e adicionalmente defina InitiateOAuth para ATUALIZAR.

AuthToken¶

O token de autenticação usado para solicitar e obter o token de acesso OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Essa propriedade é necessária apenas ao executar a autenticação headless no OAuth 1.0. Ele pode ser obtido do procedimento armazenado GetOAuthAuthorizationUrl.

Ele pode ser fornecido juntamente com a AuthKey no GetOAuthAccessToken procedimento armazenado* para obter o OAuthAccessToken.

Chave de Autenticação¶

O segredo de autenticação usado para solicitar e obter o token de acesso OAuth.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Essa propriedade é necessária apenas ao executar a autenticação headless no OAuth 1.0. Ele pode ser obtido do procedimento armazenado GetOAuthAuthorizationUrl.

Ele pode ser fornecido juntamente com o AuthToken no GetOAuthAccessToken procedimento armazenado* para obter o OAuthAccessToken.

OAuthParams¶

Uma lista separada por vírgulas de outros parâmetros a serem enviados na solicitação para o token de acesso OAuth no formato paramname=value.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Uma lista separada por vírgulas de outros parâmetros a serem enviados na solicitação para o token de acesso OAuth no formato paramname=value.

OAuthRefreshToken¶

O token de atualização OAuth para o token de acesso OAuth correspondente.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O OAuthRefreshToken a propriedade é usada para atualizar o OAuthAccessToken ao usar a autenticação OAuth.

OAuthExpiresIn¶

O tempo de vida em segundos do OAuth AccessToken.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Emparelhe com OAuthTokenTimestamp para determinar quando o AccessToken expirará.

OAuthTokenTimestamp¶

O registro de data e hora da época do Unix em milissegundos quando o token de acesso atual foi criado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Emparelhe com OAuthExpiresIn para determinar quando o AccessToken expirará.

JWT OAuth¶

Esta seção fornece uma lista completa das propriedades JWT OAuth que você pode configurar.

OAuthJWTCert¶

A loja de certificados JWT.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O nome do armazenamento de certificados para o certificado do cliente.

O OAuthJWTCertType campo especifica o tipo de armazenamento de certificado especificado por OAuthJWTCert. Se o armazenamento estiver protegido por senha, especifique a senha em OAuthJWTCertPassword.

OAuthJWTCert é usado em conjunto com o OAuthJWTCertSubject para especificar os certificados do cliente. Se OAuthJWTCert tem um valor e OAuthJWTCertSubject for definido, uma pesquisa por um certificado será iniciada. Consulte OAuthJWTCertSubject para obter detalhes.

As designações de armazenamentos de certificados dependem da plataforma.

A seguir estão as designações dos armazenamentos de certificados de Usuário e Máquina mais comuns no Windows:

Em Java, o armazenamento de certificados normalmente é um arquivo contendo certificados e chaves privadas opcionais.

Quando o tipo de armazenamento de certificado for PFXFile, essa propriedade deverá ser configurada para o nome do arquivo. Quando o tipo é PFXBlob, a propriedade deve ser configurada para o conteúdo binário de um arquivo PFX (ou seja, armazenamento de certificados PKCS12).

OAuthJWTCertType¶

O tipo de armazenamento de chaves que contém o certificado JWT.

Valores Possíveis¶

USER, MACHINE, PFXFILE, PFXBLOB, JKSFILE, JKSBLOB, PEMKEY_FILE, PEMKEY_BLOB, PUBLIC_KEY_FILE, PUBLIC_KEY_BLOB, SSHPUBLIC_KEY_FILE, SSHPUBLIC_KEY_BLOB, P7BFILE, PPKFILE, XMLFILE, XMLBLOB, GOOGLEJSON, GOOGLEJSONBLOB

Tipo de Dados¶

string

Valor Padrão¶

"USER"

Observações¶

Esta propriedade pode assumir um dos seguintes valores:

OAuthJWTCertPassword¶

A senha para o certificado OAuth JWT.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se o armazenamento de certificados for de um tipo que requer uma senha, essa propriedade será usada para especificar essa senha para abrir o armazenamento de certificados.

Isso não é necessário ao usar o GOOGLEJSON OAuthJWTCertType. As chaves JSON do Google não são criptografadas.

OAuthJWTCertSubject¶

O assunto do certificado OAuth JWT.

Tipo de Dados¶

string

Valor Padrão¶

"\*"

Observações¶

Ao carregar um certificado, o assunto é usado para localizar o certificado na loja.

Se uma correspondência exata não for encontrada, a loja é pesquisada em busca de assuntos que contenham o valor da propriedade.

Se uma correspondência ainda não for encontrada, a propriedade será definida como uma string vazia e nenhum certificado será selecionado.

O valor especial "*" seleciona o primeiro certificado no armazenamento de certificados.

O assunto do certificado é uma lista separada por vírgulas de campos e valores de nomes distintos. Por exemplo, "CN=www.server.com, OU=test, C=US, E=support@jitterbit.com". Os campos comuns e seus significados são exibidos abaixo.

Se um valor de campo contiver uma vírgula, ela deverá ser colocada entre aspas.

OAuthJWTIssuer¶

O emissor do Java Web Token.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O emissor do Java Web Token. Normalmente, é o ID do cliente ou o endereço E-mail do aplicativo OAuth.

Isso não é necessário ao usar o GOOGLEJSON OAuthJWTCertType. As chaves JSON do Google contêm uma cópia da conta do emissor.

OAuthJWTSubject¶

O assunto do usuário para o qual o aplicativo está solicitando acesso delegado.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O assunto do usuário para o qual o aplicativo está solicitando acesso delegado. Normalmente, o nome da conta do usuário ou endereço de e-mail.

Kerberos¶

Esta seção fornece uma lista completa das propriedades do Kerberos que você pode configurar.

KerberosKDCName¶

O serviço Kerberos Key Distribution Center (KDC) usado para autenticar o usuário.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

As propriedades Kerberos são usadas ao usar SPNEGO ou Autenticação do Windows. O conector solicitará tíquetes de sessão e chaves de sessão temporárias do serviço Kerberos KDC. O serviço Kerberos KDC é colocado convencionalmente com o controlador de domínio.

Se o Kerberos KDC não for especificado, o conector tentará detectar essas propriedades automaticamente nos seguintes locais:

• KRB5 Config File (krb5.ini/krb5.conf): Se a variável de ambiente KRB5_CONFIG estiver definida e o arquivo existir, o conector obterá o KDC do arquivo especificado. Caso contrário, ele tentará ler a partir do local padrão do MIT com base no sistema operacional: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) ou /etc/krb5.conf (Linux)
• Java System Properties: Usando as propriedades do sistema java.security.krb5.realm e java.security.krb5.kdc.
• Domain Name and Host: O conector inferirá o Kerberos Realm e Kerberos KDC do nome de domínio configurado e do hospedar como último recurso.

Observação: A autenticação do Windows é suportada apenas no JRE 1.6 e superior.

KerberosRealmName¶

O Kerberos Realm usado para autenticar o usuário.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

As propriedades Kerberos são usadas ao usar SPNEGO ou Autenticação do Windows. O Kerberos Realm é usado para autenticar o usuário com o Kerberos Key Distribution Service (KDC). O Kerberos Realm pode ser configurado por um administrador para ser qualquer string, mas convencionalmente é baseado no nome de domínio.

Se Kerberos Realm não for especificado, o conector tentará detectar essas propriedades automaticamente nos seguintes locais:

• KRB5 Config File (krb5.ini/krb5.conf): Se a variável de ambiente KRB5_CONFIG estiver definida e o arquivo existir, o conector obterá o domínio padrão do arquivo especificado. Caso contrário, ele tentará ler a partir do local padrão do MIT com base no sistema operacional: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) ou /etc/krb5.conf (Linux)
• Java System Properties: Usando as propriedades do sistema java.security.krb5.realm e java.security.krb5.kdc.
• Domain Name and Host: O conector inferirá o Kerberos Realm e o Kerberos KDC do nome de domínio configurado pelo usuário e do hospedar como último recurso. Isso pode funcionar em alguns ambientes Windows.

Observação: A autenticação baseada em Kerberos é suportada apenas no JRE 1.6 e superior.

KerberosSPN¶

O nome principal do serviço (SPN) para o controlador de domínio Kerberos.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se o SPN no controlador de domínio Kerberos não for igual ao URL para o qual você está se autenticando, use esta propriedade para definir o SPN.

KerberosKeytabFile¶

O arquivo Keytab contendo seus pares de principais Kerberos e chaves criptografadas.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O arquivo Keytab contendo seus pares de principais Kerberos e chaves criptografadas.

KerberosServiceRealmName¶

A região Kerberos do serviço.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O KerberosServiceRealm é a especificação do domínio Kerberos do serviço ao usar a autenticação Kerberos entre domínios.

Na maioria dos casos, um único domínio e uma máquina KDC são usados para executar a autenticação Kerberos e essa propriedade não é necessária.

Essa propriedade está disponível para configurações complexas em que um domínio e uma máquina KDC diferentes são usados para obter um tíquete de autenticação (solicitação AS) e um tíquete de serviço (solicitação TGS).

KerberosServiceKDC¶

O Kerberos KDC do serviço.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O KerberosServiceKDC é usado para especificar o serviço Kerberos KDC ao usar a autenticação Kerberos cross-realm.

Na maioria dos casos, um único domínio e uma máquina KDC são usados para executar a autenticação Kerberos e essa propriedade não é necessária.

Essa propriedade está disponível para configurações complexas em que um domínio e uma máquina KDC diferentes são usados para obter um tíquete de autenticação (solicitação AS) e um tíquete de serviço (solicitação TGS).

KerberosTicketCache¶

O caminho de arquivo completo para um arquivo de cache de credenciais do MIT Kerberos.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Esta propriedade pode ser configurada se você deseja usar um arquivo de cache de credencial que foi criado usando o MIT Kerberos Ticket Manager ou o comando kinit.

SSL¶

Esta seção fornece uma lista completa de propriedades SSL que você pode configurar.

SSLClientCert¶

O armazenamento de certificados de cliente TLS/SSL para autenticação de cliente SSL (SSL bidirecional).

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O nome do armazenamento de certificados para o certificado do cliente.

O SSLClientCertType campo especifica o tipo de armazenamento de certificado especificado por SSLClientCert. Se o armazenamento estiver protegido por senha, especifique a senha em SSLClientCertPassword.

SSLClientCert é usado em conjunto com o SSLClientCertSubject para especificar os certificados do cliente. Se SSLClientCert tem um valor e SSLClientCertSubject for definido, uma pesquisa por um certificado será iniciada. Consulte SSLClientCertSubject Para maiores informações.

As designações de armazenamentos de certificados dependem da plataforma.

A seguir estão as designações dos armazenamentos de certificados de Usuário e Máquina mais comuns no Windows:

Em Java, o armazenamento de certificados normalmente é um arquivo contendo certificados e chaves privadas opcionais.

Quando o tipo de armazenamento de certificado for PFXFile, essa propriedade deverá ser configurada para o nome do arquivo. Quando o tipo é PFXBlob, a propriedade deve ser configurada para o conteúdo binário de um arquivo PFX (por exemplo, armazenamento de certificados PKCS12).

SSLClientCertType¶

O tipo de armazenamento de chaves que contém o certificado do cliente TLS/SSL.

Valores Possíveis¶

USER, MACHINE, PFXFILE, PFXBLOB, JKSFILE, JKSBLOB, PEMKEY_FILE, PEMKEY_BLOB, PUBLIC_KEY_FILE, PUBLIC_KEY_BLOB, SSHPUBLIC_KEY_FILE, SSHPUBLIC_KEY_BLOB, P7BFILE, PPKFILE, XMLFILE, XMLBLOB

Tipo de Dados¶

string

Valor Padrão¶

"USER"

Observações¶

Esta propriedade pode assumir um dos seguintes valores:

SSLClientCertPassword¶

A senha para o certificado de cliente TLS/SSL.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se o armazenamento de certificados for de um tipo que requer uma senha, essa propriedade será usada para especificar essa senha para abrir o armazenamento de certificados.

SSLClientCertSubject¶

O assunto do certificado de cliente TLS/SSL.

Tipo de Dados¶

string

Valor Padrão¶

"\*"

Observações¶

Ao carregar um certificado, o assunto é usado para localizar o certificado na loja.

Se uma correspondência exata não for encontrada, a loja é pesquisada em busca de assuntos que contenham o valor da propriedade. Se uma correspondência ainda não for encontrada, a propriedade será definida como uma string vazia e nenhum certificado será selecionado.

O valor especial "*" seleciona o primeiro certificado no armazenamento de certificados.

O assunto do certificado é uma lista separada por vírgulas de campos e valores de nomes distintos. Por exemplo, "CN=www.server.com, OU=test, C=US, E=support@company.com". Os campos comuns e seus significados são mostrados abaixo.

Se um valor de campo contiver uma vírgula, ela deverá ser colocada entre aspas.

SSLMode¶

O mecanismo de autenticação a ser usado ao conectar-se ao servidor FTP ou FTPS.

Valores Possíveis¶

AUTOMATIC, NONE, IMPLICIT, EXPLICIT

Tipo de Dados¶

string

Valor Padrão¶

"AUTOMATIC"

Observações¶

Se SSLMode é definido como NONE, a autenticação de texto simples padrão é usada para efetuar login no servidor. Se SSLMode for definido como IMPLICIT, a negociação SSL será iniciada imediatamente após o estabelecimento da conexão. Se SSLMode for definido como EXPLICIT, o conector se conectará primeiro em texto sem formatação e, em seguida, iniciará explicitamente a negociação SSL por meio de um comando de protocolo, como STARTTLS. Se SSLMode for definido como AUTOMATIC, se a porta remota for definida como a porta padrão de texto sem formatação do protocolo (quando aplicável), o componente se comportará da mesma forma que SSLMode é definido como EXPLÍCITO. Em todos os outros casos, a negociação SSL será IMPLICITA.

• AUTOMÁTICO
• NENHUM
• IMPLÍCITO
• EXPLÍCITO

SSLServerCert¶

O certificado a ser aceito do servidor ao conectar usando TLS/SSL.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Se estiver usando uma conexão TLS/SSL, esta propriedade pode ser usada para especificar o certificado TLS/SSL a ser aceito do servidor. Qualquer outro certificado que não seja confiável para a máquina é rejeitado.

Esta propriedade pode assumir as seguintes formas:

Se não for especificado, qualquer certificado confiável pela máquina será aceito.

Os certificados são validados como confiáveis pela máquina com base no armazenamento confiável do sistema. O armazenamento confiável usado é o valor 'javax.net.ssl.trustStore' especificado para o sistema. Se nenhum valor for especificado para esta propriedade, o armazenamento confiável padrão do Java será usado (por exemplo, JAVA_HOME\lib\security\cacerts).

Use '*' para indicar a aceitação de todos os certificados. Observe que isso não é recomendado devido a questões de segurança.

SSH¶

Esta seção fornece uma lista completa de propriedades SSH que você pode configurar.

SSHAuthMode¶

O método de autenticação a ser usado para fazer logon em um servidor SFTP.

Valores Possíveis¶

None, Password, Public_Key

Tipo de Dados¶

string

Valor Padrão¶

"Password"

Observações¶

• Nenhum: Nenhuma autenticação será realizada. O atual Usuário é ignorado e a conexão será registrada como anônima.
• Senha: O conector usará os valores de Usuário e senha para autenticar o usuário.
• Public_Key: O conector usará os valores de User e SSHClientCert para autenticar o usuário. SSHClientCert deve ter uma chave privada disponível para que esse método de autenticação seja bem-sucedido.

SSHClientCert¶

Um certificado a ser usado para autenticar o usuário.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Para usar a autenticação de chave pública, SSHClientCert deve conter um certificado com uma chave privada válida. O valor da chave pública do certificado é enviado ao servidor junto com uma assinatura produzida usando a chave privada. O servidor verificará primeiro se os valores da chave pública correspondem ao que é conhecido pelo usuário e, em seguida, tentará usar esses valores para verificar a assinatura.

O SSHClientCertType campo especifica o tipo de armazenamento de certificado especificado por SSHClientCert. Se a loja estiver protegida por senha, especifique a senha em SSHClientCertPassword.

SSHClientCert é usado em conjunto com o SSHClientCertSubject para especificar os certificados do cliente. Se SSHClientCert tem um valor e SSHClientCertSubject for definido, uma pesquisa por um certificado será iniciada. Consulte o SSHClientCertSubject para obter detalhes.

As designações de armazenamentos de certificados dependem da plataforma.

A seguir estão as designações dos armazenamentos de certificados de Usuário e Máquina mais comuns no Windows:

Em Java, o armazenamento de certificados normalmente é um arquivo contendo certificados e chaves privadas opcionais.

Quando o tipo de armazenamento de certificado for PFXFile, essa propriedade deverá ser configurada para o nome do arquivo. Quando o tipo é PFXBlob, a propriedade deve ser configurada para o conteúdo binário de um arquivo PFX (ou seja, armazenamento de certificados PKCS12).

SSHClientCertPassword¶

A senha do certificado SSHClientCert, se houver.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Esta propriedade é usada apenas ao autenticar em servidores SFTP com SSHAuthMode definido como PublicKey e SSHClientCert definido como uma chave privada.

SSHClientCertType¶

O tipo de certificado SSHClientCert.

Valores Possíveis¶

USER, MACHINE, PFXFILE, PFXBLOB, JKSFILE, JKSBLOB, PEMKEY_FILE, PEMKEY_BLOB, PUBLIC_KEY_FILE, PUBLIC_KEY_BLOB, SSHPUBLIC_KEY_BLOB, P7BFILE, P7BBLOB, SSHPUBLIC_KEY_FILE, PPKFILE, PPKBLOB, XMLFILE, XMLBLOB

Tipo de Dados¶

string

Valor Padrão¶

"PUBLIC_KEY_FILE"

Observações¶

O tipo de SSHClientCert certificado. Esta propriedade pode assumir um dos seguintes valores:

Esquema¶

Esta seção fornece uma lista completa de propriedades de esquema que você pode configurar.

Localização¶

Um caminho para o diretório que contém os arquivos de esquema que definem tabelas, exibições e procedimentos armazenados.

Tipo de Dados¶

string

Valor Padrão¶

"%APPDATA%\\\Parquet Data Provider\\Schema"

Observações¶

O caminho para um diretório que contém os arquivos de esquema para o conector (arquivos .rsd para tabelas e exibições, arquivos .rsb para procedimentos armazenados). A localização da pasta pode ser um caminho relativo a partir da localização do executável. O Location a propriedade só é necessária se você quiser personalizar definições (por exemplo, alterar um nome de coluna, ignorar uma coluna e assim por diante) ou estender o modelo de dados com novas tabelas, exibições ou procedimentos armazenados.

Se não for especificado, o local padrão é "%APPDATA%\\Parquet Data Provider\Schema" com %APPDATA% sendo definido para o diretório de configuração do usuário:

Esquemas Navegáveis¶

Essa propriedade restringe os esquemas relatados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar os esquemas de bancos de dados pode ser caro. Fornecer uma lista de esquemas na string de conexão melhora o desempenho.

Tabelas¶

Esta propriedade restringe as tabelas reportadas a um subconjunto das tabelas disponíveis. Por exemplo, Tabelas=TabelaA,TabelaB,TabelaC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar as tabelas de alguns bancos de dados pode ser caro. Fornecer uma lista de tabelas na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitos para trabalhar.

Especifique as tabelas que deseja em uma lista separada por vírgulas. Cada tabela deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Visualizações¶

Restringe as exibições relatadas a um subconjunto das tabelas disponíveis. Por exemplo, Views=ViewA,ViewB,ViewC.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Listar as exibições de alguns bancos de dados pode ser caro. Fornecer uma lista de exibições na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitos para trabalhar.

Especifique as exibições desejadas em uma lista separada por vírgulas. Cada exibição deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Flatten Objects¶

Defina FlattenObjects como true para nivelar as propriedades do objeto em colunas próprias. Caso contrário, os objetos aninhados em arrays são retornados como strings de JSON.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

Definir FlattenObjects para true para achatar as propriedades do objeto em colunas próprias. Caso contrário, os objetos aninhados em arrays são retornados como strings de JSON. Para gerar o nome da coluna, o conector concatena o nome da propriedade no nome do objeto com um ponto.

Por exemplo, você pode nivelar os objetos aninhados abaixo no momento da conexão:

[
     { "grade": "A", "score": 2 },
     { "grade": "A", "score": 6 },
     { "grade": "A", "score": 10 },
     { "grade": "A", "score": 9 },
     { "grade": "B", "score": 14 }
]

Quando FlattenObjects é definido como verdadeiro e FlattenArrays é definido como 1, a matriz anterior é simplificada na tabela a seguir:

FlattenArrays¶

Por padrão, arrays aninhados são retornados como strings. A propriedade FlattenArrays pode ser usada para nivelar os elementos de matrizes aninhadas em colunas próprias. Defina FlattenArrays para o número de elementos que você deseja retornar de matrizes aninhadas.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Por padrão, arrays aninhados são retornados como strings. O FlattenArrays propriedade pode ser usada para nivelar os elementos de arrays aninhados em colunas próprias. Isso é recomendado apenas para arrays que devem ser curtos.

Definir FlattenArrays para o número de elementos que você deseja retornar de arrays aninhados. Os elementos especificados são retornados como colunas. O índice baseado em zero é concatenado ao nome da coluna. Outros elementos são ignorados.

Por exemplo, você pode retornar um número arbitrário de elementos de um array de strings:

["FLOW-MATIC","LISP","COBOL"]

Quando FlattenArrays é definido como 1, a matriz anterior é simplificada na tabela a seguir:

Diversos¶

Esta seção fornece uma lista completa de diversas propriedades que você pode configurar.

Arquivos Agregados¶

Quando definido como verdadeiro, o provedor agregará todos os arquivos no diretório URI em um único resultado. Com esta opção habilitada, os AggregatedFiles serão expostos e poderão ser usados para consultar o conjunto de dados.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

Quando definido como verdadeiro, o provedor agregará todos os arquivos no diretório URI em um único resultado. Com esta opção habilitada, os AggregatedFiles serão expostos e poderão ser usados para consultar o conjunto de dados. Por padrão, o primeiro arquivo na pasta é usado para definir o esquema, porém MetadataDiscoveryURI pode ser especificado para usar um arquivo diferente.

Conjunto de Caracteres¶

Especifica o conjunto de caracteres da sessão para codificação e decodificação de dados de caracteres transferidos de e para o arquivo Parquet. O valor padrão é UTF-8.

Tipo de Dados¶

string

Valor Padrão¶

"UTF-8"

Observações¶

Especifica o conjunto de caracteres da sessão para codificação e decodificação de dados de caracteres transferidos de e para o arquivo Parquet. O valor padrão é UTF-8.

Cultura do Cliente¶

Essa propriedade pode ser usada para especificar o formato dos dados (por exemplo, valores monetários) que são aceitos pelo aplicativo cliente. Essa propriedade pode ser usada quando o aplicativo cliente não oferece suporte às configurações de cultura da máquina. Por exemplo, o Microsoft Access requer 'en-US'.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Esta opção afeta o formato da saída do conector. Para especificar o formato que define como a entrada deve ser interpretada, use a opção Cultura. Por padrão, o conector usa as configurações de localidade atuais da máquina para interpretar a entrada e formatar a saída.

Compressão¶

Especifica qual codificação de compactação será usada ao criar arquivos .parquet usando Create Table Statement e Bulk Inserts.

Valores Possíveis¶

Uncompressed, Gzip

Tipo de Dados¶

string

Valor Padrão¶

"Uncompressed"

Observações¶

Especifica qual codificação de compactação será usada ao criar arquivos .parquet usando Create Table Statement e Bulk Inserts.

Cultura¶

Essa configuração pode ser usada para especificar configurações de cultura que determinam como o provedor interpreta determinados tipos de dados que são passados para o provedor. Por exemplo, definir Culture='de-DE' produzirá formatos alemães mesmo em uma máquina americana.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Esta propriedade afeta a entrada do conector. Para interpretar valores em um formato cultural diferente, use a propriedade Client Culture. Por padrão, o conector usa as configurações de localidade atuais da máquina para interpretar a entrada e formatar a saída.

DeleteDownloadedFiles¶

Quando definido como verdadeiro, o provedor excluirá arquivos .parquet analisados baixados de fontes de nuvem.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

Quando definido como true, o provedor excluirá os arquivos .parquet analisados baixados de fontes de nuvem, armazenados no diretório especificado por meio da propriedade de conexão 'TemporaryLocalFolder'.

DirectoryRetrievalDepth¶

Limite as subpastas verificadas recursivamente quando IncludeSubdirectories estiver ativado.

Tipo de Dados¶

string

Valor Padrão¶

"-1"

Observações¶

Quando IncluirSubdiretórios está ativado, DirectoryRetrievalDepth especifica quantas subpastas serão verificadas recursivamente antes de parar. -1 especifica que todas as subpastas são verificadas.

EnableDictionary¶

Quando definido como true, o provedor ativará a codificação de dicionário ao criar arquivos .parquet usando Create Table Statement e Bulk Inserts.

Tipo de Dados¶

bool

Valor Padrão¶

true

Observações¶

Quando definido como true, o provedor ativará a codificação de dicionário ao criar arquivos .parquet usando Create Table Statement e Bulk Inserts. O uso da codificação de dicionário pode ajudar a reduzir o tamanho do arquivo .parquet resultante se uma coluna tiver valores repetidos. Colunas com todos os valores exclusivos não usarão codificação de dicionário, mesmo se essa propriedade for configurada como true.

ExcluirArquivos¶

Lista separada por vírgulas de extensões de arquivo a serem excluídas do conjunto de arquivos modelados como tabelas.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Lista separada por vírgulas de extensões de arquivo a serem excluídas do conjunto de arquivos modelados como tabelas. Também é possível especificar filtros de data e hora. No momento, damos suporte a CreatedDate e ModifiedDate.

Exemplo:
ExcludeFiles="TXT,CreatedDate<='2020-11-26T07:39:34-05:00'"
ExcludeFiles="TXT,ModifiedDate<=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 50, 000)"
ExcludeFiles="ModifiedDate>=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 49, 000),ModifiedDate<=CURRENT_TIMESTAMP()"

IncludeDropboxTeamResources¶

Indica se você deseja incluir arquivos e pastas da equipe do Dropbox.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

Para acessar as pastas e arquivos da equipe do Dropbox, defina esta propriedade de conexão como True.

IncluirArquivos¶

Lista separada por vírgulas de extensões de arquivo a serem incluídas no conjunto de arquivos modelados como tabelas.

Tipo de Dados¶

string

Valor Padrão¶

"parquet"

Observações¶

Lista separada por vírgulas de extensões de arquivo a serem incluídas no conjunto de arquivos modelados como tabelas. Por exemplo, IncludeFiles=parquet,TXT. O padrão é parquet.

Um valor '*' pode ser especificado para incluir todos os arquivos. Um valor 'NOEXT' pode ser especificado para incluir arquivos sem extensão.

Também é possível especificar filtros de data e hora. No momento, damos suporte a CreatedDate e ModifiedDate.

Exemplo:
ExcludeFiles="TXT,CreatedDate<='2020-11-26T07:39:34-05:00'"
ExcludeFiles="TXT,ModifiedDate<=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 50, 000)"
ExcludeFiles="ModifiedDate>=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 49, 000),ModifiedDate<=CURRENT_TIMESTAMP()"

Incluir Subdiretórios¶

Se deve ler arquivos de pastas aninhadas. No caso de uma colisão de nomes, os nomes das tabelas são prefixados pelos nomes das pastas separadas por sublinhado.

Tipo de Dados¶

bool

Valor Padrão¶

false

Observações¶

Se deve ler arquivos de pastas aninhadas. Os nomes das tabelas são prefixados por cada nome de pasta aninhada, separados por sublinhados. Por exemplo,

InserirModo¶

O comportamento ao usar inserções em massa para criar arquivos Parquet.

Valores Possíveis¶

create, overwrite, batch

Tipo de Dados¶

string

Valor Padrão¶

"create"

Observações¶

• Criar: Defina para criar um novo arquivo parquet usando o nome da tabela especificado em Create Table Statement. Isso causará um erro se já existir um arquivo com o mesmo nome do novo arquivo.
• Substituir: Defina para substituir qualquer arquivo parquet existente com o mesmo nome do novo arquivo.
• Lote: Defina isso se estiver usando BatchSize > 0. Isso criará vários arquivos parquet, cada arquivo contendo dados para um único lote. Os nomes dos arquivos seguiriam o padrão: '<Timestamp>_<Table Name>_<Batch ID>.parquet'.

MaxRows¶

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

Tipo de Dados¶

int

Valor Padrão¶

-1

Observações¶

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

MetadataDiscoveryURI¶

Usada ao agregar vários arquivos em uma tabela, esta propriedade especifica um arquivo específico para ler para determinar o esquema de tabela agregada.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Usada ao agregar vários arquivos em uma tabela, esta propriedade especifica um arquivo específico para ler para determinar o esquema de tabela agregada.

Outro¶

Essas propriedades ocultas são usadas apenas em casos de uso específicos.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

As propriedades listadas abaixo estão disponíveis para casos de uso específicos. Os casos de uso e a funcionalidade normais do driver não devem exigir essas propriedades.

Especifique várias propriedades em uma lista separada por ponto e vírgula.

Integração e Formatação¶

Tamanho da Página¶

(Opcional) Valor de PageSize.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O valor PageSize é usado para especificar o número de linhas a serem buscadas por vez.

ParallelPagingSizeLimit¶

Limite de tamanho de arquivo Parquet (MegaBytes) para o qual usar paginação paralela.

Tipo de Dados¶

string

Valor Padrão¶

"10"

Observações¶

Limite de tamanho de arquivo Parquet (MegaBytes) para o qual usar paginação paralela. Por exemplo, se o tamanho do arquivo for menor que igual a ParallelPagingSizeLimit, vários arquivos Parquet (até MaxThreads) serão lidos simultaneamente.

PathSeparator¶

Determina o caractere que será usado para substituir o separador de arquivo.

Tipo de Dados¶

string

Valor Padrão¶

"\_"

Observações¶

Determina o caractere que será usado para substituir o separador de arquivo. Se houver um arquivo parquet localizado em "Test/Files/Test.parquet" e se esta propriedade estiver definida como "_", então o nome da tabela para este arquivo será "Test_Files_Test.parquet".

Observação: Barra invertida (\\ não pode ser usada como valor para esta propriedade.

Pseudocolunas¶

Esta propriedade indica se deve ou não incluir pseudocolunas como colunas na tabela.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

Essa configuração é particularmente útil no Entity Framework, que não permite definir um valor para uma pseudocoluna, a menos que seja uma coluna de tabela. O valor dessa configuração de conexão está no formato "Table1=Column1, Table1=Column2, Table2=Column3". Você pode usar o caractere "*" para incluir todas as tabelas e todas as colunas; por exemplo, "*=*".

TemporaryLocalFolder¶

O caminho, ou URI, para a pasta que é usada para baixar temporariamente o(s) arquivo(s) parquet.

Tipo de Dados¶

string

Valor Padrão¶

""

Observações¶

O caminho, ou URI, para a pasta que é usada para baixar temporariamente o(s) arquivo(s) parquet de fontes de nuvem como S3, Azure etc. Por exemplo: TemporaryLocalFolder='C:/User/Download'. Os arquivos baixados são, por padrão, excluídos automaticamente após a análise, esse comportamento pode ser alterado usando a propriedade de conexão 'DeleteDownloadedFiles'

Tempo Esgotado¶

O valor em segundos até que o erro de timeout seja lançado, cancelando a operação.

Tipo de Dados¶

int

Valor Padrão¶

60

Observações¶

Se Timeout = 0, as operações não expiram. As operações são executadas até serem concluídas com êxito ou até encontrarem uma condição de erro.

Se Timeout expira e a operação ainda não está concluída, o conector lança uma exceção.