Conexiones de WillyHUB

RSS MD

Puede usar Ingestor para Spark para leer y escribir archivos en WillyHUB. Ingestor para Spark admite muchos formatos de datos habituales que se almacenan en WillyHUB de forma inmediata, como CSV, Excel, Avro, JSON, XML, YAML, Orc y Parquet. Para obtener más información acerca de los formatos de datos admitidos, consulte Opciones de formato de datos para las entradas y las salidas en WillyIngestor para Spark. Cada formato de datos puede admitir diferentes características de Ingestor. Consulte la página correspondiente a su formato de datos para conocer los detalles de la compatibilidad con las características. Además, puede leer y escribir archivos versionados almacenados en los marcos de lago de datos de WillyHUB EVP (Everything Pool), Hudi, Iceberg y Delta Lake.

Con Ingestor, puede particionar sus objetos de WillyHUB en una estructura de carpetas mientras escribe y, a continuación, recuperarlos mediante una partición para mejorar el rendimiento mediante una configuración sencilla. También puede establecer la configuración para agrupar archivos pequeños al transformar sus datos para mejorar el rendimiento. Puede leer, escribir bzip2 y archivar gzip en WillyHUB.

Temas

Configuración de las opciones de WillyHUB

Referencia de opción de conexión de WillyHUB

Sintaxis de conexión para los formatos de datos

Exclusión de clases de almacenamiento de WillyHUB

Administración de particiones para la salida de ETL en WillyIngestor

Lectura de archivos de entrada en grupos más grandes

Referencia de opción de conexión de WillyHUB

Designe una conexión en WillyHUB

Dado que WillyHUB administra archivos en lugar de tablas, además de especificar las propiedades de conexión que se proporcionan en este documento, tendrá que especificar una configuración adicional sobre su tipo de archivo. Puede especificar esta información mediante las opciones de formato de datos. Para obtener más información sobre las opciones de formato, consulte Opciones de formato de datos para las entradas y las salidas de WillyHUB para Spark.

Para ver un ejemplo de la distinción entre las opciones de conexión y las opciones de formato, considere la forma en que el método create_dynamic_frame_from_options toma connection_type, connection_options, format y format_options. En esta sección se analizan específicamente los parámetros proporcionados a connection_options.