Mapa del sitio

Siempre he defendido SQL como un lenguaje ideal para el tratamiento de datos con una salvedad: la falta de instrucciones imperativas en el estándar.

SQL es un lenguaje declarativo, de ahí viene realmente su potencia: ejecutar una instrucción indicando lo que deseo obtener no cómo se va a obtener.

Estamos trabajando en ello pero mientras tanto puedes aprender qué son las distribuciones

Sé que últimamente lo digo mucho, pero estoy aprendiendo a programar con Spark utilizando sobre todo Spark Sql y algo de PySpark.

Llevo unos meses viendo de lejos la posibilidad de utilizar C # con Spark mediante el nuevo (para mí) proyecto de Microsoft .Net for Apache Spark (a partir de ahora Spark.Net).

Al trabajar con datos, normalmente nos encontramos con la necesidad de ejecutar procesos repetitivos como copiar archivos, realizar consultas, copiar datos resumidos entre base de datos, etc...

Este tipo de trabajos se conocen como procesos ETL (Extract, Transform, Load). BauDbStudio permite la definición y ejecución de este tipo de procesos.

En ocasiones, cuando estamos trabajando con diferentes proyectos, acabamos con demasiados directorios y conexiones en nuestro explorador.

Los espacios de trabajo nos permiten crear diferentes entornos de trabajo para diferentes soluciones.

Para poder ejecutar scripts de Spark SQL sobre un servidor de Spark, antes tenemos que crear una conexión adecuada.

Debemos tener en cuenta que los scripts que creemos sobre la aplicación, se van a ejecutar utilizando ODBC, es decir, tenemos que tener un servidor ODBC en nuestro equipo o sobre nuestro cluster de Spark.

Cuando escribimos scripts o consultas SQL, en ocasiones necesitamos asociarle parámetros.

Por ejemplo, esta consulta sobre una base de datos SqLite:

La principal función de BauDbStudio es la ejecución de scripts de SQL.

Para crear un script de SQL simplemente debemos añadir un archivo con extensión SQL a nuestro directorio de proyecto.

Toda la información sobre ejecuciones de consultas , scripts SQL y scripts de ETL aparece en el control de log situado inicialmente en la parte inferior de la ventana.

Si entre los registros de log aparece un mensaje de error (indicado en color rojo), se puede ver la información completa del error pulsando dos veces sobre él:

Al trabajar con bases de datos, es muy habitual tener archivos de datos en formato CSV o Parquet o Excel.

Para facilitar el trabajo, BauDbStudio permite visualizar este tipo de archivos. Simplemente pulsando dos veces sobre el nodo con el nombre del archivo: