Mapa del sitio

Mientras escribimos scripts de SQL o investigamos el contenido de una conexión a base de datos, necesitaremos sabe cuál es el contenido de nuestras tablas.

Para ello, podemos escribir consultas SQL y visualizar el resultado en la ventana de consultas.

BauDbStudio permite ejecutar scripts de Spark Sql contra un servidor ODBC en local o remoto pero para trabajar con grandes cantidades de datos, podemos utilizar servicios como Databricks .

El problema es que Databricks no acepta los scripts SQL que tenemos hasta ahora, por tanto, debemos transformarlo al formato de notebooks propio del servicio.

Estamos trabajando en ello

Para poder trabajar con base de datos en BauDbStudio primero debemos crear las conexiones oportunas.

Inicialmente, las conexiones definidas a base de datos se ven en el panel de la izquierda en la ficha Conexiones :

Para trabajar con archivos de script de SQL o ETL u otros archivos, primero debemos asociar directorios al proyecto en BauDbStudio.

Para añadir un directorio al marco de trabajo actual de la aplicación podemos utilizar tanto la opción del menú Archivo | Nuevo | Directorio como el botón Añadir carpeta de la barra de herramientas como el menú secundario de la ficha Archivos :

Cuando se ejecuta la aplicación BauDbStudio por primera vez, nos enfrentamos a un escenario vacío que debemos configurar antes de comenzar a utilizar.

Vamos a ver las diferentes partes de la ventana antes de continuar:

Para mí, una de las mejores formas de aprender a utilizar una nueva tecnología es desarrollar componentes sobre ella. Cuando comencé a utilizar Blazor, uno de los componentes que me faltaban era precisamente un grid 'decente ', no sólo una tabla de datos.

Hay muchos ejemplos de cómo hacer grids en Blazor y muchos componentes en Github que podemos utilizar como GridBlazor (realmente de lo mejor que he visto) o Table.Net (en el que basé mi componente).

Llevo algunos meses trabajando con DataBricks y me he encontrado algunas rarezas que he tenido que ir puliendo poco a poco.

Me habría ahorrado un montón de dolores de cabeza si alguien me las hubiese contado previamente, por eso escribo este artículo. Por si ayuda a alguien en una situación parecida.

BauDbStudio es una herramienta para la edición y ejecución de scripts de SQL y proyectos de transformación de datos o ETL - Extract Transform and load.

Aunque BauDbStudio nació como una herramienta de ejecución de scripts para Spark Sql (conocida como BauSparkScriptsStudio ) y para la distribución en notebooks sobre clusters de DataBricks, ha evolucionado hacia una aplicación más ambiciosa que puede utilizarse para el tratamiento de grandes cantidades de datos.

Como decía en el artículo anterior llevo unos meses dándole vueltas y aprendiendo a utilizar Spark .

Mi intención era más aprender sobre Spark Sql que sobre PySpark. No tengo nada contra Python, al contrario, pero me interesaba sobre todo ver las ventajas que me ofrece Spark frente a otros sistemas de bases de datos y sus posibilidades. Por tanto, atacar a Spark utilizando Python estaba fuera de contexto (al menos por el momento).