도쿄사는 외노자

개요Databricks Git folder는 Databricks 워크스페이스에서 Git 저장소를 직접 연동해 코드 버전 관리와 협업을 지원하는 기능.이 도큐먼트에서는 간단한 설명 및 세팅, 조작 방법 등에 대해 적어 보도록 한다.상세Git integration for Databricks Git folders장단점장점Databricks UI에서 Git 주요 기능(Clone, Commit, Push, Pull, 브랜치 관리, diff 등) 사용 가능다양한 Git 제공자(GitHub, GitLab, Bitbucket 등) 지원노트북, 코드 파일 등 다양한 파일 버전 관리CI/CD 파이프라인 연동 및 자동화 가능시각적 diff, 충돌 해결 등 협업에 유리단점복잡한 Git 작업(리베이스, 충돌 해결 등)은 제한적..

개요mermaid-cli 를 이용하여, Mermaid 로 만든 차트를 PNG 파일로 출력하기상세이전 포스팅에서 Mermaid 를 소개한 적이 있다.현재 업무에서도 VSCode 를 이용하여 Mermaid 로 차트를 그리고 있는데, 한가지 문제가 있더라.문제점차트가 길어질 경우, 스크린샷을 찍기가 힘들다.Markdown Preview Mermaid Support 를 이용해서 작성한 차트의 프리뷰를 스크린샷으로 저장, 설계서 등에 붙여넣고 있는데 차트가 위아래로 길어지면 아무래도 한 화면에서 스크린샷을 찍기가 힘들어진다.해결책mermaid-cli 를 이용하니 간단하게 해결 가능했다.설치mermaid-js 의 부속품이므로, npm 으로 설치npm install -g @mermaid-js/mermaid-clino..

:::note info수년전 회사 블로그에 적었던 내용을 적당히 클렌징 및 한국어로 번역해서 올림:::개요AWS Codebuild 를 이용하여, Git 상의 dbt project 를 스케줄 실행하는 방법을 간단히 검증상세아래의 순서로 실시AWS CodeBuild 로 빌드 프로젝트를 만들어, buildspec.yml 파일 작성AWS EventBridge 로 빌드 스케줄 설정AWS CodeBuild 로 빌드 프로젝트를 만들어, buildspec.yml 파일 작성작업 순서AWS CodeBuild 에서 빌드 프로젝트 작성OAuth 로 Github 연결Github 에 연결이 되면, 아래와 같이 리포지토리 설정이 가능AWS CodeBuildでBitBucketの特定ブランチからソースを読み込む方法계속해서 설정builds..

개요FastAPI로 API 개발 도중, Makefile을 사용해 보았다.상세아래와 같은 식으로 샘플을 작성해 보았다..PHONY: shell install test fmt lint# Poetry 가상환경 활성화shell: poetry shell# 종속성 설치install: poetry lock poetry install# 실행serve: poetry run uvicorn main:app --reload# 테스트 실행test: export PYTHONPATH=$(pwd):$PYTHONPATH python -m pytest tests# 코드 포맷팅fmt: poetry run ruff format .# 코드 린팅lint: poetry run ruff check . -..

OpenAI 테스트용으로 20MiB 의 jpg 파일을 만드는 데 사용mkfileコマンドmkfile -v 20m 20MiB.jp

개요DuckDB 의 GUI 클라이언트를 찾던 중, 아래의 클라이언트를 발견DB PilotDB Browser for SQLite 대용으로 사용할 수 있을 듯상세설치아래에서 다운로드 및 설치할 것DB Pilot현재로서는 Mac 에만 대응하는 듯테이블/뷰의 열람과 SQL 쿼리 이외의 기능을 사용하기 위해서는 과금이 필요좀 더 여러가지 기능을 원한다면, DBeaver 도 DuckDB 에 대응하고 있다DuckDB 공식 도큐먼트에서도 이쪽을 제시하고 있음DBeaver SQL IDE간단한 사용법DuckDB 이외의 DB 도 제공내 경우는 기존 DB를 설정https://github.com/idenrai/templates/tree/main/dbt_duckdb_local테이블/뷰의 열람과 SQL 쿼리의 실행이 가능

개요dbt project 를 손쉽게 검증할 수 있도록 로컬 개발 환경을 구축하기https://github.com/idenrai/templates/tree/main/dbt_duckdb_local상세아래의 순서로 기재dbtduckdbdbt project 를 작성하여, duckdb 와 연계dbthttps://docs.getdbt.com/docs/core/pip-install기본적으로는 아래의 커맨드로 인스톨 가능pip install dbt-core dbt-duckdbdbt project 작성dbt init 으로 프로젝트 작성duckdbhttps://duckdb.org/#quickinstallbrew install duckdbCreate DB아래의 커맨드로 간단히 DB 작성 가능duckdb [DB 명].db예시..

개요MermaidMarkdown상에서 다이어그램을 동적으로 작성할 수 있음상세준비물아래의 VSCode Extension 을 준비Markdown Preview Mermaid Support이용방법markdown 파일 (.md) 상에서 아래와 같이 코드를 입력하기만 하면 됨PreviewMac 기준 cmd + shift + p로 커맨드 팔레트 열기 -> preview 검색응용코드화가 가능한 이상, ChatGPT로 작성하는게 가장 빠르고 편함

DynamoDB 를 로컬 환경에서 구동하기https://hub.docker.com/r/amazon/dynamodb-localhttps://hub.docker.com/r/aaronshaf/dynamodb-admin준비물DockerDocker Desktop 설치https://docs.docker.com/desktop/install/mac-install/AWSAWS-CLI 설치https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.htmlboto3pip install boto3https://boto3.amazonaws.com/v1/documentation/api/latest/guide/quickstart.htmlConfigure원활한 ..

개요파이썬 패키지 관리 툴 poetry의 사용 방법 메모상세poetry란https://python-poetry.org/docs/파이썬 패키지 관리 툴.기존 파이썬으로 뭔가를 만들 때엔, pyenv-virtualenv 나 pipenv shell 등을 사용해서 가상환경을 구축하고 pip 커맨드로 패키지를 인스톨 및 requirements.txt를 이용해 패키지를 관리해 왔다.poetry는 가상환경의 구축이나 패키지 관리 파일의 생성/변경 등, 개발에 필요한 각종 기능을 다 갖추고 있어, poetry 커맨드만으로 이것저것 다 해결할 수 있다.설치https://python-poetry.org/docs/#installation맥의 경우는 아래로도 해결 가능brew install poetrypoetry --vers..