도쿄사는 외노자

:::note info수년전 회사 블로그에 적었던 내용을 적당히 클렌징 및 한국어로 번역해서 올림:::개요AWS Codebuild 를 이용하여, Git 상의 dbt project 를 스케줄 실행하는 방법을 간단히 검증상세아래의 순서로 실시AWS CodeBuild 로 빌드 프로젝트를 만들어, buildspec.yml 파일 작성AWS EventBridge 로 빌드 스케줄 설정AWS CodeBuild 로 빌드 프로젝트를 만들어, buildspec.yml 파일 작성작업 순서AWS CodeBuild 에서 빌드 프로젝트 작성OAuth 로 Github 연결Github 에 연결이 되면, 아래와 같이 리포지토리 설정이 가능AWS CodeBuildでBitBucketの特定ブランチからソースを読み込む方法계속해서 설정builds..

개요FastAPI로 API 개발 도중, Makefile을 사용해 보았다.상세아래와 같은 식으로 샘플을 작성해 보았다..PHONY: shell install test fmt lint# Poetry 가상환경 활성화shell: poetry shell# 종속성 설치install: poetry lock poetry install# 실행serve: poetry run uvicorn main:app --reload# 테스트 실행test: export PYTHONPATH=$(pwd):$PYTHONPATH python -m pytest tests# 코드 포맷팅fmt: poetry run ruff format .# 코드 린팅lint: poetry run ruff check . -..

OpenAI 테스트용으로 20MiB 의 jpg 파일을 만드는 데 사용mkfileコマンドmkfile -v 20m 20MiB.jp

개요DuckDB 의 GUI 클라이언트를 찾던 중, 아래의 클라이언트를 발견DB PilotDB Browser for SQLite 대용으로 사용할 수 있을 듯상세설치아래에서 다운로드 및 설치할 것DB Pilot현재로서는 Mac 에만 대응하는 듯테이블/뷰의 열람과 SQL 쿼리 이외의 기능을 사용하기 위해서는 과금이 필요좀 더 여러가지 기능을 원한다면, DBeaver 도 DuckDB 에 대응하고 있다DuckDB 공식 도큐먼트에서도 이쪽을 제시하고 있음DBeaver SQL IDE간단한 사용법DuckDB 이외의 DB 도 제공내 경우는 기존 DB를 설정https://github.com/idenrai/templates/tree/main/dbt_duckdb_local테이블/뷰의 열람과 SQL 쿼리의 실행이 가능

개요dbt project 를 손쉽게 검증할 수 있도록 로컬 개발 환경을 구축하기https://github.com/idenrai/templates/tree/main/dbt_duckdb_local상세아래의 순서로 기재dbtduckdbdbt project 를 작성하여, duckdb 와 연계dbthttps://docs.getdbt.com/docs/core/pip-install기본적으로는 아래의 커맨드로 인스톨 가능pip install dbt-core dbt-duckdbdbt project 작성dbt init 으로 프로젝트 작성duckdbhttps://duckdb.org/#quickinstallbrew install duckdbCreate DB아래의 커맨드로 간단히 DB 작성 가능duckdb [DB 명].db예시..

개요MermaidMarkdown상에서 다이어그램을 동적으로 작성할 수 있음상세준비물아래의 VSCode Extension 을 준비Markdown Preview Mermaid Support이용방법markdown 파일 (.md) 상에서 아래와 같이 코드를 입력하기만 하면 됨PreviewMac 기준 cmd + shift + p로 커맨드 팔레트 열기 -> preview 검색응용코드화가 가능한 이상, ChatGPT로 작성하는게 가장 빠르고 편함

DynamoDB 를 로컬 환경에서 구동하기https://hub.docker.com/r/amazon/dynamodb-localhttps://hub.docker.com/r/aaronshaf/dynamodb-admin준비물DockerDocker Desktop 설치https://docs.docker.com/desktop/install/mac-install/AWSAWS-CLI 설치https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.htmlboto3pip install boto3https://boto3.amazonaws.com/v1/documentation/api/latest/guide/quickstart.htmlConfigure원활한 ..

개요파이썬 패키지 관리 툴 poetry의 사용 방법 메모상세poetry란https://python-poetry.org/docs/파이썬 패키지 관리 툴.기존 파이썬으로 뭔가를 만들 때엔, pyenv-virtualenv 나 pipenv shell 등을 사용해서 가상환경을 구축하고 pip 커맨드로 패키지를 인스톨 및 requirements.txt를 이용해 패키지를 관리해 왔다.poetry는 가상환경의 구축이나 패키지 관리 파일의 생성/변경 등, 개발에 필요한 각종 기능을 다 갖추고 있어, poetry 커맨드만으로 이것저것 다 해결할 수 있다.설치https://python-poetry.org/docs/#installation맥의 경우는 아래로도 해결 가능brew install poetrypoetry --vers..

개요DynamoDB에서 30일 이상 경과한 데이터를 검색, 해당 데이터의 documentId를 통해 Azure AI Search Index에서 해당 데이터를 검색 및 삭제하는 스크립트상세준비poetry를 사용하여 환경 구축poetry initpoetry add boto3 requestspoetry installpoetry shell코드 본문연결 정보import boto3import requestsimport jsonfrom boto3.dynamodb.conditions import Keyfrom datetime import datetime, timedelta# Devservice_name = "search-ai-dev"index_name = "index-document"api_version = "2024..

개요Azure AI Search의 인덱스에 들어 있는 모든 데이터를 JSON으로 취득상세 내용REST API 버전(Azure AI Search)파이썬 스크립트import requestsimport json# Azure Search 설정service_name = ""api_key = ""index_name = ""api_version = "2024-05-01-Preview" # Azure Search 콘솔에서 검색할 때 쓰는 api version 을 지정file_name = "output.json"# Search API URLapi_url = f"https://{service_name}.search.windows.net/indexes/{index_name}/docs/search?api-version={ap..