mlops14 Dataiku - 데이터베이스 연결 (PostgreSQL) + Sync 레시피 아래의 튜토리얼 내용은 dataiku academy 자료를 참고하여 제작되었습니다. 안녕하세요. PostgreSQL DB 연결 설정에 관하여 확인해보겠습니다 : ) PostgreSQL 연결 상단 탐색 바의 Applications 메뉴에서 Administration을 선택하세요. Connection 탭으로 이동한 다음 New Connection > PostgreSQL을 선택하세요. (다양한 SQL 데이터베이스 연결이 사용 가능합니다!) 마지막으로 연결에 필요한 정보를 입력하세요! * 연결 이름은 이후에 변경할 수 없습니다! 기본 정보들을 입력한 후, TEST 버튼을 눌러서 Connection OK가 뜨는지 확인 후 CREATE 해주세요! Dataiku로 데이터셋 가져오기 연결을 생성한 후, PostgreS.. 2023. 6. 15. 보고서 시스템 데이터 파이프라인 구축 - (2) 안녕하세요. 보고서 시스템 데이터 파이프라인 구축 이어서 진행해보도록 하겠습니다 : ) 시장 점유율을 계산하려면 먼저 국제 항공출발 및 도착지에 대한 데이터셋에서 항공편 총수에 대한 정보에 대한 데이터 파이프라인을 생성해야 합니다. 이전과 같이 다운로드 레시피를 사용하겠습니다. Download 레시피 (이전 글에 이미지와 상세히 나와있으므로, 글로 대체) FLOW 에서 +RECIPE > Visual > Download 를 선택하고, 출력 폴더를 departures로 지정하여 레시피를 생성합니다. + Add a First Source 버튼을 누르고, URL을 지정합니다 지정 URL : https://data.transportation.gov/api/views/innc-gbgc/rows.csv?accessT.. 2023. 6. 13. 보고서 시스템 데이터 파이프라인 구축 - (1) 안녕하세요. 미국 교통부 (USDOT) 공항 교통 데이터를 사용하여 보고서를 생성하기 위한 데이터 파이프라인을 구축해보겠습니다. 저희의 목표는 국제 항공편에 대한 보고서 시스템을 구동하는 데이터 파이프라인을 생성하는 것입니다! 데이터 데이터는 미국 국제 항공 여객 및 화물 통계 보고서에서 제공됩니다. departures: 미국 게이트웨이와 외국 게이트웨이 간의 모든 항공편 데이터입니다. 출발지와 목적지에 관계없이 항공사에 대한 정보를 제공합니다. passengers: 특정 항공사가 서비스하는 공항 간의 각 월 및 연도별 총 여객 수 데이터입니다. 우리는 2017년의 데이터로 시작해보겠습니다! 작업 흐름 개요 Dataiku에서 최종 파이프라인은 다음과 같은 단계로 구성됩니다: 1. 입력 데이터를 얻기 위해.. 2023. 6. 12. Dataiku - 레시피 활용 (8) 아래의 튜토리얼 내용은 dataiku academy 자료를 참고하여 제작되었습니다. 안녕하세요. Window, Fuzzy join 레시피 활용편 입니다 : ) Window 레시피 데이터 보강과 그룹화된 계산을 수행하는 강력한 도구입니다. 이 레시피를 사용하면 데이터셋의 구조를 유지하면서 윈도우 함수를 적용하여 추가 정보를 얻을 수 있습니다. 이를 통해 데이터 분석 작업을 향상시키고 다양한 용도로 활용할 수 있습니다. Window 레시피 기능 파티셔닝: Window 레시피를 사용하여 데이터를 그룹화할 수 있습니다. 특정 열의 값을 기준으로 데이터를 파티션화하고 각 그룹 내에서 계산을 수행할 수 있습니다. 정렬: 각 그룹 내에서 데이터를 특정 열을 기준으로 정렬할 수 있습니다. 정렬 순서에 따라 계산 결과가.. 2023. 6. 11. 이전 1 2 3 4 다음
