본문 바로가기

전체 글

Python MySQL 연결 방식 python 환경에서 MySQL DB에 연결할 수 있는 방법들과, 그 장단점에 대해 알아보자.  아래는 살펴볼 4가지 방식이다. pymysql : 순수 파이썬 구현, 설치가 쉬움.sqlalchemy : ORM 방식, 다양한 DB 지원.mysql.connector : MYSQL 공식 지원, 호환성 좋음.mysqlclient : 빠른 속도, C로 구현되어 C 컴파일러 필요.상황에 따라 무엇을 쓰면 좋을지 생각해보자면,,,  일반적인 (크지않은 데이터)를 다루는 상황이라면 pymysql을 추천한다. 데이터의 크기가 보다 크거나 SSL/TLS과 같은 보안 연결이 필요한 경우 mysql.connector를 추천하고, ORM방식을 선호하거나, MySQL외에도 PostrgreSQL과 같이 다른 db를 함께 사용하는 .. 더보기
[회고] 6개월간의 인턴생활 2024. 02월 학교에서 모집한 기업체와의 프로젝트부터 시작해... 3~6월까지 기본적인 도메인 지식 습득/ 답사 / 프로토 타입 개발.. 그리고 2024.07.01 ~ 2024.12.31 기간의 인턴 생활 정말 해당 기업과 함께한 1년이었던것 같다.  비록 아르바이트/과외 경험은 많은 나였지만,,, 인생 첫 회사 생활은 확실히 달랐다...!  (회고니까 의식의 흐름대로 쓸게요 ㅎㅎ..) 처음에는 어색하기만한 팀원분들이었지만, 마지막에 헤어질때는 정말 아쉬웠고... 지금도 문득문득 생각나는것 같다.  (처음부터 더 적극적으로 다가가서 친해질껄! 하는 생각을 많이 했다..) 회사생활을 즐겁게 만들어준 동기들도 그립다.. ㅠ 한 친구는 아주아주 좋은 회사에 들어가 있고..! (정말이지 대단한 친구다..)다.. 더보기
[논문 리뷰] Internet of things dataset for home renewable energy management 💡 Abstract 스마트 시티,홈의 에너지 소비 및 예측을 시뮬레이션하거나 사용할 수 있는 데이터셋이 부족 스마트 홈 에너지 관리 시뮬레이션을 위해 신중하게 생성된 데이터셋을 제공 합성 데이터 생성과 그 이점 Dataset이 dataset이 가치있는 이유많은 집의 다양한 IOT장치에서 가정 에너지 데이터를 가져오기 어려움다른 연구에서도 재사용 가능 - 스마트 홈 에너지 소비 분석, 주거용 전기 소비에 대한 예측 분석.. etc스마트 시티에서의 에너지 관리 및 시뮬레이션에 사용 가능peer to peer 에너지 전송의 보안문제 , 데이터 접근성 격차 → 합성 데이터로 해결Data Description20, 50, 100, 200 가구를 대상으로 한 365일 동안의 5개의 데이터셋일반적인 가정용 전자기기.. 더보기
[논문 리뷰]CU-BEMS, smart building electricity consumption and indoor environmental sensor datasets 초록 💡 건물의 전기 소비와 실내 환경 측정을 포함한 상세한 건물 운영 데이터의 공개를 설명 DataSet 제공제목 해상도 정보 URLUCI machine learning repository: Individual household electric power consumption dataset低4년 동안의 가정 전기 소비 데이터를 1분 간격으로 제공, 다양한 서브 미터링 값 및 전기량 포함링크AMPds2: The Almanac of Minutely Power dataset (Version 2)低약 2년 동안 1분 간격으로 전기, 천연 가스 및 물의 측정 데이터 제공링크Multifamily programmable thermostat data低79개 아파트에서 10분 간격으로 상대 습도, 온도 및 HVAC .. 더보기
[논문 리뷰] AI System Engineering—Key Challenges and Lessons Learned † ❓ 머신러닝 개발 주기에서 발생하는 과제 및 해결방안에서의 교훈 데이터 품질 보증, 모델 구축, 소프트웨어 공학 및 배포 수준에서 AI 시스템 엔지니어링의 과제들을 겹쳐놓는 기본적인 이론-실제 격차 논문의 목적 : 이러한 과제를 해결하기 위한 접근 방식을 탐색하기 위한 연구 주제를 강조 이론적 기초현재 데이터 기반 AI 시스템의 한계에 대한 비판적 논의⇒ 해결하기 위한 모델 구축 및 소프트웨어 엔지니어링 노하우인간 중심 AIIntroductionAI 시스템 엔지니어링은 문제 이해, 문제 사양, AI 모델 선택, 데이터 수집 및 데이터 컨디셔닝부터 대상 플랫폼 및 애플리케이션 환경에 대한 배포까지 AI 시스템을 구축하는 모든 단계를 포괄AI 시스템을 엔지니어링하기 위한 장애물과 과제현재 머신 러닝 패러다임.. 더보기
[논문리뷰] A three-year dataset supporting research on building energy management and occupancy analytics 개요건물에너지 관리 및 점유분석에 대한 3년 데이터셋건물 에너지 소비: 미국에서는 전체 에너지의 약 40%, 전 세계적으로 약 3분의 1을 소비기술 발전의 영향: 에너지 효율, 센서, 고급 제어 기술을 사용면 사용량을 최대 50%까지 줄일 수 있습니다데이터 접근 필요성: 에너지 낭비를 줄이고 건물 운영을 최적화하려면 다양하고 통합된 데이터 세트가 필요현재 문제점적절한 데이터 범위를 갖춘 데이터 세트를 찾는 것은 어렵고 시간 소요.데이터 품질과 문서화(메타데이터 설명)가 부족함.고해상도 데이터의 중요성모든 건물에서 고해상도 데이터를 측정하는 것은 비실용적.고해상도 데이터를 소수의 건물에서 수집하여 공개하는 것이 중요.이러한 데이터 세트는 공정한 알고리즘 비교를 위한 고품질 벤치마크를 제공 데이터 분석Dat.. 더보기
돌아온 co-yong 약 3달의 기간동안... 포스팅을 못했는데,  인턴 생활을 마무리 하며 프로젝트 마무리에 바쁨과 함께 새로운 회사에 입사하게 되어 적응하느라 정신이 없었다.. ㅎㅎ  어느덧 입사 3개월차.. 약간은 적응이 된거 같아 다시 포스팅을 이어가보고자 한다...! 인턴기간 동안 배운것들을 회고하고 정리하는 시간을 좀 가지고,  현재 회사에서 배워나가는 부분들, 개인적으로 공부하고 느끼는 부분들에 대해서도 계속 포스팅을 이어가고자 한다...!  개인적으로 정리하는 목적성도 있지만, 생각을 공유하는 장이 되었으면 하는 바램이다.. 마지막으로 최근 유행이라는 지브리풍 사진 하나 남겨본다.본 블로그의 기본 사진을 지브리풍으로 바꾸어 보았다 !! 더보기
kakaoSpark 아키텍쳐 구상 이전에 생각했던 프로젝트의 개요를 한번 직접 그려보았다.  좀 더 구체화하는 작업을 진행하며, 각각의 서비스들이 무엇인지, 어떤 역할을 수행하는지 정리해보도록 하자.  Docker Compose KafkaSparkMySQLAirflowGrafana * Yahoo Finance는 주식 데이터를 제공해주는 api 이기에 자세히 설명하지는 않겠다. Docker Compose란? 도커 컨테이너 기반의 여러 서비스를 정의하고 관리하는데 쓰이는 도구이다! 얼핏 봐도 여러 컨테이너가 존재하는데, docker compose up 과 같은 명령어를 통해 한번에 실행시킬 수 있다!또한 컨테이너간 네트워크 연결 및 환경변수 설정에도 도움을 준다! (서비스명으로 네트워크 접근 가능) docker-compose.yml 파일 A.. 더보기

티스토리툴바