데이터 공부하다 끄적

바이브코딩으로 AI 서비스를 제공하는 그럴 듯한 웹서비스를 혼자 개발해보았다. (Gemini CLI 쓸만하다..!) 기왕 연습해보는 거 클라우드에 GPU 포함한 가상머신 잡고 배포까지 해보기로 하였다. 과거에 Azure 웹앱을 통한 배포 작업을 몇 번 해보았으나 이번 웹서비스는 AI 추론을 위한 GPU 연결이 필수이기 때문에 VM 위에서 개발하고자 하였다. 전반적인 작업 흐름을 적어보았으나, 메모장처럼 끄적여놓은 거라 다른 사람들에게 도움이 될진 모르겠다. 기본적으로 Pytorch + FastAPI + HTMP/CSS/JS로 개발한 서비스를 도커 이미지로 빌드한 뒤의 과정이다. 파이토치 기반 서비스 도커 파일 작성하는 것도 충분히 복잡했는데... VM 환경설정도 시행착오 끝에 결국 해냈다. 환경 설정 요..

더보기 https://github.com/google-gemini/gemini-cli GitHub - google-gemini/gemini-cli: An open-source AI agent that brings the power of Gemini directly into your terminal.An open-source AI agent that brings the power of Gemini directly into your terminal. - google-gemini/gemini-cligithub.com gemini 2.5 pro를 무료로 사용할 수 있다는 소식을 듣고 바로 활용해보았다. 설치 방법은 간단했다. nodejs 따로 설치하고, 파워쉘에 아래 코드 붙여넣으면 끝npm install -..

출처: ByteByteGo에서 가져온 백엔드 개발자 로드맵 IT 분야 지식을 시각적으로 명료하게 제공해서 애용하는 채널이다. 백엔드 개발자로 성장하기 위해서 어떤 소양을 필요로 하는지 한 눈에 알기 위해 가져와봤다. 1 - 필수 IT 지식백엔드 vs 프론트엔드 차이를 포함해서, 클라이언트-서버 구조, DNS 등2 - 백엔드 개발 언어1개 이상의 개발 언어 숙련도 (Java, Python, JS, Go, Rust, C# 등 )+ FastAPI, 스프링 부트와 같은 프레임워크3 - 데이터베이스대표적인 RDBMS (Postgres, MySQL, SQLite),NoSQL (MongoDB, Firebase, DynamoDB),NewSQL (CockroachDB, Spanner).그리고 ORM(SQLAlchemy..

https://www.youtube.com/@ByteByteGo/community ByteByteGoCovering topics and trends in large-scale system design, from the authors of the best-selling System Design Interview book series. This channel is managed by Alex Xu and Sahn Lam. To master system design, get our 158-page System Design PDF for free by subswww.youtube.com 내가 가장 좋아하는 IT 관련 유튜브 채널.우연히 머신러닝 모델링 책을 읽던 중 레퍼런스를 살펴보다가 우연히 알게 되었다.본 ..

https://youtu.be/eJSJmVMdLNc?list=LL 인이지의 유보선 팀장님이 정리해주신 제조 기업의 AI 도입 및 활용 방안 영상을 보며 정리한 포스팅입니다. 보다 구체적인 설명은 위 영상을 보시면 더욱 좋습니다 제조업에서 AI는 매우 다양한 분야에서 적용 가능하다1. 불량 검사2. 자재 관리3. 고장 예지 정비4. 설비 운용 등의 운용 최적화+ 영업과 마케팅 분야에서 소비자 트렌드 예측과 맞춤형 서비스 제공 제조 기업의 AI 도입 및 활용 방안1. 불량검사 가장 많이 도입하는 분야는 생산품의 불량 검사 특히 중소기업에서는 생산 제품을 일일이 확인하는 형태로 불량 제품을 찾아내는 것이 매우 일반적인 일이다. 이런 부분에서 제품의 이미지 등을 활용해서 불량 진단을 자동화 가능 공정에 따라..

https://youtu.be/onOy7WiguMI?list=LL 위 영상 보며 가볍게 끄적여보는 영상   데브옵스를 통한 지속적인 서비스 혁신 사용자에게 안정성과 신속성을 제공하려면 개발 테스트 배포 운영의 업무 사이클을  자동화된 하나의 프로세스로 통합할 필요성이 있다. 데브옵스의 필수 요소 CAMS( 문화, 자동화, 측정, 공유 ) 1. 문화(CULTURE)팀의 경계를 완화하고 협업 수준을 높여 품질 및 효율성 향상 조직의 사일로화 경계해야 하는데, 조직 내 다양한 부서들이 서로 담을 쌓은 것처럼 서로 각자의 조직의 이익만을 추구하는 것을 의미한다. 조직이 사일로화 되면 협업도 문제이지만부서별 데이터가 통합되지 않아서 회사 전체 데이터를 통합해 인사이트를 얻기 힘들어진다 우선 회사 비즈니스 목표에 ..

https://youtu.be/wVpOboIlZ5I?list=LL 어김없이 삼성SDS의 MSA 시리즈를 보면서 공부하고 정리해보는 포스팅  마이크로서비스란.애플리케이션을 느슨하게 결합된 서비스의 모임으로 구조화하는 소프트웨어 아키텍처 스타일 (위키백과) 여기서 느슨한 결합이란,각 서비스들이 독립적으로 실행되고 서로 통신을 하지만,문제가 생겼을 때 서로 크게 영향을 받지 않는 유연한 서비스 구조.  시스템 아키텍처 = 소프트웨어 설계 구조 (주로 모놀리식 / MSA 대비된다)  모놀리식 아키텍처구조가 간단하고 비교적 빠른 설계가 가능하다는 장점이 있지만,클라우드의 빠른 확장성과 유연한 인프라 환경구조에는 부적합. 모놀리식 장점:개발이 상대적으로 간단한 편.흐름 단계별로 설계가 되어서 데이터 정합성을 맞추기..

https://youtu.be/8ypDYpKKLxY?list=LL 이번에도 SDS 클라우드 시리즈 컨텐츠를 보면서 끄적여보는 포스팅 컨테이너 등장 배경개발 관점:Q: IT에 대한 걱정 없이 빠른 애플리케이션 개발 환경Q: 새 애플리케이션이 내 PC에서는 잘 동작이 되지만, 다른 PC에서는 동작이 안됨Q: 인프라 자원을 빠르게 공급 받지 못해서 개발이 늦어지는 경험 A: 한 번 작성하면 어디서나 실행 가능한 앱 인프라 환경 제공A: 빠른 앱 서비스 및 개발 테스트 환경.A: 마이크로서비스 아키텍처 지원  운영 관점:Q:  중단 없이 새 애플리케이션을 업데이트 할 순 없을까Q:  최신 애플리케이션에 대한 지식이 부족해서 개발자 도움 없이 통합하기가 어려움Q:  서버 보안과 컴플라이언스 규정을 일관성 있게 적..

https://youtu.be/OvE1V2Cu8ds 삼성SDS에서 제공하는 클라우드 네이티브에 관한 영상을 보고 끄적 개념적으로 정말 명료하게 잘 정리가 되어있다. (이제 구현하는 일만...)  Q. 클라우드를 처음 도입할 때 궁금한점- 인프라를 자동으로 배포한다면 이건 어느 부서에서 전담하나요?- 기존 온프레미스 환경과 클라우드를 어떻게 연결하나요?- 기존 코드를 그대로 활용 가능한지? 새로운 툴을 배우는데 어려움은 없는지?- 내부 인력은 준비되어 있는지? 없다면 어떻게 인력 충원하고 역량을 확보할지?- 클라우드를 사용하려면 새로운 언어와 툴을 배워야 하는지? 1. 장애 상황에서도 지속적인 서비스를 제공할 수 있어야한다.- '여러 지역' 서비스의 분산을 통해 안전하게 운영- 멀티클라우드, 한 클라우드 ..

https://youtu.be/Xz0q3n_K2ms?list=LL 위 영상을 보며 정리해보는 게시글 2022년 영상이지만 그럼에도 시리즈 별로 정리가 너무 깔끔하게 되어 있어서 유익해보였다.  클라우드 컴퓨팅이란? (= 클라우드)인터넷을 통해 컴퓨팅 서비스를 제공하는 것여기서 말하는 서비스란 서버, 스토리지,네트워크, 데이터 분석, IoT, 블록체인, 인공지능 등다시 말하면 인터넷을 통해 IT리소스와 애플리케이션을 원할 때, 언제든지, 사용한 만큼만 요금 내는 구독 서비스 클라우드의 아주 간략한 역사:2006년 AWS에서 처음 시작추수감사절에 대규모 서버 증설 + 운영-> 세일 시즌 끝나고 서버 사용량 줄어들면서 유지보수 비용 발생 (이를 해결하고자 방안 모색)시즌이 끝난 뒤 필요한 이용자에게 빌려주면서..

https://youtu.be/3XHgJyqpVms?list=PLbG_OH_pU3moPUelcLwX2rM11BkWmSPqD 존경하는 이재용 회계사님의 인사이트를 나의 것으로 만들어보고자 글로 한 번 정리해보는 포스팅입니다.  대마불사란 '큰 말은 쉽게 죽지 않는다'는 바둑용어인데, 대기업의 입지에 빗대어 표현하고자 쓰이기도 하였다.  그런데 이재용 회계사는 2025년을 '대마유사'라고 표현하였다. Q . 대기업들은 돈이 많고 자산이 많으니까 쉽게 망하지 않지.A .  2025년은 망할 수도 있을 것 같은데? 재무제표 보니 글쎄..   내생적 성장 이론이란?  경제학의 기본 원칙은 수확 체감의 법칙이다. 1조를 투자했을 때보다 10조를 투자했을 때 효율이 떨어진다. 즉, 10배 만큼의 효율이 나오지 않는 ..

https://youtu.be/Be4B7QQu48I 즐겨보는 밥친구 유튜버 우주하마. 재밌는 건 둘째 치고 사람이 정말 똑똑하다고 느껴지는 순간이 많다 (공대 졸업 맞을 듯..?) 위 영상 게임하다가 대표적인 조건부확률 문제인 몬티 홀 딜레마에 의한 선택지가 나왔는데, 빠르게 캐치하고 문제 풀어 넘기는 게 약간 멋있달까. https://namu.wiki/w/%EB%AA%AC%ED%8B%B0%20%ED%99%80%20%EB%AC%B8%EC%A0%9C 몬티 홀 문제Monty Hall problem Suppose you’re on a game show, and you’re givnamu.wiki 상황 설정:3가지 선택지가 있다고 했을 때 (A, B, C)셋 중 하나의 선택지에만 큰 상금이 걸려있다. 문제:내가..

프로젝트 문서 작업하다가 집중력 저하로 딴짓 하고 싶어서 폴더 아이콘을 바꾸겠다는 생각을 했다. 마침 프로젝트 로고를 제작해둔 게 있는데, 그걸로 폴더 아이콘을 바꿔볼 것.  1. PNG 파일을 ICO 파일로https://convertio.co/kr/png-ico/ PNG ICO 변환 (온라인 무료) — Convertiopng 파일(들) 업로드 컴퓨터, Google Drive, Dropbox, URL에서 선택하거나 이 페이지에서 드래그하여 선택해 주세요.convertio.co  ico = icon 아이콘 파일이다. 변환 사이트에서 쉽게 변환이 가능하다.  2. 아이콘 사용자 지정  폴더 아이콘 우클릭 -> 속성 -> 사용자 지정 -> 아이콘 변경 -> 앞서 다운로드 받은 ico 파일 찾아서 확인, 적용 ..

https://www.data.go.kr/data/15125055/fileData.do# 국토교통부_(센서스경계)행정동경계_20230813센서스 통계에 따라 경계를 구분하여 나타낸 센서스경계이며, 모든 센서스의 행정동 경계에 대한 공간정보 및 속성정보 (행정동)www.data.go.kr 행정동 경계 데이터(센서스경계)는 shp, shx, dbf, prj 네 가지 파일로 이뤄져있다.  일반적으로 shp 파일을 불러오지만, 같은 경로에 다 있어야 사용 가능한 구조인 것 같다.(담고 있는 데이터가 각각 다 다른데 뭔지는 금방 까먹음) 행정동 경계를 geopandas로 불러와서 시각화하는 건 수월했는데, 데이터베이스 컨테이너에 바로 넣으려니 시행착오가 많았다 QGIS 같은 통상적으로 shp 파일 처리할 때 쓰이..