본문 바로가기

전체 글88

[Slack으로 점심 추천 봇 만들기 with lightsail(혹은 ec2), lambda -2 대학교를 위한 점심추천 봇 완성기] 저번 포스팅에서 slack으로 점심 추천 봇을 만들기 위한 기본 세팅에 대한 것들을 올렸었는데, 생각보다 UI개편 후에 친절한 안내가(?) 없었는지 많은 분들이 블로그를 봐주셔서 내심 기분이 좋았다. 그래서 빠르게 점심 추천 봇을 만들고 싶었다보니, 블로깅을 한동한 할수가없었다는...핑계를 대본다. 아무래도 최종 블로깅 이다 보니 전체적인 정리를 한번 해보려고 한다. 1. Slack 세팅 2023.04.04 - [Slack] - [Slack으로 점심 추천 Bot 만들기 with aws lightsail] - 1 기본세팅 [Slack으로 점심 추천 Bot 만들기 with aws lightsail] - 1 기본세팅 AWS클라우드 업무를 올해 새롭게 접하게 되면서 기존에 카카오톡, 회사메신저, 오피스 등 여러.. 2023. 5. 12.
DNN학습에서의 AWS EC2 g4dn xlarge vs 2xlarge 성능 및 과금비교 이번 포스팅에서는 간단한 Neural Net을 활용하여 AWS EC2 g4dn의 xlarge와 2xlarge 인스턴스의 성능과 처리속도를 비교하고 모델을 학습할 때 성능이 부족하거나 과하지 않은지 확인해 적당한 인스턴스를 선택하는데 참고가 되었으면 한다. 인스턴스의 스펙과 온디맨드 요금은 다음 그림을 참고하면 된다. 두 인스턴스에서 사용하는 GPU는 Nvidia Tesla T4로 Compute Capability는 7.5로 지원하는 Cuda version은 10.x 버전 이상이고 이 글에서는 11.x 버전으로 설치할 것이다. EC2 인스턴스 생성은 OS, Instance 종류, 보안 그룹, 볼륨 용량 외에는 기본으로 설정했고 OS는 Linux 계열인 Unbuntu 20.04 LTS, Cuda, cudnn.. 2023. 4. 18.
Snapshot을 이용한 마이그레이션 진행하기 개인 사이드 프로젝트와 회사 내의 동아리 프로젝트, 현재 진행하고 있는 대학교 멘토로써 활동 하며 여러 데이터를 크롤링하고 모으게됐는데, 어떻게 보관하고 관리할지 항상 고민했다. 그래서 AWS S3에 게시판 형태처럼 리스트로 데이터를 관리하여 자체적인 Data Lake를 만들어 보는게 어떨까 하는 생각에 블로깅을 또 하게 되었다. elasticsearch 에서는 스냅샷을 찍어 인덱스를 저장하는 기능을 제공하고 이 스냅샷을 다른 클러스터에 복원시켜 데이터를 옮길 수도 있다. 아래 도큐먼트에 snapshot-restore 도큐먼트를 첨부한다. (https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.html ) 따라서 .. 2023. 4. 12.
[Slack으로 점심 추천 Bot 만들기 with aws lightsail] - 1 기본세팅 AWS클라우드 업무를 올해 새롭게 접하게 되면서 기존에 카카오톡, 회사메신저, 오피스 등 여러 채널을 통해서 소통을 하던것에 답답함을 느껴, 모든 채널을 Slack으로 통일하게 되었다. 사실 비슷한 메신저들도 많은 기능을 담긴 했지만, 개인적으로 이력이 관리되고 쓰레드, 허들, 특히 다양한 앱과의 연계를 통한 기능을 사용 할 수 있다는 점이 매력적이었다. (기존 블로깅을 보면 slack을 통해 aws 과금 및 사용량 모니터링도 진행 중이다.) 2023.01.30 - [AWS/기능 소개 및 에러처리] - AWS 모니터링을 위한 Slack 연동(with AWS lambda, CloudWatch) AWS 모니터링을 위한 Slack 연동(with AWS lambda, CloudWatch) AWS에서 우리는 EC.. 2023. 4. 4.