분류 전체보기111 [실날데] 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 1주차 - 데이터 팀 소개 본 글은 프로그래머스의 실리콘밸리에서 날아온 데이터 엔지니어링 스타트 키트 강의 내용을 간단히 정리한 글입니다 커리어 관련 이제 커리어는 사다리가 아니라 정글짐이다. 위로 갈때도 있고 아래로 갈때도 있고 옆으로 갈때도 있다. 연봉이 깎이는 것에 대해서 많이 두려움이 있을 수 있지만, 한 번 해보면 그다음은 어렵지 않을 수 있다. 성취하는 경험이란 몰입하는 경험, 결과를 내는 경험 결국 결과를 내는 사람이 성과를 내는 사람 결과를 내기 위해선 기술 자체가 중요한 것은 아니다. 기술을 배우는데에만 몰두하지 말자 문제정의를 잘해야 한다. 내가 지금 어떤 상황이고 성과를 내기 위해서는 무엇이 필요한가 생각하기 나만 생각하지 말고 결정권자 혹은 매니저와 함께 이것에 대해서 얘기해보기 데이터 팀의 역할 소개 Goa.. 2023. 6. 9. 23-06-06 TIL: 'Request failed with status code 405, Axios Error' 'Request failed with status code 405, Axios Error' 요즘 웹개발을 해보고 있는데 와중에 발생한 에러 구글링을 해보니 보통 프론트와 백의 http method가 일치하지 않았을 때 발생한다고 함. 하지만 내 코드는 아무리 봐도 둘 다 POST로 잘 설정되어 있었음 (근데 왜 코드 블럭 각각의 언어를 별도로 설정 못하는 것인가... 너무 불편하다) // main.js mosaicFile() { if (this.file) { let formData = new FormData(); formData.append('video', this.file); axios.post('/boonmosa', formData) .then(response => { # app.py @app.rou.. 2023. 6. 6. "The bucket you are attempting to access must be addressed using the specified endpoint. Please send all future requests to this endpoint." 에러 해결 & GitHub Action Secrets를 활용하여 .env 파일 생성하기 (or .env 파일 기능 구현하.. 1. S3 Bucket 에러 해결 S3 Bucket을 람다와 동일한 계정이 아닌 다른 AWS 계정의 것으로 설정하게 되었더니 "api error PermanentRedirect: The bucket you are attempting to access must be addressed using the specified endpoint. Please send all future requests to this endpoint." 에러가 계속 발생. 원인 쭉 찾아보니 코드 위의 region과 버킷의 region이 다르면 발생한다고 함. 분석 버킷의 생성된 리전은 아래 빨간 박스 영역에서 확인 가능 그런데 분명 내 코드(정확히는 람다가 돌아가는 위치)도 버킷 위치도 일치하는데 자꾸 저 에러가 나는 것임;; 그래서.. 2023. 5. 25. 2. 파이썬 크롤링 코드 AWS Lambda에 올리고 결과물 S3에 업로드하기 - Lambda, IAM, S3 편 개선한 크롤링 코드를 AWS에 올리는 작업을 시작했다. (크롤러 개선 과정은 https://kyumcoding.tistory.com/36) AWS에 올리는 이유는 크게 2가지이다 1) 온프레미스의 비효율성 제거 크롤링 코드의 경우 하루에 한 번 30분 정도의 런타임만으로 돌아가는데, 이를 위해서 노트북 혹은 데스크탑을 하루종일 켜놔야 한다는 것은 매우매우 비효율적이고, 사실 불가능하다. (누구 노트북 하나 24시간 매일 켜놓거나, 아니면 크롤러 돌아갈 때 켜줘야 하는데 가능?) 2) 클라우드 서비스를 활용해서 크롤링 프로세스 자동화 & 파이프라인화 크롤링한 결과물을 데이터베이스에 넣는 과정으로 기획된 상태였다. 크롤러가 돌아가서 문서를 산출 -> 데이터베이스에 넣기 과정이 자동화되고 안정적으로 운영될 수.. 2023. 5. 7. 이전 1 ··· 15 16 17 18 19 20 21 ··· 28 다음
