본문 바로가기

분류 전체보기111

10. Go를 이용한 스크래퍼 리팩토링하기 (6) - S3 Downloader Uploader 구현 & strings 패키지를 활용한 최종 데이터 형식 변환 (feat. strings.Trim(), strings.Replace()) 이번 시간에 본격적으로 NaverCrawler 코드, 그 중 AWS S3 Downloader / Uploader 에 대해서 알아보겠다. 구현 과정에 대해 설명하면서 추가적으로 엘라스틱서치를 위한 데이터 변환에 대해서도 살짝 다뤄본다. Amazon S3 사용 파트 코드 전체 type BucketBasics struct { S3Client *s3.Client } func HandleRequest(_ context.Context) (string, error) { start := time.Now() bucktBasics := AWSConfigure() // S3에서 subway_information.json을 다운받아 내용을 INFO 변수에 넣기 INFO, err := S3Downloader(bucktBasic.. 2023. 8. 18.
9. Go를 이용한 스크래퍼 리팩토링하기 (5) - 전체적인 NaverCrawler 코드 설명 (feat. chromedp + goquery) 이전까지 "https://pts.map.naver.com/end-subway/ends/web/{역 코드}/home?timemode=" 에서 {역 코드}에 100~20000의 숫자를 입력, 해당 URL로 접속하여 지하철 정보가 없다면 패스, 있다면 호선 별로 역 코드와 역 이름을 스크래핑 해와 json 파일로 저장하는 Golang 코드를 설명하였다. (전체적인 코드는 아래 글에 https://kyumcoding.tistory.com/61 ) 5. Go를 이용한 스크래퍼 리팩토링하기 (1) - Introduction, 그런데 goquery, S3 Upload, Lambda 활용 코드를 곁 이 글에서는 go에서 goquery, lambda, s3 다루는 법을 자세하게 설명하지는 않습니다. 이 블로그에 다른 글.. 2023. 8. 18.
8. Go를 이용한 스크래퍼 리팩토링하기 (4) - Json Marshaling, byte stream S3 upload 저번 포스팅에서는 AWS SDK for Go v2 를 활용하여 AWS Credential Configure를 하고, S3에 코드 결과물을 업로드할 수 있는 S3Uploader를 구현하는 과정을 다뤘다. (링크: https://kyumcoding.tistory.com/63) 7. Go를 이용한 스크래퍼 코드 리팩토링하기 (3) - AWS Credential Configure, S3 Uploader 구현하기 (feat. AWS SD 저번 포스팅에서는 고루틴을 이용하여 19900개의 URL을 날려보고, 검색 결과를 goquery를 통해 가져와 저장하는 것까지 알아보았다. (링크: https://kyumcoding.tistory.com/62) 6. Go를 이용한 스크래퍼 코드 리 kyumcoding.tistor.. 2023. 8. 15.
7. Go를 이용한 스크래퍼 리팩토링하기 (3) - AWS Credential Configure, S3 Uploader 구현하기 (feat. AWS SDK for Go v2) 저번 포스팅에서는 고루틴을 이용하여 19900개의 URL을 날려보고, 검색 결과를 goquery를 통해 가져와 저장하는 것까지 알아보았다. (링크: https://kyumcoding.tistory.com/62) 6. Go를 이용한 스크래퍼 코드 리팩토링하기 (2) - goquery, Goroutine, sync.WaitGroup 저번 글에서는 왜 Go를 이용해 코드를 리팩토링하게 되었는지 그 계기와 함께 리팩토링한 코드 중 '역 코드 스크래퍼'의 HandleRequest 함수에 대해서 살짝 알아보았다. 이번 포스트에서는 '역 코드 kyumcoding.tistory.com 이번 시간에는 스크래핑 결과를 S3에 업로드 하기 위해 구현한 코드를 설명한다. 최신 자료도 한국어 자료도 많지는 않아서 구현하는데 고.. 2023. 8. 14.

티스토리툴바