웹/web

건국대학교 종강시를 크롤링하며 겪었던 문제들을 적어보고자 한다. 먼저, 처음에는 대학과 학과 선택을 기준으로 나오는 강의 리스트들의 정보만 크롤링하려 했고, 이는 준수한 속도를 내었기에 멀티쓰레딩에 대한 고려는 하지 않았다. 하지만, 강의계획서 안에 있는 수강 신청 유의 사항도 조사하고자 했고, 팝업창 기능까지 추가하는 순간 속도가 너무 느려졌다. 마침, AI 해커톤에서 데이터를 처리할 때 멀티쓰레딩을 했던 경험이 있었고, 속도가 매우 빨라졌었다. 물론 selenium이 thread-safe는 아니어서 의미가 없을 것은 대강 알고 있었지만, 궁금해서 한번 해보기로 했다.먼저, 멀티쓰레딩을 하기 위해 기존 코드에서 멀티쓰레딩에 맞는 구조로 바꿔주고, 파이썬의 threading 라이브러리를 사용했다.일단 해..

문제상황예전에 react에서 django rest framework로 요청을 보낼 때 CORS error가 자꾸 떠서 해결하려다가 결국 해결 방법을 못 찾고 포기했었다. 그런데 이번에 json-server을 이용하여 간단하게 프론트를 연습하려 했는데 또 CORS error 와 마주쳤다.다음에도 CORS error를 마주칠 게 분명했기 때문에 이번에 꼭 해결해야겠다고 생각했다.  해결과정이상하게도, 로컬에서는 작동하는 방법이 gitpod에서는 계속해서 CORS error를 낸다는 것을 알게 되었다. 따라서 gitpod에 문제가 있다고 추정했다. gitpod 공식 문서를 보던 중 fetch 요청에 credentials: ‘include’ 옵션이 있어야만 하고, server측에서는 Access-Control-..