본 블로그는 UC Berkeley의 CS 185/285강의를 기반으로 작성했다.이번 포스트에서는 강화학습이 나오게 된 배경에 대해서 집중적으로 다룬다.from supervised learning to imitation learning기존 supervised learning에서는 모델을 학습할 때 어떤 input x에 대해 정답 y라는 라벨이 있고, 이에 대한 우도를 높이도록 학습을 진행한다.그걸 행동 학습으로 옮기면 state/observation $o_t$가 input으로 들어왔을 때 action $a_t$를 맞추는 문제가 된다.여기서는 무엇을 보고 action을 선택할지에 대한 두가지 구분이 나온다.첫 번째는 fully observed 한 경우다. 이 경우는 observation $o_t$만 봐도 실..

이번 연도 1월(2026.01.28)에 나간 대회인데 정리 겸 지금 쓰게 되었다.어떤 대회 였나?이번에는 개발 대회는 아니고, 아이디어만 만드는 대회였다. 대회 장소가 좋기도 하고(더클래식 500 호텔이었다.), 평소 사업에 대해 생각도 있었기 때문에 아이디어 구축 단계를 경험해보고 싶어서 나가게 되었다.총 3일 동안 진행되는 대회로, 개발보다는 IP와 사업화 정도가 중요 시 되는 대회였다. 대회 규모도 크고 건대생만 참여하는 것이 아닌 민간인(서울 시민)도 참여가 가능한 구조였다. 평가 방식과 주제 주제에는 내가 그나마 잘 이해하고 있는 AI가 있었다. 물론 AI를 기술적으로 녹여낼 수 있다는 부분만 장점이었고, 사업성은 평소에 생각하지 않아 막막했다. 그마저도 수익성만 생각하면 안 됐고, 서울시민기..

1. introduction최근 NN behabior를 설명하려는 연구들과 한계점최근까지 대다수는 NN의 행동을 큰 coarse-grained model component 관점에서 설명했음.(attention head, MLP 모듈 전체, 단일 뉴런 …)in-context learning안의 특정한 induction head를 나타냄factual recall의 MLP module⇒ 그러나 일반적으로 polysemantic 하고 해석하기 어려움.fine-graned unit의 관점에서 모델을 분석한 방법들은 연구자가 미리 정해놓은 가설을 증명하기 위해 데이터를 의도적으로 선별함.TCAV: 인간이 이해할 수 있는 개념이 모델 내부의 벡터 공간에서 어떤 방향을 가리키는지(분류 모델이 얼룩말 평가할 때 줄무늬라..

abstractpatchTSTtransformer-based다변량 time series forecasting modelself-supervised representation learningcomponenttransformer에게 token화된 input으로 주기 위해 time series를 subseries level patch로 쪼갬각 channel을 independent single univariate time series로 가정하고, 같은 embedding과 transfomer weight를 모든 series에 대해 공유함.(channel independence)세가지 장점이 있음embedding은 local semantic information을 가지고 있음attention map의 연산량과 메모..

1. 나가기 전..학술 대회를 나가기 전 2학년 1학기때 현대오토에버에서 하는 배리어프리 앱 콘테스트에 참가했었다. 예선만 합격해도 앱 제작비 500만 원을 주는 대회였기 때문에, 최소한의 노력으로 500만 원을 얻는 것을 목표로 대회진출을 했다. 마음 가짐부터 글렀던 만큼 예선에서 떨어지게 되었다. 학기가 끝나고 유럽에서 refresh를 하고 나서 학술대회에 대해 접하게 되었다. 주제와 상금을 보니 피가 끓었고 대회에 참가하고자 했다.대회에 나가고자 하는 이유는 아래와 같았다.a. 이전 대회에서 폐기된 내 아이디어가 아까웠다. 앱 컨테스트에는 적합하지 않기 때문에 채택되지 않았지만, 좋은 아이디어라고 생각해서 다음 대회를 위해 서류화를 해놓았던 상황이었다. 그러다 마침 공익+AI인 아주 적합한 이 학술..