[혼공데분] 2주차 데이터 수집하기

2-1 데이터를 API 형식으로 가져오는 방법에 관한 내용이다. 예전 내가 데분 처음 공부하던 시절...에는 API로 데이터 수집하는 상황에 대한 가정을 하는 것을 못봤는데 현업에서 일하다보면 API로 데이터 받아올때가 있기 때문에 유용한 내용이라 생각했다. JSON, XML 형식의 데이터를 읽는 방법부터 내용시작해서 API로 데이터 가져오는 부분 실습했다.

2-2는 웹 스크래핑(크롤링) 관련 파트이다. 크롤링 내용 자체도 유익했지만 데이터프레임의 전체 열이나 행에 함수 적용하는 방법에 대해서 for문->apply메서드->lambda함수순으로 장점을 알려주며 설명한 점이 좋았다. 그리고 크롤링쪽은 나는 잘 몰라서 남들은 다 아는 정보일수도 있는데, 웹페이지의 robots.txt파일에서 접근 허가/불허한 url을 볼 수 있다는 것을 처음 알았다. 나중에 프로젝트 아니더라도 개인 취미생활에 도움될 용도라도 사용하지 않을까 싶다ㅎㅎ

 

*기본 미션(p150 Q1)

데이터프레임.loc 메서드의 결과

- 1. 주어진 데이터 프레임 그대로 출력

- 2. 주어진 데이터 프레임 그대로 출력

- 3. 주어진 데이터 프레임 그대로 출력 ...true/false로 표시하는 건 실제 코딩에서 사용할까 싶은데 이 형태가 유용한 경우가 있는지 궁금하다.

- 4. 나머지와 다르다. 행선택에서 ::2가 0:2가 아니라 2단위의 스텝을 지정하는 거라 index:1인 행이 결과에서 빠지게 된다.

 

소감: 처음 혼공공부단 11기 시작하면서 배우고 싶다고 한 부분이 초반에 나와서 다 끝나버려서 나머지 부분도 끝까지 완주하도록 노력해야겠다ㅋㅋ공공데이터 API 모아놓은 사이트 있을 것 같은데 찾아보고, 웹 크롤링도 직접 해보고 싶다.(나도 독서가 취미인데 읽은 책 정보 정리할 때 온라인서점 데이터 긁어와도 좋을 것 같다)