2021-01-03

Posted by karais89 on January 3, 2021

크롤링보다는 자동화 쪽에 좀 더 관심이 있음.

용어 설명

웹 스크래핑

  • 실시간 개념이 존재
  • 필요로 하는 정보 추출
  • 가공 및 저장해서 비교 분석 자료로 활용
  • CMS의 원천 기술
    • CMS: 웹상에 존재하는 정보를 사용자에게 제공하는 서비스
  • 프로토콜, 브라우저 방식 존재

웹 크롤링

  • 웹 스크래핑의 정식 명칭
  • 일정한, 주기적으로 웹에서 정보를 추출 및 저장
  • 주로 Crawler(크롤러)가 수행
  • 최신 정보 유지(웹 크롤러) - 검색 엔진

머신러닝(Machine Learning)

  • 인간의 학습을 컴퓨터 또는 기계로 구현
  • 기본적으로 알고리즘을 통해 데이터를 분석 및 학습
    • 학습 내용을 기준으로 판단, 추세, 예측
  • 대량의 데이터 알고리즘을 통해 학습시키는 것에 목표
  • 다양한 분야에 활용
  • 머신러닝 학습 → 인간의 개입
  • 딥러닝 학습 → 개입 X. 스스로 학습
  • 프로세스
    • 수집 → 가공 → 학습 → 학습방법선택 → 매개변수 조정 → 모델학습 → 정확도 평가 → 성공