⁂ Java

[JAVA] 웹 크롤링(Web Crawling) 2 : jsoup으로 크롤링하기

1. jsoup 라이브러리로 크롤링하기 이제 자바로 만들어진 HTML parser*인 jsoup 라이브러리를 사용하여 크롤링을 해보자. jsoup 라이브러리는 DOM 구조를 추적하거나 CSS 선택자를 사용하여 데이터를 찾아 추출하는 기능이다. * parser : 인터프리터나 컴파일러의 구성 요소 가운데 하나로, 입력 토큰에 내재된 자료 구조를 빌드하고 문법을 검사하는 도구이다. 다운로드는 아래의 사이트에서 할 수 있다. https://jsoup.org/download Download and install jsoup Download and install jsoup jsoup is available as a downloadable .jar java library. The current release vers..

[JAVA] 웹 크롤링(Web Crawling) 1 : 웹크롤링 이해하기

1. 크롤링 크롤링(crawling)이란 인터넷에서 데이터를 검색해 필요한 정보를 스크랩(scrab)하는 것이다. 사용자가 필요한 키워드를 하나씩 검색해서 정보를 얻고 가공하여 저장하는 기술이다. 그리고 이런 크롤링을 해주는 프로그램을 크롤러라고 한다. 크롤링을 한다는 것은 무엇일까? 우리가 아래 사진처럼 웹페이지에서 마우스를 이용해서 드래그하여 복사 붙여넣기 하는 것도 일종의 크롤링이다. 이 작업을 자동으로, 그리고 필요한 정보들만 수집하게 해주는 과정을 크롤링이다. 2. 데이터의 종류 우리가 크롤링을 한다는 것은 데이터를 긁어온다는 뜻이다. 그런데 이러한 데이터는 종류가 있다. 1) 정형 데이터 Structured Data 우리가 흔히 자주 접하는 것이 정형 데이터이다. 예를 들어 a란 사람의 성별이..

[JAVA] JDBC #3-1 자바로 페이징하기

자바로 페이징을 하는 것도 결국 SQL문에서 페이징 코드를 잘 작성하여 구현해내면 된다. 페이징에 대해 개념이 잘 잡혀있지 않다면 아래의 글을 참조해보는 것도 좋다. 참조 : https://ddcloud.tistory.com/90 [Oracle] #5-3 rownum으로 페이징하기 1. 모조칼럼 rownum rownum은 #4-3에서 간단한 개념을 알아보았었다. https://ddcloud.tistory.com/84 [Oracle] #4-3 Oracle 함수 : nvl, 모조칼럼(rownum, rowid) 1. nvl() 함수 이 함수는 마리아DB에서 if.. ddcloud.tistory.com 위의 코드를 바탕으로 페이징 코드도 자바로 구현시킬 수 있다. 코드만 보면 복잡해보이고 이해안될 수 있으니 페..

[JAVA] JDBC #2-2 CRUD(Create, Read, Update, Delete) : R

1. READ CRUD 중 하나 빼먹었던 것이 있다. 바로 Read이다. Read, Select문을 사용하여 작업한 SQL문을 출력시키는 작업이었다. 이 과정은 위에서 진행했던 것들과는 다른 방향으로 코드가 진행이 되기에 이렇게 따로 다루고 있다. READ 작업을 진행하기 위해선 ResultSet이라는 자료형을 사용하게 된다. ResultSet은 SQL에서 테이블 형태의 데이터에 접근하는 코드이며 SELECT문의 결과를 저장하는 객체이다. 그래서 여기까지 SQL문과 관련된 객체는 총 3가지 종류를 사용하고 있다. Connection con = null; PreparedStatement pstmt = null; ResultSet rs = null; - DB 서버와 연결시켜주는 객체인 Connection -..

[JAVA] JDBC #2-1 CRUD(Create, Read, Update, Delete) : C,U,D

1. 자바에서 SQL파일 만들고 접근하기 자바에서도 SQL 파일을 만들고, 또 접근할 수도 있다. 우선 파일을 만들 때 잘 살펴봐보자. SQL파일을 만들 수 있다. SQL파일을 만들면 이클립스에서도 SQL문을 작성할 수 있게 된다. 자바에서 바로 코드로 SQL문을 작성하려하면 헷갈리니 여기서 우선 코드 작업을 한 후에 복사해 붙여넣기 하는 방식으로 하려한다. 2. SQL문 작성하고 실행하기 1) SQL문 작성하기 이제 자바에서 SQL문을 작성해보자. 여기서 주의사항이 있다. SQL 종결문자인 세미콜론(;)을 사용하면 오류가 나기 때문에 사용하면 안된다. 우선 첫 번째로는 아래와 같이 StringBuilder를 활용하여 새로운 인스턴스를 만든 뒤 SQL문을 계속 추가해가는 방식으로 SQL문을 작성하려한다...

[JAVA] JDBC #1 - 환경 구축하기

1. JDBC - Java DataBase Connectivity 자바에서 오라클DB를 연동시키고 싶을 땐 어떻게 해야할까? 그럴 때 사용하는 것을 JDBC라고 한다. 위키 백과에서 정의한 JDBC는 아래와 같다. JDBC(Java Database Connectivity)는 자바에서 데이터베이스에 접속할 수 있도록 하는 자바 API이다. JDBC는 데이터베이스에서 자료를 쿼리하거나 업데이트하는 방법을 제공한다. 자바와 DB를 연결하려면 해당 드라이버가 필요하다. 오라클 DB 연결 드라이버(.jar)는 해당 사이트에서 다운받을 수 있으며 만약 오라클 DB서버가 설치되어 있다면 오라클 DB 설치 폴더에 내장이 되어있다. 2. Dynamic Web Project 기존에는 자바 프로젝트로 프로젝트를 생성했지만 ..