crawling.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/var/folders/xn/dxdr0gzs2bld2s01df0dtst00000gn/T/ipykernel_22709/4074528525.py:10: DeprecationWarning: executable_path has been deprecated, please pass in a Service object\n",
      "  driver = webdriver.Chrome('./chromedriver_mac_arm64/chromedriver')\n"
     ]
    }
   ],
   "source": [
    "from selenium import webdriver\n",
    "from selenium.webdriver.chrome.options import Options\n",
    "from bs4 import BeautifulSoup\n",
    "import pandas as pd\n",
    "\n",
    "#건설공사 안전관리 종합정보망 사이트 크롤링 코드\n",
    "\n",
    "url = 'https://www.csi.go.kr/acd/acdCaseList.do'  # 가져올 페이지의 URL\n",
    "\n",
    "# ChromeOptions 설정\n",
    "chrome_options = Options()\n",
    "chrome_options.add_argument('--headless')  # 크롬 창이 표시되지 않도록 설정\n",
    "\n",
    "# Chrome 웹 드라이버 실행\n",
    "driver = webdriver.Chrome('./chromedriver_mac_arm64/chromedriver', options=chrome_options)\n",
    "driver.get(url)\n",
    "\n",
    "# 크롤링할 데이터 저장을 위한 리스트 선언\n",
    "data_list = []\n",
    "\n",
    "# 현재 페이지 번호를 가져오기\n",
    "current_page_num = int(driver.find_element('css selector', '.pagination .active a').text)\n",
    "\n",
    "# 페이지 수 만큼 반복하면서 크롤링 수행\n",
    "for i in range(1, 1855):  # 1번 페이지부터 1279번 페이지까지 크롤링 수행\n",
    "    try:\n",
    "        current_page_num = int(driver.find_element('css selector', '.pagination .active a').text)\n",
    "        # 다음 페이지로 이동하기\n",
    "        driver.execute_script(f\"goPage('{i}');\")\n",
    "        print(f\"Processing page {i}\")\n",
    "\n",
    "        # 페이지 내 모든 a 태그 선택하기\n",
    "        links = driver.find_elements('xpath', '//tbody/tr/td[1]/a')\n",
    "\n",
    "        # href 속성값 추출하여 리스트에 저장하기\n",
    "        href_list = [link.get_attribute('href') for link in links]\n",
    "\n",
    "        # 각 하위 페이지를 크롤링하며 데이터 추출 작업 수행\n",
    "        for link_index in range(len(links)):\n",
    "            # 매번 새로운 a 태그 리스트를 가져옴\n",
    "            links = driver.find_elements('xpath', '//tbody/tr/td[1]/a')\n",
    "\n",
    "            # a 태그 href 속성값 가져오기\n",
    "            link_href = links[link_index].get_attribute('href')\n",
    "\n",
    "            # JavaScript 함수 호출하여 하위 페이지 열기\n",
    "            driver.execute_script(link_href)\n",
    "\n",
    "            # 하위 페이지 HTML 코드 가져오기\n",
    "            sub_html = driver.page_source\n",
    "            sub_soup = BeautifulSoup(sub_html, 'html.parser')\n",
    "\n",
    "            # 필요한 데이터 추출 작업 수행\n",
    "            data_dict = {}\n",
    "            td_heads = sub_soup.find_all('td', class_='td-head')\n",
    "            t_lefts = sub_soup.find_all('td', class_='t-left')\n",
    "            td_head_index = 0\n",
    "\n",
    "            for t_left_index, t_left in enumerate(t_lefts):\n",
    "                td_head = td_heads[td_head_index]\n",
    "                key = td_head.text.strip()\n",
    "                value = t_left.text.strip()\n",
    "\n",
    "                # td-head 클래스 태그가 rowspan 속성을 가지고 있다면, 크롤링하지 않는다.\n",
    "                if 'rowspan' in td_head.attrs:\n",
    "                    rowspan = int(td_head.attrs['rowspan'])\n",
    "                    if t_left_index < rowspan:\n",
    "                        continue\n",
    "                    else:\n",
    "                        td_head_index += 1\n",
    "                        td_head = td_heads[td_head_index]\n",
    "                        key = td_head.text.strip()\n",
    "\n",
    "                # td-head 클래스 태그가 연속으로 2번 나오는 경우, 두 번째 태그의 내용을 키 값으로 사용\n",
    "                if t_left_index == 0 and td_head_index == 0:\n",
    "                    data_dict[key] = t_lefts[t_left_index+1].text.strip()\n",
    "                    td_head_index += 1\n",
    "                elif t_left_index == 0 and td_head_index > 0:\n",
    "                    td_head_index -= 1\n",
    "                    continue\n",
    "                else:\n",
    "                    # t-left 클래스 하위 태그(label)가 있는 경우, label의 내용을 밸류 값으로 사용\n",
    "                    if t_left.find('label'):\n",
    "                        sub_values = []\n",
    "                        for label in t_left.find_all(['div']):\n",
    "                            sub_values.append(label.text.strip())\n",
    "                        value = ' '.join(sub_values).strip()\n",
    "\n",
    "                    data_dict[key] = value\n",
    "                    td_head_index += 1\n",
    "\n",
    "            # 추출한 데이터를 리스트에 저장\n",
    "            data_list.append(data_dict)\n",
    "\n",
    "            # 이전 페이지로 돌아가기\n",
    "            driver.execute_script(\"javascript:history.back()\")\n",
    "            # driver.back()\n",
    "    except Exception as e:\n",
    "        print(\"{} 에러 발생, {} 페이지에서 발생\".format(e, current_page_num))\n",
    "\n",
    "# 브라우저 닫기\n",
    "driver.quit()\n",
    "\n",
    "for data_dict in data_list:\n",
    "    for key, value in data_dict.items():\n",
    "        data_dict[key] = value.replace('\\t', '').replace('\\n', '')\n",
    "\n",
    "# 크롤링한 데이터 dataframe으로 변환\n",
    "df = pd.DataFrame(data_list)\n",
    "\n",
    "df = df.drop(columns=[\"검색범위\", \"검색방법\", \"검색기간\"], axis=1)\n",
    "\n",
    "# csv 파일로 저장\n",
    "df.to_csv('output-v3.csv', encoding='utf-8-sig')\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "bert-study",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}