본문 바로가기

전체 글191

우분투에서 크롬 드라이버와 Selenium으로 headless(헤드리스) 웹 크롤링 문제 해결하기 크롬 드라이버와 셀레니엄을 통해 로그인을 하는데 headless로 했더니 아래와 같이 버튼 클릭시 에러가 납니다. 오늘은 헤드리스로 느린 우분투 서버에서 동작시킬때 왜 문제가 발생하는지 알아보겠습니다. Traceback (most recent call last): File "web-tools/ss-crawling/apiSellout.py", line 31, in main inStockOriginProductsNo.extend(crawlerupick.checkInStockAPI(productsCodes)) File "/home/ubuntu/web-tools/ss-crawling/crawlerUPick.py", line 840, in checkInStockAPI inStockCodes = se.. 2024. 9. 23.
파이썬으로 웹 페이지 크롤링 - 홈페이지 로그인 하기 특정 사이트에 홈페이지에 로그인을 하여 로그인 한 상태에서 웹 사이트를 크롤링하는 경우가 많습니다. 이를 위해서 오늘은 로그인을 하기 위한 기술들과 코드를 알아보도록 하겠습니다. Table Of Contents로그인 페이지 찾기개발자 모드에서 페이로드 찾기코드 작성하기로그인 페이지 찾기먼저, 로그인을 하는 페이지를 찾아야 합니다. 로그인 하는 페이지를 찾고 URL을 알아낸 후 해당 URL에서 데이터를 보내는 페이로드를 찾아 동일한 내용으로 request를 보내면 로그인이 됩니다. 개발자 모드에서 페이로드 찾기이때, 네트워크 탭에서 캐시 사용 안 함을 체크해 놓고 하는 것이 좋습니다. 아래와 같은 페이로드를 찾아서 실제 코드에 동일하게 붙여 넣으면 됩니다. saveId는 n으로 바꿔줬습니다. 코드 작성하.. 2024. 9. 23.
리눅스(우분투 20.04)에서 커맨드라인으로 구글 크롬(google-chrome) 설치하기 저는 오라클 클라우드 서버를 무료로 사용중에 있습니다. 성능은 느리지만 오라클 클라우드는 평생 무료 서버를 제공해 줍니다. 물론 과정은 조금 힘들었는데, 현재는 오라클에서 평생 무료 서버를 할당 받아서 사용중입니다.여기에서 크롬을 설치할 필요가 생겼습니다. 그래서, 오늘은 GUI가 없는 우분투에서 CLI를 사용하여 Google Chrome을 설치하는 방법을 알아보고 하나씩 따라해 보도록 하겠습니다. Table Of Contents1. 필수 패키지 설치2. Google Chrome의 GPG 키 추가3. Google Chrome의 소스 리스트 추가4. Chrome 설치5. 확인6. 크롬 실행 테스트7. 한글 폰트 설치8. 폰트 캐시 갱신9. Chrome 재시작1. 필수 패키지 설치Google Chrome을 .. 2024. 9. 23.
온라인 전자책으로 40억을 번 핵심 마케팅 비법 - 스토리설계자 파헤치기 오늘의 글은 39,000원짜리 전자책을 무려 40억 원어치나 판매한 방법을 소개합니다. 믿기 어려우실 수도 있지만, 스토리 설계자에서는 그 과정을 상세히 설명해줍니다. 책을 읽고 정리한 사람은 두 가지 확실한 혜택을 얻게 됩니다.첫째, 한 번도 판매하지 않은 물건이 팔리는 '마법'을 경험하게 됩니다.둘째, 온라인 전자책이 40억 원어치나 팔릴 수 있었던 글쓰기 비법을 13단계로 모두 배울 수 있습니다. 이 책에서 배운 내용을 적용하면 매출이 이전과는 비교할 수 없을 만큼 오를 것입니다. 많은 사람들이 제품을 개발하고, 직원을 고용하고, 마케팅도 해봤을 겁니다. 하지만 매출이 생각처럼 오르지 않는 경우가 많죠. 만약 지금 당신이 어떤 한계에 부딪혔다고 느낀다면, 그 벽을 넘지 못하는 이유는 실력의 한계일 .. 2024. 9. 14.
워드프레스 블로그 홈페이지 1분만에 자동 목차 차례 만들고 적용하기 - 플러그인으로 가장 쉽게 하기 최근 워드프레스로 홈페이지를 만들었습니다. 이 홈페이지는 저희 제품에 대한 쇼핑몰과 함께 건강관련 정보를 제공하는 블로그로 활용하기로 마음먹었습니다. 그러다보니, 블로그 글에 목차가 나오면 좋을 것 같아서 워드프레스 홈페이지에 자동목차를 적용하는 방법을 적용해 보았습니다.오늘은 워드프레스 홈페이지에 자동목차를 적용하는 가장 쉬운 방법을 차근차근 설명해 드리겠습니다. 자동목차를 적용하면 긴 글의 가독성을 높이고, 사용자가 원하는 섹션으로 쉽게 이동할 수 있게 됩니다.가장 쉬운 방법은 플러그인을 사용하는 것입니다.Table Of Contents1. 플러그인 설치2. 플러그인 설정3. 목차 확인 및 적용4. 특정 포스트에서 목차 활성화 또는 비활성화5. 요약1. 플러그인 설치자동목차를 적용하기 위해, Easy.. 2024. 8. 28.
우분투 리눅스(ubuntu linux)에서 selenium으로 웹 크롤링 하기 파이썬으로 beautifulshop을 이용해서 크롤링을 하고 있었습니다. 그런데, 특정 사이트가 웹 브라우저가 아니라고 자꾸 418 client 에러를 뱉어냅니다.결국, 크롬 selenium을 이용해서 실제 크롬 웹 브라우저를 띄우고 크롤링을 해야겠다는 생각으로 시도해 보았습니다.결과는 매우 잘 되는 것을 확인할 수 있었고, 아래에 이러한 과정을 기록해 놓았습니다. 추가로 우분투에서 특정 사이트를 크롤링 하거나 로그인 하는 작업을 할때, request로 가능한 사이트가 있습니다. 하지만, 많은 사이트들은 파이썬의 일반 request를 이용하면 헤더를 보거나 다른 신호를 파악해서 에러를 반환합니다. 크롤링으로 너무 많은 작업을 요청하면 사이트에 문제가 생기거나  할 수 있어서 그렇습니다. 파이썬의 requ.. 2024. 8. 17.
파이썬(python3) 실행파일(exe) 만드는 법 - pyinstaller 설치부터 생성까지 요즘에 파이썬으로 간단한 도구를 만들면서 취미생활을 하고 있습니다. 그런데, 이걸 다른 사람에게 전해주려니 그냥 주면 안 될 것 같아서 실행파일을 만들어서 주려고 합니다.파이썬 스크립트를 실행 파일(exe)로 변환하면, 파이썬이 설치되지 않은 컴퓨터에서도 프로그램을 실행할 수 있습니다. pyinstaller는 이러한 작업을 쉽게 도와주는 도구입니다. 오늘은 pyinstaller를 설치하고, 파이썬 스크립트를 실행 파일로 만드는 과정을 단계별로 설명하겠습니다.Table Of Contents1. pyinstaller 설치2. 파이썬 스크립트 준비3. pyinstaller로 실행 파일 생성4. 생성된 실행 파일 확인5. 추가 옵션6. 주의사항결론1. pyinstaller 설치pyinstaller를 설치하려면 .. 2024. 7. 22.
우울증 증상과 최신 연구 결과로 알아본 치료 법 - 비타민D의 효과와 좋은 비타민D 고르는 법 저도 얼마 전 우울증 증세로 병원을 찾았었는데요, 무기력하고 의욕도 없고 매우 힘든 나날을 보낸 적이 있습니다. 현대인들은 특히 우울증세를 많이 겪는다고 하는데요, 오늘은 이러한 우울증이 오면 겪게 되는 증상과 개선법에 대해서 알아보겠습니다.우울증은 한국 뿐 아니라 전 세계적으로 많은 사람들에게 영향을 미치는 주요 정신 질환입니다. 그런데, 기존의 항우울제 치료를 하다 보면 항우울제 내성이 생겨서 점점 잘 듣지 않는 경우가 생길 수 있다고 합니다. 그래서, 2023년 최신 연구를 바탕으로 우울증에 도움이 되는 것이 확인된 비타민D에 대해서도 알아볼텐데요, 실제 연구 결과를 바탕으로 논문을 확인하면서 설명드리겠습니다.이렇게 우울증에 도움이 되는 비타민D를 통해서 내성 걱정 없이 활기찬 생활을 할 수 있으면.. 2024. 7. 20.
볼링 엄지 타이밍 맞추는 지공법과 집에서 엄지 교체하기 - 스위치, IT, 오발 덤 볼링은 정확성과 일관성이 중요한 스포츠입니다. 특히 3 핑거 볼러들은 엄지의 타이밍에 매우 민감합니다. 엄지 타이밍은 스윙과 릴리스에 큰 영향을 미치고 엄지 때문에 스트레스받는 날이 하루 이틀이 아닙니다.특히 요즘과 같이 날이 더운 날에는 엄지에 땀이 나서 더 힘듭니다.이런 문제를 해결할 수 있는 엄지 지공 방법은 세 가지가 있습니다.오늘은 스위치 지공, IT 지공, 오발 덤 지공의 장단점을 간략히 소개해 드리고 집에서 손쉽게 셀프로 엄지를 교체하는 신박한 방법을 알려드리겠습니다.Table Of Contents1. 스위치 지공장점단점2. IT 지공장점단점3. 오발 덤 지공장점단점일반 엄지 덤 지공의 문제점 엄지 덤을 오발덤으로 교체하기 1. 손가락 사이즈 측정하기 2. 기존 볼링공 엄지 제거하기 3. 오.. 2024. 7. 13.
볼링 공의 성능을 100% 활용하는 PAP 측정법 - 전문 도구 없이 반창고만 가지고 PAP 찾기 볼링을 즐기면서 더 나은 성적을 올리고 싶다면, 개인 맞춤형 지공을 통해 자신에게 맞는 볼을 만드는 것이 중요합니다. 그래서 지난 포스팅에서는 볼링공 지공에 대해서 자세히 설명드렸습니다. 하지만, 볼러의 PAP (Positive Axis Point)를 모르면 자신에게 맞는 지공을 할 수 없고, 지공에서 가장 중요한 요소라고 해도 과언이 아닙니다.PAP는 볼러가 던지는 투구를 기준으로 볼의 회전 축을 나타내는 지점을 말하며, 이를 정확히 알아야 자신에게 맞는 지공을 할 수 있습니다.이 PAP를 찾는 방법은 아르마딜로라는 도구로 쉽게 찾을 수 있는데, 다른 볼링 관련 전문 용품들이 그렇듯이 가격이 너무 사악합니다. 하지만, PAP는 도구 없이도 쉽게 찾을 수 있습니다.혹시 아르마딜로에 대해 궁금하시면 여기를.. 2024. 6. 29.
은평 롯데몰 롯데시네마에서 인사이드 아웃 2보고 즐기는 방법 ( 주차, 포토카드, 문화누리 카드 할인) 정말 오랜만에 가족과 함께 은평 롯데몰 롯데시네마 2관에서 '인사이드아웃 2'를 관람하였습니다. 오늘 후기에는 주차 정산 방법, 티켓 및 매점 결제 방법, 문화누리카드 혜택 안내, 그리고 포토카드 만드는 법을 소개해 드리도록 하겠습니다.픽사에서 만들고 디즈니에서 배급한 "인사이드 아웃 2" 영화 감상평은 아래 링크에 작성해 두었으니 영화의 내용과 감상평을 보시려면 아래 링크 참고해 주세요!픽사(Pixar)가 만들고 디즈니가 배급한 명작 [ 인사이드 아웃2 ] 영화 감상 후기은평 롯데몰의 롯데시네마에서는 인사이드 아웃 2 이외에도 다른 영화들이 많이 상영 중인데, 애니로는 인사이드 아웃 2 옆에 카브리올레가 상영 중이라고 하더군요. 저희는 Table Of Contents은평 롯데몰 롯데시네마 위치은평 롯데.. 2024. 6. 24.
픽사(Pixar)가 만들고 디즈니가 배급한 명작 [ 인사이드 아웃2 ] 영화 감상 후기 - 직장인과 가장의 시선에서 인사이드 아웃 2는 감정의 복잡성과 그 중요성을 깊이 있게 탐구한 작품으로, 특히 직장인과 사업자, 그리고 현대를 살아가는 많은 가장과 어른들에게 큰 공감을 불러일으킬 수 있는 영화입니다. 이 영화는 다양한 감정들이 어떻게 조화를 이루며 우리의 일상과 삶에 영향을 미치는지를 섬세하게 묘사합니다. 특히 '불안'이 주인공 라일리의 불안한 마음을 극대화하고 이를 조정하는 부분이 인상적이었습니다. 오늘은 전체 관람가 영화로 많은 아이들과 어른들의 공감을 불러일으키는 인사이드 아웃 2에 대해 이야기하려고 합니다. 정말 오랜만에 가족들과 은평 롯데몰에서 인사이드 아웃 2를 보면서 직장인으로써 어떤 감정을 느끼고 어떤 것을 배웠는지 생각해 볼 수 있는 영화였습니다. 힘든 현대를 살아가는 직장인과 가장의 입장에서 저의.. 2024. 6. 23.

티스토리툴바