지금 읽고있는 내용이 데이터인지 알고 계십니까? 그것은 당신에게 몇 마디처럼 보일지 모르지만 온라인에서 읽는 모든 것은 수집하고, 분리하고, 조작 할 수있는 데이터입니다. 이것이 바로 웹 스크레이퍼입니다. 웹 사이트 (HTML 코드) 또는 데이터베이스를 만들기 위해 생성 된 코드를 거치고 원하는 데이터를 가져옵니다. 거의 모든 웹 사이트를 스크랩 할 수 있습니다. 일부 사이트에는 이러한 스크레이퍼가 데이터를 수집하지 못하도록하는 조치가 포함되어 있지만, 충분히 좋은 경우 본질적으로 온라인 웹 사이트의 99 %를 스크 레이 핑 할 수 있습니다.
웹 스크레이퍼가 무엇인지 몰랐다면 이제 아이디어가 생겼으며이 기사를 읽는 이유를 알 수 있습니다. 돈. 웹 스크랩 핑은 생각만큼 어렵지 않은 수익을 창출하는 독특한 방법이 될 수 있습니다. 사실 제가 보여 드리려고하는 모든 방법과 예제는 50 줄도 채 안되는 코드를 만들었고 단 몇 시간 만에 배울 수 있습니다. 그래서 제가 보여 드릴게요 ...
웹 스크래핑을 사용하여 돈을 버는 3 가지 방법
1. 봇 생성
봇은 특정 작업을 수행하는 프로그램의 기술 용어입니다. 이 작업을 수행하는 방법에 따라 직접 수행 할 수있는 기술적 능력이없는 사람들에게 판매 할 수 있습니다.
봇을 만들고 판매하는 방법을 보여주기 위해 Airbnb 봇을 만들었습니다. 이 봇을 사용하면 사용자가 위치를 입력 할 수 있으며에어 비앤비가격, 등급, 허용되는 손님 수, 침실, 침대 및 욕실을 포함하여 해당 위치에서 제공됩니다. 이 모든 작업은 에어 비앤비 웹 사이트의 각 게시물 데이터를 웹에서 스크랩하여 수행됩니다.
작동중인 봇을 시연하기 위해 위치를 입력하겠습니다. 이탈리아 로마에서 에어 비앤비를 검색하고 싶다고 가정 해 보겠습니다. 간단히 봇에 Rome을 입력하면 몇 초 내에 272 개의 고유 한 Airbnb를 체계화 된 Excel 스프레드 시트로 반환합니다.
이제 모든 주택 / 특징 및 다른 게시물과의 비교를 훨씬 쉽게 볼 수 있습니다. 필터링하기도 훨씬 쉽습니다. 저는 4 인 가족에 살고 있으며 로마에 간다면 적절한 가격에 최소 2 개의 침대가있는 에어 비앤비를 찾을 것입니다. 이제 깔끔하게 정리 된이 스프레드 시트를 사용하면 Excel에서 내 요구 사항에 맞게 필터링하기가 매우 쉽습니다. 그리고 272 개의 결과 중 7 개가 내 일치 요구 사항과 함께 반환되었습니다.
이 7 개 중에서 내가 고르는 것은 바티칸 성 베드로 다니엘인데, 그것은 매우 좋은 등급을 가지고 있으며 1 박당 61 달러의 비용으로 7 개 중 가장 저렴합니다. 그래서 내가 원하는 것을 고른 후, 게시물의 링크를 브라우저에 복사하고 예약합니다.
휴가를 갈 때 머물 곳을 찾는 것은 매우 힘든 일이 될 수 있습니다. 저는 우리 대부분이 한 번쯤은 그것을 느꼈을 것입니다. 이 때문에이 과정을 더 쉽게하기 위해 기꺼이 비용을 지불하는 사람들이 있습니다. 이 봇을 사용하여 프로세스를 더 쉽게 만들었습니다. 당신은 방금 내가 5 분 안에 좋은 가격에 나의 모든 매칭 요구 사항을 가진 방을 예약하는 것을 보았다.
사람들이 삶을 조금 더 쉽게 만들기 위해 기꺼이 돈을 지불 할 것이라고 믿으십시오.
2. 재판매
웹 스크래핑의 가장 일반적인 용도 중 하나는 웹 사이트에서 가격을 내리는 것입니다. 매일 실행되는 웹 스크래핑 프로그램을 만들고 특정 제품의 가격을 반환하는 사람들이 있으며, 가격이 일정 금액으로 떨어지면 프로그램이 매진되기 전에 자동으로 제품을 구매합니다. 그런 다음 제품에 대한 수요가 공급보다 높기 때문에 수익을 창출하기 위해 제품을 더 높은 가격으로 재판매합니다. 이것은 웹 스크레이퍼가 사용하는 많은 재판매 전략의 한 예일뿐입니다.
제가 예를 보여 드릴 또 다른 것은 당신에게 많은 돈을 절약하고 당신을 위해 많은 것을 벌 수 있습니다.
모든 소매 웹 사이트에는 제한된 거래 및 판매가 있으며 여기에 원래 가격과 판매 가격이 표시됩니다. 하지만 그들이하지 않는 것은 원래 가격에서 실제로 얼마나 할인되었는지 보여주는 것입니다. 예를 들어 시계가 원래 가격이 350 달러이고 판매 가격이 300 달러라면 50 달러 할인이 많은 돈이라고 생각할 수 있지만 실제로는 14.2 % 할인입니다. 이제 티셔츠의 원래 가격이 $ 50이고 판매 가격이 $ 40 인 경우 $ 10이 원래 가격에서 그다지 많이 떨어져 있지 않다는 것을 알 수 있지만 실제로는 할인이 시계보다 20 % 더 큽니다. 따라서 할인율이 가장 높은 제품을 구매하여 저축 / 수익을 올릴 수 있습니다.
사용허드슨 스 베이모든 종류의 브랜드에서 판매량이 많은 백화점은 웹 스크래핑을 사용하여 모든 제품의 원가 및 판매 가격을 확인하고 가장 할인 된 제품을 찾을 예정이었습니다.
웹 사이트를 스크래핑 한 후 900 개가 넘는 제품을 반환했으며, 보시다시피 50 % 이상 할인 된 900 개 제품 중 1 개만 있습니다. 그것이 바로 Perry Ellis Solid Non-Iron Dress Shirt입니다.
이 판매 가격은 제한된 시간 동안 만 제공되므로이 셔츠의 가격은 결국 약 $ 90까지 올라갈 것입니다. 따라서 한정 판매가 종료 될 때 원래 가격보다 $ 30에 $ 60에 판매하는 것보다 지금 $ 40에 사면 $ 20의 수익을 올릴 수 있습니다.
이것은 당신이 이것을하기에 적당한 틈새 시장을 발견한다면, 많은 돈을 벌 수있는 잠재력이있는 방법입니다.
3. 판매 데이터
모든 사람이 무료로 액세스 할 수있는 수백만 개의 데이터 세트가 온라인에 있습니다. 이 데이터는 종종 쉽게 수집되어이를 사용하려는 모든 사람에게 제공됩니다. 반면에 일부 데이터는 가져 오기가 쉽지 않으며 깔끔한 데이터 세트에 넣으려면 시간이나 많은 작업이 필요합니다. 이것은 판매 데이터의 진화가되었습니다. 얻기 어려울 수있는 데이터를 가져 와서 다른 사람들이 특정 비용으로 사용할 수있는 깔끔한 스프레드 시트 또는 대시 보드로 구성하는 데 중점을 두는 회사가 있습니다.
BigDataBall은 한 시즌 분량의 데이터에 대해 $ 30의 가격으로 플레이어 로그, 실황 데이터 및 기타 통계를 판매하는 스포츠 데이터 웹 사이트입니다. 그들이이 가격을 요구할 수있는 이유는이 데이터를 가지고있는 유일한 웹 사이트가 아니라 읽기 쉬운 매우 구조적이고 깨끗한 대시 보드에서이 데이터를 제공하는 유일한 웹 사이트 중 하나이기 때문입니다.
이제 제가 할 것은 BigDataBall이 무료로 가지고있는 것과 동일한 데이터를 가져 와서 이전에했던 것과 같은 구조화 된 데이터 세트에 넣는 것입니다.
앞서 말씀 드린 것처럼 이러한 유형의 데이터를 보유한 사람은 그들뿐이 아닙니다.농구 -Reference.com모든 데이터가 동일하지만 구조화되어 있지 않다는 의미는 데이터가 어디에나 있고 읽기 어렵고 원하는 데이터 세트 만 다운로드 할 수 없다는 의미입니다. 이것이 웹 스크래핑이 들어오는 곳입니다. 저는 각 게임에 대한 모든 플레이어 로그의 웹 사이트를 웹 스크랩하여 BigDataBall과 같은 구조화 된 데이터 세트에 넣을 것입니다.
웹 스크래핑 후농구 -Reference.com지금까지 시즌 동안 16,000 명이 넘는 플레이어 로그를 얻었습니다. 올바른 형식의이 데이터가 수익을 창출 할 수있는 이유를 알 수 있습니다. 올바른 마음을 가진 사람은 16000 개의 데이터 로그를 수동으로 가져 와서 자체 데이터 세트에 넣지 않기 때문입니다. 그러나 웹 스크래핑의 도움으로 우리는이 데이터를 몇 분 안에 얻고 30 달러를 절약 할 수있었습니다.
말할 필요도없이 BigDataBall이하는 일을 할 수 있습니다. 수동으로 얻기 어려운 데이터를 찾아서 컴퓨터가 작업을 수행하도록하고 구조화 된 데이터 세트에 해당 데이터를 보유하는 데 관심이있는 사람들에게 판매하십시오.
결론
모두가 돈을 벌고 싶어하는 세상에서 웹 스크래핑은 돈을 벌 수있는 매우 독특하고 새로운 방법이되었습니다. 적절한 상황에 적용하면 엄청난 돈을 벌 수 있고 대부분의 사람들이 생각하는 것보다 더 쉽게 할 수 있습니다.
코드에 대한 질문이 있거나 일반적으로 LinkedIn을 통해 저에게 연락하는 것이 좋습니다.https://www.linkedin.com/in/christopher-zita/
더 알아보기
웹 스크래핑에 대한 단계별 프로세스를 배우려면 다른 기사를 확인하십시오.8 분 안에 웹 스크래핑하는 방법.
'Data Analytics(ko)' 카테고리의 다른 글
| Create a template for your Jupyter Notebooks -번역 (0) | 2020.10.14 |
|---|---|
| Elon Musk’s 2 Rules For Learning Anything Faster -번역 (0) | 2020.10.13 |
| Automating your daily tasks with Python -번역 (0) | 2020.10.11 |
| Big Data Pipeline Recipe -번역 (0) | 2020.10.10 |
| 5 Underrated Apps for Programmers You Should Use Right Now -번역 (0) | 2020.10.09 |