Scraping von Nutzerkonten auf Instagram und TikTok beinhaltet das Sammeln von Daten von diesen Plattformen. Es ist wichtig zu beachten, dass das Scraping dieser Plattformen gegen deren Nutzungsbedingungen verstoßen und möglicherweise zu Kontosperren oder rechtlichen Konsequenzen führen kann. Verwenden Sie daher Vollmacht um die IP-Adresse zu drehen, ist ein wichtiger Tipp für Web-Scraping. In diesem Sinne finden Sie hier eine Schritt-für-Schritt-Anleitung zum Extrahieren von Nutzerdaten aus der Weboberfläche von Instagram/TikTok!
Wie man Benutzerkonten auf IG und TikTok mit Python scrapen kann
Im Folgenden erfahren Sie, wie Sie Nutzerprofildaten von Instagram und TikTok auslesen können, einschließlich Nutzername, vollständiger Name, Beschreibung und Profilbild.
Schritt 1: Umgebung einrichten
- Installieren Sie Python und Pip: Stellen Sie sicher, dass Python auf Ihrem Rechner installiert ist. Sie können es herunterladen von python.org. Pip, das Paketinstallationsprogramm für Python, wird normalerweise mit Python-Installationen geliefert.
- Erforderliche Bibliotheken installieren:
pip install anfragen beautifulsoup4 pandas selenium - Webdriver herunterladen: Für Selenium müssen Sie den entsprechenden WebDriver für Ihren Browser herunterladen. Für Chrome können Sie den ChromeDriver von hier.
Schritt 2: Erstellen Sie einen Scraper für Instagram
A. Scraping öffentlicher Daten
Grundlegende Einrichtung:
Anfragen importieren
von bs4 importieren BeautifulSoup
importiere Pandas als pd
# Funktion zum Abrufen von HTML-Inhalten
def get_html(url):
response = requests.get(url)
return response.textExtrahieren von Benutzerinformationen:
def scrape_instagram_user(username):
url = f'https://www.instagram.com/{Benutzername}/'
html = get_html(url)
soup = BeautifulSoup(html, 'html.parser')
# Extrahieren relevanter Daten
user_data = {}
benutzer_daten['benutzername'] = benutzername
user_data['full_name'] = soup.find('meta', {'property': 'og:title'})['content'].split('-')[0].strip()
user_data['description'] = soup.find('meta', {'property': 'og:description'})['content']
user_data['profile_image'] = soup.find('meta', {'property': 'og:image'})['content']
return user_data
# Beispielverwendung
benutzer = scrape_instagram_benutzer('instagram')
print(user)B. Behandlung dynamischer Inhalte mit Selenium
Selenium einrichten:
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from selenium.webdriver.common.by import By
von selenium.webdriver.chrome.options importieren Optionen
importieren Zeit
# WebDriver einrichten
chrome_options = Optionen()
chrome_options.add_argument("--headless")
service = ChromeService(executable_path='/path/to/chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)
# Funktion zum Abrufen dynamischer Inhalte
def get_dynamic_content(url):
driver.get(url)
time.sleep(3) # Warten, bis die Seite geladen ist
return driver.page_source
# Beispiel für die Verwendung
html = get_dynamic_content('https://www.instagram.com/instagram/')Schritt 3: Einen Scraper für TikTok erstellen
A. Scraping öffentlicher Daten
Grundlegende Einrichtung:
def scrape_tiktok_user(benutzername):
url = f'https://www.tiktok.com/@{Benutzername}'
html = get_html(url)
soup = BeautifulSoup(html, 'html.parser')
# Extrahieren relevanter Daten
user_data = {}
benutzer_daten['benutzername'] = benutzername
user_data['full_name'] = soup.find('h1', {'data-e2e': 'user-title'}).text if soup.find('h1', {'data-e2e': 'user-title'}) else Keine
user_data['description'] = soup.find('h2', {'data-e2e': 'user-subtitle'}).text if soup.find('h2', {'data-e2e': 'user-subtitle'}) else None
user_data['profile_image'] = soup.find('img', {'class': 'avatar'})['src'] if soup.find('img', {'class': 'avatar'}) else None
return user_data
# Beispielverwendung
benutzer = scrape_tiktok_benutzer('tiktok')
print(benutzer)B. Behandlung dynamischer Inhalte mit Selenium
Selenium einrichten:
# Wiederverwendung der Selenium-Einrichtung aus dem Instagram-Abschnitt
# Anwendungsbeispiel für TikTok
html = get_dynamic_content('https://www.tiktok.com/@tiktok')Schritt 4: Daten im CSV-Format speichern
Speichern von Daten:
def save_to_csv(data, filename='output.csv'):
df = pd.DataFrame(data)
df.to_csv(Dateiname, index=False)
# Beispielverwendung
data = [scrape_instagram_user('instagram'), scrape_tiktok_user('tiktok')]
save_to_csv(data)Schritt 5: Verwendung von Proxys und Handhabung der Ratenbegrenzung
Verwendung von Proxys zum Scrapen von Instagram und TikTok, wie OkeyProxyein Proxy für Web Scraping, ist unerlässlich für die Umgehung von Ratenbeschränkungen und IP-Sperren die von der Plattform auferlegt werden, um eine übermäßige Datenextraktion zu verhindern und die Integrität ihres Dienstes zu wahren. Proxys ermöglichen es Ihnen, Ihre Scraping-Anfragen auf mehrere IP-Adressen zu verteilen, was die Wahrscheinlichkeit verringert, als verdächtiger Nutzer eingestuft zu werden, und einen kontinuierlichen Zugriff auf die benötigten Daten gewährleistet. Dies ist vor allem auf Plattformen wie TikTok wichtig, wo ein hohes Anfragevolumen automatische Schutzmaßnahmen auslösen kann, die den Zugang blockieren oder drosseln. Durch den Einsatz von Proxys können Sie einen stabilen und effizienten Scraping-Betrieb aufrechterhalten und Daten ohne größere Unterbrechungen sammeln.
Proxies einrichten:
proxies = {
'http': 'http://your_proxy_here',
'https': 'https://your_proxy_here',
}
# Beispielverwendung mit requests
Antwort = requests.get(url, proxies=proxies)Handhabung der Ratenbegrenzung:
Einfuhrzeit
# Funktion zum Hinzufügen einer Verzögerung
def delayed_request(url, delay=2):
time.sleep(delay)
return get_html(url)Fallstudienbeispiel zum Scrapen von Daten auf Instagram und TikTok
Szenario
Sie sollen die Profildaten einiger Instagram- und TikTok-Nutzer auswerten, um deren Präsenz in den sozialen Medien für eine Marketingkampagne zu analysieren.
Schritte
- Umgebung einrichten: Stellen Sie sicher, dass alle erforderlichen Bibliotheken installiert sind und der WebDriver eingerichtet ist.
- Scrapen von Instagram-Benutzerdaten:
instagram_usernames = ['instagram', 'cristiano', 'natgeo'] instagram_data = [] for username in instagram_usernames: user_data = scrape_instagram_user(username) instagram_data.append(user_data) save_to_csv(instagram_data, 'instagram_users.csv') - TikTok-Benutzerdaten auslesen:
tiktok_usernames = ['tiktok', 'charlidamelio', 'therock'] tiktok_data = [] for benutzername in tiktok_benutzernamen: user_data = scrape_tiktok_user(username) tiktok_data.append(benutzer_data) save_to_csv(tiktok_data, 'tiktok_benutzer.csv') - Umgang mit dynamischen Inhalten mit Selenium: Verwenden Sie das Selenium-Setup, um die Seitenquelle abzurufen und die Daten für Profile mit dynamischen Inhalten zu analysieren.
Andere Möglichkeit: Benutzerkonten von Instagram/Tiktok mit API auslesen
Instagram API verwenden
Instagram bietet eine API an, die den Zugang zu öffentlichen Daten ermöglicht. Diese API ist jedoch begrenzt und erfordert eine Genehmigung, was sie für das Scraping im großen Stil weniger flexibel macht.
- Registriere dich für ein Entwicklerkonto auf Facebook für Entwickler.
- Erstellen Sie eine Instagram Basic Display App.
- Verwenden Sie die API-Endpunkte für den Zugriff auf Benutzerdaten, einschließlich Benutzerprofilen und Medien.
TikTok API verwenden
TikTok bietet eine öffentliche API für den Zugriff auf einige Nutzerdaten, die jedoch wie bei Instagram Einschränkungen unterliegt und eine Genehmigung erfordert.
- Beantragen Sie den Zugang zur TikTok-API über deren Entwicklerportal.
- Verwenden Sie API-Endpunkte, um Benutzerprofile und Inhalte zu sammeln.
Überlegungen zum Scrapen von Benutzerkonten auf Instagram/Tiktok
- Vergewissern Sie sich, dass Sie das Recht haben, die Daten abzurufen, und dass Sie mit den Nutzungsbedingungen der Plattform einverstanden sind.
- Ordnungsgemäße Verzögerungen und Verwendung Vollmachten um nicht blockiert zu werden.
- Gehen Sie verantwortungsvoll mit den gesammelten Daten um und respektieren Sie die Privatsphäre der Nutzer.
Zusammenfassung
Das war's schon. Wenn Sie diese Schritte befolgen, um Daten über Python mit Proxy oder die ursprüngliche API der Plattform zu extrahieren, können Sie Nutzerkonten auf Instagram und TikTok effektiv scrapen und dabei die rechtlichen und ethischen Richtlinien einhalten.
