Làm thế nào để lấy tweets từ dòng lệnh?

Có cách nào đơn giản để lấy tweet của ai đó từ dòng lệnh không?

Tài khoản sẽ ở chế độ công khai và lệnh - hoặc tập lệnh, nếu cần - sẽ truy xuất tất cả hoặc một số lượng tweet gần đây nhất định vào tệp văn bản, một tweet trên mỗi dòng, không có siêu dữ liệu, mới nhất trong dòng đầu tiên.

Không sử dụng API, chỉ có bash.

Từ ngày kết thúc, Twitter sẽ không cho phép bạn truy cập API của họ mà không cần khóa OAuth. Nhưng như một cách giải quyết, bạn có thể sử dụng API tìm kiếm. Nó là RESTful, vì vậy bạn có thể sử dụng curlđể truy xuất kết quả tìm kiếm ở định dạng JSON. Ví dụ: nếu bạn muốn truy xuất các tweet của @ java và lưu nó vào tệp ~/.tweets, dòng mã này có thể được sử dụng:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

Và bạn có thể phân tích tệp, sử dụng bất kỳ trình phân tích cú pháp JSON nào.

Có các công cụ để phân tích JSON từ giao diện dòng lệnh. Mặc dù tôi chưa bao giờ sử dụng một tài khoản, tôi sẽ đặt một số liên kết đến một số tài nguyên để giúp bạn tìm ra công cụ phù hợp nhất:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

Và như một lưu ý nhỏ, sẽ nhanh hơn khi sử dụng một số Python hoặc Ruby (hoặc những thứ khác).

Nếu bạn không muốn sử dụng API Twitter, bạn có thể lấy nguồn cấp RSS của hồ sơ Twitter bằng cách sử dụng tập lệnh bash và sau đó tiến hành định dạng nó từ đó.

• /programming/8632233/read-rss-feed-USE-a-shell-script

Vì API Twitter không dùng nguồn cấp RSS, bạn có thể khắc phục điều này bằng cách tạo nguồn cấp RSS bằng kết quả tìm kiếm.

Đây là nguồn cấp dữ liệu RSS của tweet của tôi .

Bạn sẽ phải kết hợp các tập lệnh bash cần thiết mặc dù. Từ tìm nạp nguồn cấp RSS đến định dạng các tweet theo yêu cầu của bạn.

Đây là kịch bản của tôi được thực hiện để sử dụng trình bảo vệ màn hình

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Tôi đã tạo ra một công cụ nên thực hiện gần như chính xác những gì bạn mô tả: twitter-screen-scrape . Theo mặc định, nó sẽ xuất ra bằng JSON, với siêu dữ liệu, nhưng việc chuyển đầu ra thông qua một cái gì đó như gạch dưới để loại bỏ mọi thứ bạn không muốn.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Bạn có thể đi theo con đường python + tweepy bằng cách:

1. Tạo Ứng dụng Twitter của riêng bạn (Để nhận Khóa API)
2. Tạo mã thông báo truy cập cho tài khoản twitter của bạn
3. Sử dụng tập lệnh như thế này cùng với thông tin đăng nhập của bạn: https://gist.github.com/yanofsky/5436496

Tôi chỉ thử nghiệm nó và nó hoạt động tuyệt vời. Tuy nhiên, có những người dùng bảo vệ tweet của họ, vì vậy nó có thể không cho phép bạn tải xuống mọi thứ. Nhưng đó là một tính năng của twitter.

Giới hạn vẫn là 3200 và bạn nhận được tệp CSV.

Bạn có thể sử dụng twarcđể đưa ra một ví dụ nếu bạn muốn lưu trữ các tweet của Nassim Nicholas Taleb mà bạn sử dụng.

twarc timeline nntaleb --format csv> taleb.csv 

Bạn cũng có thể sử dụng các định dạng khác: --format {json,csv,csv-excel}

Cách định cấu hình twarc: Cách duy nhất để có được các tweet hoàn chỉnh là APIkhông may sử dụng ngay cả khi ứng dụng trong suốt, bạn cần phải có một thiết lập và cấu hình ban đầu, bạn cũng cần phải áp dụng cho API(

Kể từ tháng 7 năm 2018, bạn phải đăng ký tài khoản nhà phát triển Twitter và được chấp thuận trước khi bạn có thể tạo ứng dụng mới.

)

Khi bạn đã có các khóa ứng dụng của mình, bạn có thể cho biết twarcchúng là gì với lệnh configure.

twarc configure

Điều này sẽ lưu trữ thông tin quan trọng của bạn trong một tập tin gọi là .twarctrong thư mục chính của bạn vì vậy bạn không phải tiếp tục nhập chúng vào. Nếu bạn muốn cung cấp cho họ trực tiếp bạn có thể đặt chúng trong môi trường ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) hoặc sử dụng tùy chọn dòng lệnh ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).